基于历史表现的加权平均

基于历史表现的加权平均，就是在综合预测时，让过去预测准确的人或来源占更大比重，让过去预测不够准确的占较小比重。这就像你挑选徒步向导时，会参考谁曾成功带队，而不是随便选一个人。你先用评分系统衡量过去的预测准确度（分数越低越好），再根据分数决定每个预测在综合结果中占多大比重。比如，如果一位分析师的预测一直比其他人更准确，那么在你做最终决定时，这位分析师的预测就应该占更大比重。 试试这样：遇到相互矛盾的预测时，先了解每个来源过去的预测表现，再取平均。

基于历史表现的加权平均，先衡量每位预测者过去的准确度，再据此决定他们当前的预测占多大比重。第一步是使用评分规则，衡量过去的预测与实际结果有多接近。常见的评分规则会衡量预测概率与实际结果之间的差距，差距越小，准确度越高。有了每位预测者的准确度评分后，你就可以把分数转换成权重。预测越准，权重越大；预测越不准，权重越小。最后，将每个人当前的预测乘以各自的权重，再把结果相加。

这种方法的表现一贯优于简单平均，因为它利用了人与人之间相对稳定的预测能力差异。地缘政治预测竞赛的研究表明，即使考虑了问题难度和预测时间，过去的表现仍能预测未来的准确度。不过，只有当每位预测者都有足够多次已经揭晓结果的预测，能让你区分能力和运气时，这种方法的优势才会显现，通常需要 20 到 40 次或更多。在此之前，更简单的方法也同样有效。有意思的是，一个人做预测的次数，也就是更新判断的频率，也能预测其准确度，尤其是在早期。

这种方法也适用于正式预测之外的场景。投资团队可以根据分析师过去选股的表现分配权重。产品团队可以优先考虑某些设计师提出的功能，因为这些设计师过去的选择曾提升用户参与度。医疗团队可能会更重视某位专科医生的诊断，因为有记录表明，这位医生在类似病例中的诊断准确度较高。即使是普通新闻读者，也可以根据一个来源过去是可靠报道居多，还是耸人听闻的内容居多，在心里给它分配不同的权重。

按历史表现加权与极端化不同。极端化会把汇总后的概率推向更确定的方向，也就是更接近百分之零或百分之百。两种方法都旨在提高汇总结果的准确度，但作用方式不同：加权改变的是谁的预测更有影响力，极端化则调整最终汇总的概率，以考虑预测者之间的信息重叠。复杂的系统往往会同时使用两种方法：先按历史表现加权，再对加权汇总的结果进行极端化处理。

基于历史表现的加权平均，建立在这样一个发现之上：预测能力是一种相对稳定的特质，可以衡量，也可以用来改善汇总结果。布里尔评分（Brier score）是一种在 1950 年提出的严格适当评分规则，它衡量预测概率与实际结果之间的均方误差，也就是把差距平方后取平均。分数越低，准确度越高；这种规则也能激励预测者如实报告自己的判断。

• Satopää 等人（2014）：发现当专家掌握不同信息时，将汇总预测进行极端化处理，使概率更趋于确定，可以提高准确度；最佳极端化系数可从历史数据中推导得出。[1]
• Mellers 等人（2015）：表明通过历史表现识别出的顶尖预测者（超级预测者）持续优于其他人。根据他们的判断进行加权汇总，能显著提高群体预测的准确度，同时保留群体智慧的优势。[2]
• OTexts 的预测手册指出，虽然简单平均的表现非常难以超越，但如果你掌握了关于各位预测者能力的可靠信息，加权方法就可能带来提升。[3]

不过，更简单的层级模型以低得多的计算成本，也取得了几乎同样好的表现。关键在于：大部分收益来自拥有某种有效的能力衡量指标，而不是把方法做得尽可能复杂。

基于历史表现的加权平均面临冷启动问题：你需要过去的表现数据来分配权重，但新预测者没有历史记录。解决办法包括，在表现数据积累起来之前，用个体差异作为替代指标，例如流体智力（解决新问题的能力）、数字推理能力，以及积极开放的思维方式。这种方法还假设，过去的能力能够预测未来的表现；如果领域发生剧烈变化，或任务发生转变，这个假设可能就不成立。样本量极小时，例如每人只有不到 10 到 20 次已经揭晓结果的预测，能力估计会有很大的随机波动，可能降低而不是提高汇总结果的准确度。此外，基于项目反应理论（IRT）的复杂能力测量，相比简单的准确度平均值，是否能带来实际有意义的收益，仍存在争议，尤其是在重视计算效率的实际应用中。