思维模型

概率预测极端化

将汇总后的概率预测向0%或100%的方向调整,使其更远离50%,并用过去的实际结果检验这一调整。

探索一下

十位气象学家都预测下雨的概率为70%。他们给出的概率平均值是70%,但仅凭意见一致,你还无法判断提高这个概率是否会让预测更准确。在调整之前,你应该做什么?

什么时候意见一致能支持更高的信心?

了解什么时候让汇总预测更远离中间值可能有帮助,以及如何检验这样做是否提高了准确性。

理解概念

理解概念

预测极端化,就是将汇总后的概率预测向0%或100%的方向调整,使其更远离50%。当你汇总不同证据后,得到的预测过于谨慎时,这样调整可能有帮助,但仅凭大家意见一致,还不能说明调整会有帮助。 检查一下:调整预测之前,先看看专家们使用的证据是否重叠。

详细讲解

详细讲解

要对预测做极端化调整,先汇总每个人给出的概率,比如取平均值,再让结果更远离50%。平均值高于50%,就向上调;低于50%,就向下调。但调整方向本身并不能说明这样做是否提高了准确性。

举个假设的例子:五位产品经理都认为,某项功能有65%的成功概率。他们给出的概率平均值也是65%。如果他们各自提供了不同且有用的客户证据,汇总后的信息就可能支持更高的信心。如果他们都依据同一份调查,意见一致所增加的信息就比较少。无论是意见一致,还是各自独立开展工作,都不能据此确定怎样调整才合适。

所提供的论文提出了两种机制。第一,概率有上下限:接近100%时,误差向上偏移的空间很小,向下偏移的空间却大得多。在论文对误差所作的假设下,这可能使平均值向50%靠拢。第二,人们知道自己掌握的信息不完整,因此可能会适当地降低信心。汇总不同证据后,就可能有理由比一般个人表现得更有信心。这是一种理论解释,并不是说所有预测者都过于谨慎。[1]

论文报告,对国际事件的预测进行极端化调整后,以布里尔评分衡量的预测表现有所改善。布里尔评分用来衡量概率预测的误差,分数越低越好。论文也提到,有些情况下,让预测不那么极端反而有帮助,可能是因为最初的判断过于极端。因此,信息重叠、证据偏差以及原本就存在的过度自信都很重要;独立判断和意见一致并不能保证调整后会更准确。即使用上全部可用信息,仍可能存在不确定性。[1]

实际操作时,可以用回测来检验:对照过去预测的实际结果,比较不同的候选调整方法。先用一组结果已知的问题选择调整方法,再用留出的问题评估,也就是用没有参与选择调整方法的问题来检验。与未经调整的平均值相比,检查调整后的校准情况,也就是被赋予相近概率的事件,实际发生的频率是否也接近这个概率,同时比较整体预测误差。只有当评估结果支持你对类似预测使用这项调整时,才采用它;否则,就保留原来的平均值。

研究依据

研究依据

  • 实证证据:Baron及其同事报告,以布里尔评分衡量,对国际事件的汇总预测进行极端化调整后,预测表现有所改善。他们也提到,在后来的一些案例中,让判断不那么极端更合适,可能是因为最初的判断过于极端。这段节选并未证明极端化调整普遍有益 [1]
  • 理论:论文提出,在其对误差所作的假设下,概率取值范围的上下限可能使算术平均值向50%靠拢。接近边界时,误差向上和向下偏移的空间不同;论文将这一效应与另一种独立的信息缺失机制区分开来 [1]
  • 理论:个人可能会合理地降低信心,以考虑自己缺少的信息,而群体则能汇总不同的证据。作者明确说明,个人的这种谨慎未必是一种偏差,过度自信也可能减弱或逆转所提出的效应 [1]
  • 模型假设与局限:这一论证假设,以基于全部可用信息得出的估计值为参照,信息误差导致向上或向下偏离的可能性相同。作者说明,他们的模型是一种近似模型,信息共享会影响群体的信息优势,而且即使拥有全部可用信息,也仍可能存在不确定性 [1]

适用局限

适用局限

这段节选并不完整,也没有确定一种普遍适用的调整幅度,或给出意见越一致就应做越大极端化调整的规则。各自独立开展工作,并不能确保预测者使用了不同的证据;使用共同证据,也不能说明每一种调整都会失败。所提出的机制依赖于对信息和误差的假设,不能保证对某个具体预测有效。这里提到的留出样本回测和校准检查属于实践建议,并不是这段节选报告的研究发现。它们是否有用,还取决于是否有足够多结果已知、且与待调整预测足够相似的问题。

参考来源

参考来源

试一试

检验你的理解

四位分析师都预测,某个选举结果出现的概率为75%。一项极端化调整已经在类似的留出问题上提高了预测准确性。如果你把这项调整用于他们给出的概率平均值,结果会向哪个方向移动?

查看文章解释

答案: 升到75%以上,进一步远离50%

极端化会将高于50%的概率向100%的方向上调。这里,留出问题上的评估结果支持对类似预测使用这项调整。仅凭分析师们意见一致,不能确定调整会提高准确性,而且题目没有提供足以确定最终具体概率的依据。

以下哪种情境最明确地包含了讨论,可能使判断依赖共同信息,因此在把意见一致视为各自提供的支持证据之前,需要先做检查?

查看文章解释

答案: 八位医学专科医生一起会诊,并达成一致的诊断

专科医生明确地一起讨论了病例,所以他们的意见一致可能反映了共同证据和相互影响。这意味着你需要检查信息是否重叠,但不能据此证明极端化调整一定会失败。其他情境也需要评估,因为各自独立工作或使用不同模型,都不能保证带来有用的额外信息或提高准确性。

关于极端化调整为什么可能有帮助,以下哪项最符合论文提出的信息缺失解释?

查看文章解释

答案: 个人可能会因信息不完整而合理地降低信心,而群体能汇总不同且有用的证据

论文提出,对每个人掌握的信息而言,个人保持谨慎可能是恰当的,而汇总不同证据后,可能有理由更有信心。这是一种有条件的理论机制。信息重叠、证据偏差或最初就存在的过度自信,都可能削弱极端化调整的依据,甚至使调整方向需要反过来。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。