思维模型

预测校准

预测校准衡量的是,长期来看,你给出的预测概率与实际结果有多吻合,也就是你预期会发生的事与实际发生的事有多大差距。

探索一下

一位气象预报员连续一周每天都说,下雨的概率是70%。这7天里有5天下了雨。这位预报员的预测校准得好吗?

测测你的直觉

了解校准到底是什么意思,以及它为什么重要。

理解概念

理解概念

预测校准衡量的是,长期来看,你说自己有多大把握,是否与实际情况相符。如果你说一件事有七成可能发生,那么在你多次给出这种预测时,它应该大约有七成的次数会发生。你可以把它想成淋浴的温度旋钮:调到“温水”,流出来的水就应该感觉温暖,而不是冰冷或滚烫。预测校准得好,你就可以信赖这些数字,用它们帮助你做决定,从要不要带伞到如何投入资源。 检查一下:记录你有八成把握的预测,看看它们实际有多大比例成真。

详细讲解

详细讲解

校准能帮你分辨,预测者是过于自信,还是信心不足。一个校准良好的预测者说某件事有三成可能发生,那么在许多类似预测中,这件事实际发生的比例就会接近三成。重点不在于某一次预测是对是错,而在于长期来看,预测概率与实际结果是否吻合。

这很重要,因为校准不佳的预测会误导做决定的人。如果一位医生总说“出现并发症的概率是一成”,但实际发生的比例却是四成,患者就无法在充分知情的情况下做出选择。同样,如果一位经理估计“按时交付的概率是九成”,实际却只有六成能按时交付,相关人员就会逐渐完全不再理会这些数字。

好消息是:校准可以衡量,也可以改善。记录你每次预测的把握程度,比如一成、五成、九成,再追踪实际结果,你就能画出自己的校准曲线。过于自信的人会发现,自己给出七成概率的预测,实际只有四成成真;信心不足的人则会发现,这些预测有九成成真。意识到这种差距,是让预测概率与实际结果趋于一致的第一步。

研究依据

研究依据

关于校准的研究揭示了一个引人注意的现象:专业知识有时与校准困难相关,但不同领域的研究结果并不一致。这种校准与过度自信之间的悖论出现在多个领域——情报分析人员常常高估自己判断的确定性,与他们实际的预测记录并不相符 [1]。训练可以有所帮助:获得实际结果的反馈,以及思考预测可能出错的原因等方法,能减少过度自信,让给出的概率与观察到的发生频率更加吻合 [1]。

主要发现:

  • Tetlock(2015): 超级预测者是一群持续表现优于情报分析人员的普通人。他们通过一些具体习惯实现了更好的校准,包括在获得新信息时更新预测,以及长期明确记录预测的数值准确性 [1]。

  • Lichtenstein 与 Fischhoff(1977): 研究表明,人们在不同知识领域中普遍存在系统性的校准偏差,而且任务越难,过度自信越明显;他们设计的实验流程确立了校准曲线作为标准测量方法的地位 [2]。

适用局限

适用局限

单靠校准无法反映预测的全部质量。一个总说“概率是50%”的预测者可以做到完全校准,却毫无用处——每次预测都是同样模棱两可的说法。分辨力,也就是区分哪些事件更可能发生、哪些更不可能发生的能力,也很重要。最好的预测者既有良好的校准,也有良好的分辨力。此外,校准的前提是用于比较的同类情形保持稳定:如果世界发生剧变,比如疫情期间,过去的校准表现可能就无法直接适用于未来,需要重新校准。最后,罕见事件也会带来测量难题——你需要积累数百次“风险为1%”的预测,才能检验1%是否真的是恰当的数字。

参考来源

参考来源

试一试

检验你的理解

两位经理提出项目方案。经理A说“成功概率是90%”,并在10个类似项目中成功了9个。经理B说“成功概率是50%”,并在10个项目中成功了5个。哪位经理的预测校准得更好?

查看文章解释

答案: 两人的预测校准得一样好

两位经理的预测都完全校准!经理A给出的90%概率与90%的实际成功率相符,经理B给出的50%概率也与50%的实际成功率相符。校准看的是给出的概率与实际结果是否吻合,而不是概率有多高。经理A的分辨力更高,也就是给出的概率更接近两端,能做出更清晰的区分,但两人的校准程度相同。

一位医生告诉患者,服用某种药物“出现副作用的概率是20%”。在100名患者中,有45人出现了副作用。这说明这位医生的预测有什么问题?

查看文章解释

答案: 这位医生信心不足

这位医生信心不足,具体来说,就是低估了风险。医生说“概率是20%”,实际发生率却是45%,超过了估计值的两倍。信心不足意味着给出的概率*低于*实际发生率。这与过度自信相反:过度自信的人可能说“有90%的把握”,实际上却只有60%的时候判断正确。在这个例子中,患者没有得到准确的风险信息,因而无法在充分知情的情况下做决定。

你的朋友每次做预测都说“概率是50%”,从体育比赛结果到会不会下雨都一样。你追踪了100次预测,发现所预测的事件恰好有50%的次数发生。这算是一位好的预测者吗?

查看文章解释

答案: 校准良好,但没有用

你的朋友做到了完全校准,给出的概率是50%,实际发生率也是50%,但分辨力很差。分辨力是区分哪些事件更可能发生、哪些更不可能发生的能力:很可能发生时说“80%”,不太可能发生时说“20%”。总是预测50%,无法为决策提供信息。好的预测者既需要校准,也就是给出准确的概率,也需要分辨力,也就是对不同情况做出有意义的区分。这就是为什么气象预报员能给出“70%”或“30%”,而不是一律说“也许会”。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。