思维模型
预测校准
预测校准衡量的是,长期来看,你给出的预测概率与实际结果有多吻合,也就是你预期会发生的事与实际发生的事有多大差距。
探索一下
一位气象预报员连续一周每天都说,下雨的概率是70%。这7天里有5天下了雨。这位预报员的预测校准得好吗?
测测你的直觉
了解校准到底是什么意思,以及它为什么重要。
理解概念
理解概念
预测校准衡量的是,长期来看,你说自己有多大把握,是否与实际情况相符。如果你说一件事有七成可能发生,那么在你多次给出这种预测时,它应该大约有七成的次数会发生。你可以把它想成淋浴的温度旋钮:调到“温水”,流出来的水就应该感觉温暖,而不是冰冷或滚烫。预测校准得好,你就可以信赖这些数字,用它们帮助你做决定,从要不要带伞到如何投入资源。 检查一下:记录你有八成把握的预测,看看它们实际有多大比例成真。
详细讲解
详细讲解
校准能帮你分辨,预测者是过于自信,还是信心不足。一个校准良好的预测者说某件事有三成可能发生,那么在许多类似预测中,这件事实际发生的比例就会接近三成。重点不在于某一次预测是对是错,而在于长期来看,预测概率与实际结果是否吻合。
这很重要,因为校准不佳的预测会误导做决定的人。如果一位医生总说“出现并发症的概率是一成”,但实际发生的比例却是四成,患者就无法在充分知情的情况下做出选择。同样,如果一位经理估计“按时交付的概率是九成”,实际却只有六成能按时交付,相关人员就会逐渐完全不再理会这些数字。
好消息是:校准可以衡量,也可以改善。记录你每次预测的把握程度,比如一成、五成、九成,再追踪实际结果,你就能画出自己的校准曲线。过于自信的人会发现,自己给出七成概率的预测,实际只有四成成真;信心不足的人则会发现,这些预测有九成成真。意识到这种差距,是让预测概率与实际结果趋于一致的第一步。
研究依据
研究依据
适用局限
适用局限
单靠校准无法反映预测的全部质量。一个总说“概率是50%”的预测者可以做到完全校准,却毫无用处——每次预测都是同样模棱两可的说法。分辨力,也就是区分哪些事件更可能发生、哪些更不可能发生的能力,也很重要。最好的预测者既有良好的校准,也有良好的分辨力。此外,校准的前提是用于比较的同类情形保持稳定:如果世界发生剧变,比如疫情期间,过去的校准表现可能就无法直接适用于未来,需要重新校准。最后,罕见事件也会带来测量难题——你需要积累数百次“风险为1%”的预测,才能检验1%是否真的是恰当的数字。
参考来源
参考来源
- [1] 超级预测:预测的艺术与科学Philip Tetlock and Dan Gardner - 2015
- [2] 知道得更多的人,也更清楚自己知道多少吗?Sarah Lichtenstein and Baruch Fischhoff - 1977
- [3] 概率校准:截至1980年的研究进展Sarah Lichtenstein, Baruch Fischhoff, and David Phillips - 1982
试一试
检验你的理解
两位经理提出项目方案。经理A说“成功概率是90%”,并在10个类似项目中成功了9个。经理B说“成功概率是50%”,并在10个项目中成功了5个。哪位经理的预测校准得更好?
查看文章解释
答案: 两人的预测校准得一样好
两位经理的预测都完全校准!经理A给出的90%概率与90%的实际成功率相符,经理B给出的50%概率也与50%的实际成功率相符。校准看的是给出的概率与实际结果是否吻合,而不是概率有多高。经理A的分辨力更高,也就是给出的概率更接近两端,能做出更清晰的区分,但两人的校准程度相同。
一位医生告诉患者,服用某种药物“出现副作用的概率是20%”。在100名患者中,有45人出现了副作用。这说明这位医生的预测有什么问题?
查看文章解释
答案: 这位医生信心不足
这位医生信心不足,具体来说,就是低估了风险。医生说“概率是20%”,实际发生率却是45%,超过了估计值的两倍。信心不足意味着给出的概率*低于*实际发生率。这与过度自信相反:过度自信的人可能说“有90%的把握”,实际上却只有60%的时候判断正确。在这个例子中,患者没有得到准确的风险信息,因而无法在充分知情的情况下做决定。
你的朋友每次做预测都说“概率是50%”,从体育比赛结果到会不会下雨都一样。你追踪了100次预测,发现所预测的事件恰好有50%的次数发生。这算是一位好的预测者吗?
查看文章解释
答案: 校准良好,但没有用
你的朋友做到了完全校准,给出的概率是50%,实际发生率也是50%,但分辨力很差。分辨力是区分哪些事件更可能发生、哪些更不可能发生的能力:很可能发生时说“80%”,不太可能发生时说“20%”。总是预测50%,无法为决策提供信息。好的预测者既需要校准,也就是给出准确的概率,也需要分辨力,也就是对不同情况做出有意义的区分。这就是为什么气象预报员能给出“70%”或“30%”,而不是一律说“也许会”。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。