思维模型
校准训练
一种通过系统性地追踪你的置信度与现实结果的匹配程度,来提升预测准确性的方法。
探索一下
来测测你的置信度。你有多确定罗马比纽约更靠北?
选择最符合你信念的置信度水平。
让我们看看这与做出更好的预测有何关联。
理解概念
理解概念
校准训练就是把你的“感觉有多确定”和“实际有多准”对上号。目标很简单:当你说某件事有80%把握时,十次里面应该能对八次。比如,一个校准得好的天气预报员预测有80%会下雨,那十个这样的日子里就该下八次雨。对了,罗马确实在纽约北边——刚才你的把握程度跟这个事实匹配吗?
试试这样:下次做一个小预测时,把你的把握程度写成百分比,然后看看结果如何。
详细讲解
详细讲解
校准训练通过在你的判断和现实之间建立结构化的反馈循环来发挥作用。这是一个将模糊的确定感转变为可靠预测工具的系统化过程。
这个过程包含三个核心步骤:
- 预测:做出具体的预测并为其分配数值概率。不要说某件事“很可能会发生”,而要说有“75%的可能性”。
- 记录与观察:写下你的预测及其背后的推理。然后等待实际结果的发生。
- 评分与调整:将结果与预测进行比较。如果你有90%的把握但错了,说明你过于自信了。如果你只有60%的把握但对了,你可能信心不足。随着时间的推移,你利用这些反馈来调整你内在的置信感。
一位项目经理可以用这种方法来估算截止日期。通过追踪她的置信度(例如“我有80%的把握我们能在周二前完成”)与实际交付日期的对比,她可以了解自己是否一贯过于乐观,并相应地调整计划和沟通方式。
同样,一位医生在诊断疾病时可以为不同病症分配概率。通过回顾患者的治疗结果,他们可以完善自己的诊断直觉,降低因过度自信而忽视罕见病症的风险。
研究依据
研究依据
研究表明,大多数人的校准能力都很差——通常过于自信——但这种认知偏差可以通过刻意练习来纠正。这个过程包括做出大量概率预测并获得清晰、及时的反馈。这种方法是培养真正预测专长的基石,将其从一种天赋转变为可学习的技能。
- Tetlock & Gardner (2015) 发现,精英“超级预测者”的特征不在于他们是谁,而在于他们做什么:他们保持积极的开放心态,在智力上保持谦逊,并通过练习和反馈不断改进自己的校准能力[1]。 [4]
- Fischhoff, Slovic, & Lichtenstein (1977) 进行了开创性研究,证明过度自信是一种强大而普遍的偏见,但同时也表明,对概率判断准确性的密集反馈可以显著改善校准并减少过度自信[2]。
- Moore & Healy (2008) 区分了不同形式的过度自信,包括高估(相信自己比实际更好)和过度精确(过于确定自己的信念是正确的),这两种都可以通过针对性的校准练习来解决[3]。
适用局限
适用局限
校准具有很强的领域特定性;一个校准良好的天气预报员并不意味着就是校准良好的政治评论员。训练需要频繁、明确且及时的反馈,这在复杂、“棘手”且反馈周期长的领域(如战略商业决策或外交政策)中往往难以获得。此外,如果没有严格遵守记录和回顾预测的纪律,训练效果也会大打折扣。
参考来源
参考来源
- [1] Superforecasting: The Art and Science of Prediction(《超预测》)Philip E. Tetlock & Dan Gardner - 2015
- [2] Knowing with Certainty: The Appropriateness of Extreme ConfidenceBaruch Fischhoff, Paul Slovic, & Sarah Lichtenstein - 1977
- [3] The Trouble with OverconfidenceDon A. Moore & Paul J. Healy - 2008
- [4] How to Measure Anything: An Introduction to CalibrationFarnam Street - 2021
试一试
检验你的理解
一名软件开发人员想提高项目时间估算的准确性。根据校准训练的原则,最关键的第一步是什么?
查看文章解释
答案: 开始记录自己对每个时间估算的置信度(例如80%)
校准训练始于做出具体的、可追踪的概率预测。其他选项可能对项目工作有帮助,但并未涉及校准的核心机制。
开头的自我检测问了一个地理事实的置信度。在校准训练中,这类练习的主要目标是什么?
查看文章解释
答案: 看看你的主观置信感是否与现实相符
目标不在于事实本身,而是将其作为数据点,检验你内心的确定感(例如感觉95%确定)是否与实际准确率相符。
以下哪位专业人士会发现最难在自己的核心工作中应用校准训练?
查看文章解释
答案: 对重大宪法案件做出裁决的最高法院大法官
校准训练需要快速、明确且重复的反馈。最高法院大法官做出的决定频率低、后果在数十年内才显现,几乎无法获得关于其判断“正确性”的直接反馈。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。