思维模型
校准训练
通过有条理的训练,让你的主观信心与实际准确率相匹配,从而做出更可靠的预测。
探索一下
你团队对项目的估计总是不可靠:有些过于乐观,有些又太谨慎。你决定组织一次训练,提高大家预测的准确率。
这项训练最先要做、也最关键的一步是什么?
我们一步步看看,怎样让团队的预测稳定、准确。
理解概念
理解概念
校准训练是一种让你的主观信心与实际准确率相匹配的方法。第一步是确保大家对“有九成把握”的含义达成一致,也就是预计每判断十次,会有九次正确。例如,一位校准良好的气象预报员预报“降雨概率为七成”,那么每做出十次这样的日预报,大约会有七次判断正确。这个过程能帮助你和团队避免因过度自信而付出高昂代价,做出更可靠的判断。
试试这样:问问同事,对他们来说,对一件事“有八成把握”意味着什么,看看大家的回答有多大差异。
详细讲解
详细讲解
校准训练是一个有条理的反馈循环,目的是提高你评估自身成功概率的能力。它会系统地揭示你以为自己知道的与实际知道的之间的差距,让你据此调整。
这个过程有四个关键步骤:
- 定义尺度:团队首先要对各个信心水平的具体含义达成共识。例如,“有九成把握”意味着,每做出十次这样的预测,预计恰好有九次正确。如果没有这套共同语言,练习就失去了意义。
- 做出预测:每个人回答一系列结果可以核实的问题,并为每个答案标注自己的把握程度。销售团队可以预测二十个潜在客户中,哪些会在本季度成交;软件团队可以估计哪些功能能在截止日期前无缺陷地交付,并为每项预测标注七成、八成或九成的把握。
- 提供反馈:结果揭晓后,参与者回顾自己的表现,检查各个信心水平下的准确率。那些有八成把握的预测,最后是否大约有八成正确?这样就能看出过度自信或信心不足的规律。
- 分析并调整:团队一起讨论结果。看到实实在在的数据,比如“我们有九成把握时,实际上只有六成判断正确”,大家就不得不调整今后做估计的方式。不断预测、核对和调整,才能逐步提高判断力。
研究依据
研究依据
校准训练直接针对过度自信效应,而这一效应是认知心理学中得到最稳健支持的发现之一。这种偏差指的是:我们对自身判断的主观信心,往往高于实际准确率。训练提供有条理的反馈,而反馈是提高元认知能力(思考自己如何思考)和预测准确率的必要组成部分。
- Lichtenstein、Fischhoff 和 Phillips(1982)在一篇奠定基础的综述中指出,从常识问题到专家预测,过度自信普遍存在于不同领域。这确立了采用校准训练等纠正方法的必要性。[2]
- Moore 和 Healy(2008)区分了三种过度自信,并提出,校准主要有助于改善“过度确信”(过于确信自己的看法准确无误)和“高估表现”(高估自己的表现)。[3]
- Tetlock 和 Gardner(2015)发现,最优秀的预测者,也就是所谓的“超级预测者”,不一定是某个领域的专家,但他们擅长概率思维,并始终通过持续的反馈和调整来校准自己的判断。[1]
- Kahneman 等人(2021)强调,定期进行校准练习,即使只是使用简单的知识问答,也能在团队内部建立一套共同的概率语言,并显著减少战略决策中的噪声和偏差。[4]
适用局限
适用局限
校准训练很有效,但也有局限。要取得成效,需要一组能得到清晰、明确且相对及时反馈的问题;对于结果模糊或迟迟无法揭晓的复杂长期预测,它的帮助较小。这个过程也可能让人觉得枯燥,如果组织不当,参与者可能会失去投入的意愿。最后,校准是一项会生疏的技能,需要持续练习才能保持,并非一次训练就能一劳永逸。
参考来源
参考来源
- [1] 超级预测:预测的艺术与科学Philip E. Tetlock & Dan Gardner - 2015
- [2] 概率校准:截至1980年的研究现状Sarah Lichtenstein, Baruch Fischhoff & Lawrence D. Phillips - 1982
- [3] 过度自信的问题Don A. Moore & Paul J. Healy - 2008
- [4] 如何校准你的判断Daniel Kahneman, Andrew M. Rosenfield, Linnea Gandhi, and Tom Blaser - 2021
试一试
检验你的理解
在典型的校准训练中,定义好各个信心水平后,紧接着应该做什么?
查看文章解释
答案: 做出一系列预测,并标注把握程度
校准的核心循环是:预测、获得反馈、调整。设定好规则,也就是定义尺度后,下一步就是做出之后要接受检验的预测。
一个营销团队想通过校准训练,改进对营销活动的预测。以下哪类问题最适合用于练习?
查看文章解释
答案: 第一周的点击率会超过2.5%吗?
校准训练需要结果清晰、具体且可以核实的问题。点击率这样的指标可以核实,而“成功”这类模糊表述或主观感受则难以核实。
一位项目经理发现,每当团队对按时完成任务“有九成把握”时,实际上只有大约六成的判断是正确的。这表明团队:
查看文章解释
答案: 过度自信
团队的主观信心(90%)明显高于实际准确率(60%)。这是过度自信的典型表现,也是校准训练要纠正的问题。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。