思维模型
指标审计
系统检查你的绩效指标是否真正反映目标,或是否在激励你未曾预料的行为。
探索一下
一家医院的管理层宣布,将通过追踪患者并发症来衡量工作成效。此后,医院的安全评级大幅提升。多年后,一项调查揭露了令人不安的真相:外科医生为了保住自己的分数,开始避开高风险病例,导致病情最严重的患者找不到地方接受治疗。
哪里出了问题?
看看如何检查你的指标是否衡量了真正重要的事。
理解概念
理解概念
审计指标,就是检查你追踪的数字是否真正反映了你在意的事,还是大家只是在学着钻规则的空子。当你把某件事变成可衡量的指标,并将奖励与它挂钩时,大家自然会调整行为,这听起来不错,却可能适得其反。比如,如果要求呼叫中心员工尽量缩短通话时间,他们可能会为了压低数字而直接挂断客户的电话。
试试这样:选一个你正在追踪的指标,想想如果一个人只在乎这个数字,他会怎么做。
详细讲解
详细讲解
指标审计怎么做
指标审计的过程很直接:明确你想实现的目标,检查你实际衡量的是什么,再梳理人们可能如何回应这些激励。先用日常语言说清目标,不要一开始就用数字表达。如果你的目标是“提供出色的客户支持”,却只衡量“平均通话时长”,那么你的初衷和衡量方式之间就出现了偏差。
人们如何钻指标的空子
当指标决定奖励时,人们就会围着指标使劲,而不是围着目标努力。这个过程往往有迹可循:首先,大家出于好意引入一个指标。接着,人们发现哪些做法能最快改善自己的数字。最后,这些做法可能逐渐偏离最初的目标,有时甚至偏得很远。按销售收入获得奖励的销售团队,可能会推销客户并不需要的昂贵产品;按考试成绩接受评价的教师,则可能只教应试技巧,牺牲学生对知识的深入理解。
需要留意的警示信号
留意三种危险信号:做法在规则上挑不出毛病,却让你觉得不对劲;为了速度而牺牲质量的捷径;某项结果改善得快到可疑,其他方面却没有相应进步。医疗领域有一个经典例子:外科医生为了维持自己的患者死亡率指标而避开疑难病例。数字看起来很好,患者获得治疗的机会却受到了影响。
可以采取的步骤
第一,让衡量方式多样化。复杂的目标无法用一个数字概括。把定量指标与定性反馈结合起来,从多个方面衡量表现,而不是只看一个容易被钻空子的统计数字。第二,将部分指标保密,或定期调整指标,让人们无法只围着已知目标优化行为。第三,把指标当作诊断工具,而不是决定奖励的唯一依据。理解数字反映了系统中的什么情况,再结合更全面的判断做决定。
什么时候尤其需要审计
当指标关系重大、你发现可疑模式,或准备引入新的衡量系统时,都应该进行指标审计。如果指标完全取代了人的判断,或接受评价的人能影响数据本身,就要格外留意。一个指标在招聘、解雇、拨款或奖金决策中的分量越重,你就越需要仔细审查它是否会带来意外后果。
研究依据
研究依据
关于指标失真的研究表明,一旦定量指标与关系重大的决策挂钩,就必然会扭曲人的行为。社会科学家唐纳德·T. 坎贝尔于1979年提出坎贝尔定律:“任何定量社会指标越多地用于社会决策,就越容易受到使其失真的压力,也越可能扭曲和破坏它原本要监测的社会过程。”[1] 经济学家查尔斯·古德哈特在货币政策领域独立观察到了类似现象,并指出:“当一个衡量指标变成目标时,它就不再是一个好的衡量指标。”[2]
曼海姆于2024年开展的近期综合研究整合了这些发现,并提出了构建更不易失真指标的实用策略,包括多样化、随机化和事后设定[3]。杰里·Z. 穆勒关于“指标迷信”的研究表明,对衡量的痴迷已经蔓延到教育、医疗、警务和商业领域,常常让按行政规定办事取代专业判断[4]。玛丽莲·斯特拉森对高等教育审计文化的研究显示,绩效评级可能产生悖论:它反而会损害自己原本想提升的质量[5]。
实证研究记录了这些问题在不同领域的表现。加州大学洛杉矶分校医疗系统2024年的一项研究发现,一项联邦患者安全指标(PSI-04)用于卒中诊疗时存在根本缺陷,可能会让医生倾向于避免给病情最严重的患者实施救命的治疗操作[6]。在教育领域,标准化考试的压力导致了“应试教学”现象:学生考试成绩不错,却没有形成相应的理解或技能。
研究提出了几种缓解策略:使用多种衡量方式,而不是单一指标;将部分指标保密,防止人们钻空子;在定量衡量之外加入人的定性判断;定期审查指标是否带来了意外后果。或许最重要的是,指标应作为帮助决策的诊断工具,而不是完全取代决策判断。
适用局限
适用局限
指标审计有一些重要局限。并非所有值得做的事都容易衡量,有些量化复杂目标的尝试可能弊大于利。在创意领域、研究密集型工作或照护职业中,僵硬的指标可能漏掉表现中至关重要的方面。此外,有些组织缺乏开展全面指标审计所需的资源或专业知识,而将指标保密又可能损害信任和透明度。防止人们钻空子与提供清晰预期之间也存在矛盾:大家理应知道自己将如何接受评价。最后,在无法逐一监督的大型组织中,指标可能是落实问责所必需的;完全放弃指标并不总是现实或可取的做法。
参考来源
参考来源
- [1] 评估有计划的社会变革的影响Donald T. Campbell - 1979
- [2] 货币管理问题:英国的经验C. A. E. Goodhart - 1984
- [3] 构建缺陷更少的指标:理解并创建更好的衡量与激励系统David Manheim - 2024
- [4] 指标的暴政Jerry Z. Muller - 2018
- [5] 研究显示,联邦安全指标不当惩罚了实施救命卒中治疗操作的医院UCLA Health - 2024
- [6] 坎贝尔定律:指标迷信的阴暗面Nielsen Norman Group - 2019
试一试
检验你的理解
一个软件团队用“编写的代码行数”衡量生产力。一段时间后,管理者发现代码越来越冗长,维护成本也在上升。最可能的原因是什么?
查看文章解释
答案: 程序员为了达标而添加不必要的代码
这就是钻指标空子的实际表现。当“代码行数”变成目标时,开发者就有动力编写冗长、重复的代码,即使这会让软件更难维护,也违背了编写高效、优质软件的真正目标。这个指标已经与实际生产力脱节。
在一个关系重大的绩效评价系统中,以下哪种策略最能有效减少操纵指标的行为?
查看文章解释
答案: 结合多种衡量方式与人的定性判断
研究表明,多样化,也就是使用多种难以同时钻空子的衡量方式,再结合定性判断,比单独使用任何一种策略都更有效。指标保密可能损害信任,而频繁衡量只会加快钻空子的进程。人的判断可以制衡指标失真,也能捕捉数字遗漏的表现维度。
判断对错:如果人们成功钻了你的指标的空子,就说明指标的计算有误。
查看文章解释
答案: 错误
钻指标的空子并不意味着计算有误,而是意味着指标已经与目标脱节。计算可能完全正确,但人们在激励下采取的做法却损害了预期结果。这正是坎贝尔定律和古德哈特定律的核心观点:任何与奖励挂钩的指标,最终都会被人们设法优化,而这些做法可能并不服务于最初的目的。解决办法通常是重新思考你在衡量什么、为什么要衡量,而不只是修正公式。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。