行为政策中的测试与评估

行为政策中的测试与评估，就是一步步检验一个小改动是否真的改变了现实中的行为。你首先要明确目标结果，以及想改变的具体行为，再公平地测试不同版本，并衡量真正重要的结果。比如，税务部门可以比较两种提醒信，并根据收信人是否在30天内缴税来判断效果，而不是看邮件打开量。

请检查：在起草任何消息之前，先写下你的主要结果指标，以及你会如何衡量它。

整个流程分为投入、过程和产出。首先，明确政策目标，定义具体的结果，并分析人们为什么没有做出预期行为，比如操作太麻烦、时机不合适，或理解有误。

接着，设计可行的不同方案，比如消息内容、默认选项或提醒，并提前测试它们是否清楚易懂。改动要小，这样你才能判断效果是否来自这项调整。

选择评估方法：理想情况下，采用随机分组的对比测试；如果做不到，就采用严谨的准实验。确定样本量、随机分配方式、伦理要求，以及一个较短的测量时段。

衡量与目标直接相关的主要结果，同时监测成本、投诉等风险指标，并分析不同群体的情况，以关注公平性。跟踪实施过程，确保每组都按计划接受干预。

按照事先确定的规则分析结果，关注不同群体或情境之间有实际意义的效果差异，并估算每多促成一次期望行为需要多少成本。然后决定：采用、调整，还是放弃。

例如，给逾期缴税的家庭寄送不同的信件；医院测试佩戴在胸牌上的手部卫生提示；公用事业公司比较不同的用能报告，看它们能否减少能源使用。明确结果、找准行为障碍，并按设计落实干预，能让测试取得更好的结果。

证据表明，公共部门开展实验可以切实可行，也能产生影响，但平均效果不大，而且取决于具体情境。严谨的设计、明确的结果指标，以及透明的做法（预注册、结果报告），有助于提高结果的可靠性，并推动扩大实施。

• 英国内阁办公室（2012）：介绍了政府可以采用的实用、分步骤的随机对照试验（RCT）方法，以及适合使用它的情况。[1]
• Hallsworth 等人（2017）：大规模实地试验发现，对税务信件做简单调整，提高了按时缴税的比例。[2]
• Allcott（2011）：大规模实施时，包含社会规范信息的用能报告让家庭用电量减少了百分之几。[3]
• Mertens 等人（2022）：元分析发现，助推的效果为小到中等，并强调了情境和设计质量的重要性。[4]
• Gertler 等人（2016）：提供了一套关于因果评估、效度威胁和成本效益的标准实践指南。[5]

• 平均效果较小；只有当结果价值较高，或实施成本较低时，才有实际意义。
• 外部效度：扩大实施规模或换到新情境后，效果可能减弱，甚至反转。
• 随机分配、伦理和公平性方面存在限制；有些行为需要结构性的政策措施，单靠助推不够。
• 测量中的陷阱：用点击量代替实际结果；随访时间太短，无法判断效果能否持续。
• 发表偏倚和过度炒作；预注册和完整报告有助于应对这些问题。