助推的 A/B 测试

助推的 A/B 测试，就是把人随机分组，让不同组看到不同版本的选择设计，再衡量哪个版本带来的结果更好。比如，你不必猜测把健康食品排在前面的菜单是否会鼓励人们选择营养更好的食物，而是可以直接拿它和原来的设计做比较。正确的第一步是将用户随机分组，这能确保你看到的差异来自助推本身，而不是人们原本就存在的差异。 请注意：当你发现网站或应用向不同用户展示不同界面时，它们很可能正在做 A/B 测试，看看哪种设计效果最好。

助推的 A/B 测试如何进行

A/B 测试的步骤很直接：首先，把受众随机分成两组；接着，让每组接触不同的选择设计；最后，衡量由此产生的行为。随机分组是关键的第一步，因为它能确保两组在测试开始时具有可比性。如果跳过随机分组，直接向所有人推出新菜单设计，你就无法知道行为变化究竟来自助推，还是季节变化、营销活动等外部因素。

衡量真正重要的结果

测试结束后，你需要比较两组的关键指标。对于鼓励健康饮食的助推，你可以追踪含蔬菜的订单占比、平均热量或复购率。两组之间的差异能反映助推效果的大小。蔬菜选择率提高百分之五，看起来可能不多，但规模大起来后，就意味着成千上万次更健康的选择。关键是开始前就确定指标，否则你可能会忍不住在事后从数据中挑出“显著”的结果。

常见应用与陷阱

零售商用 A/B 测试优化商品摆放，政府测试税务信件的不同表述方式，医疗系统则比较不同提醒信息对就诊出席情况的影响。不过，即使实验者出发点很好，也可能掉进几个陷阱：一看到“胜出”的版本就停止测试，导致假阳性；测试太多版本，却没有调整统计判断的门槛；或者忽视短期效果可能与长期行为不同。某种助推起初可能提高注册率，但当用户意识到自己受到了巧妙引导，之后可能会产生反感。

助推的 A/B 测试结合了行为科学中的实验设计与因果推断中的统计方法。核心要求是把参与者随机分配到干预组和对照组，为判断助推是否产生因果影响提供有效依据。样本量决定了测试的敏感程度：要可靠地检测出微小效果，就需要大样本；功效分析则能帮助你在开始前确定需要多少参与者。

• Thaler 与 Sunstein（2008）：助推通过改变选择架构来影响选择，同时不限制可选项；A/B 测试可以验证这些变化是否真的改变了决策 [1]。
• List 等人（2021）：一项对助推实地实验的元分析发现，平均效应量较为有限，为 8.4 个百分点；不同领域的效果差异很大，而且常见的发表偏倚会夸大报告中的影响 [2]。
• Harrison 与 List（2004）：实地实验中的随机分组，能为因果判断提供与实验室环境相当的有效性，同时保留真实世界的情境和外部效度，也就是结果向其他情境推广的适用性 [3]。

关键统计概念：统计显著性表示，观察到的差异是否不太可能仅由随机因素造成。p 值低于 0.05，意味着该效果由随机因素造成的概率低于 5%。不过，这个门槛是人为设定的，而 p 值操纵，也就是反复分析数据直到出现显著结果，会损害结论的可信度。

使用 A/B 测试时，你需要认识到它的几个局限。首先，它衡量的是平均效果：对某个群体有效的设计，可能对另一个群体适得其反，而分析不同子群体又需要更大的样本。其次，短期测试可能漏掉延迟出现的效果或适应过程；用户起初可能会对助推作出反应，但随着时间推移，可能逐渐习惯，也可能产生抵触。第三，A/B 测试不容易衡量用户福祉方面的影响：注册率更高，不一定意味着用户做出了更好的决策。第四，如果助推在不透明的情况下操纵选择，就会引发伦理问题，对弱势群体尤其如此。最后，统计显著不等于实际意义重大：一个微小但统计显著的效果，未必值得投入实施成本。