A/B 测试

A/B 测试会随机向不同的人展示不同版本，同时比较两个版本的表现。关键是让两个版本同时运行，否则你就无法确定观察到的差异究竟由什么造成。例如，负责邮件营销的人可以把收件人名单随机分成两半，分别发送使用不同主题行的邮件，看看哪个主题行能带来更多打开次数。

请注意：有人声称某次比较是 A/B 测试时，看看有没有随机分组。

它是怎么运作的

A/B 测试通过随机分组，把你的受众分成在统计上相近的两组。两组所处的条件相同，唯一的差别就是你要测试的那一项改动。这样就能单独看出这项改动的效果。而在把蓝色按钮改成绿色的例子中，时间、市场状况，甚至纯粹的运气，都可能解释结果的差异。

关键原则

比较必须同时进行。如果你在一月测试一个版本，二月再测试另一个版本，任何差异都可能来自季节因素，而非改动本身。每组也需要有足够多的人。样本太小会产生误导性结果：看起来差异显著，其实只是随机波动。

实际例子

一家流媒体服务平台测试两种推荐算法：一半用户看到基于观看历史的个性化推荐，另一半看到热门节目。平台会比较哪一组在第一周观看的内容更多。一家新闻网站为同一篇报道测试两种标题：一半访客看到客观陈述事实的版本，另一半看到带有情绪色彩的版本。网站借此了解哪种标题能带来更多互动，同时关注其中的伦理影响。

什么时候更适用

当你有明确的指标需要优化，而且访问量足够大，能较快判断差异是否超出随机波动的范围时，A/B 测试就很有用。如果效果需要几个月才会显现，或者不同组用户之间的互动会影响彼此，A/B 测试的作用就会减弱。伦理问题也很重要：即使你能增加点击量，也不意味着你就应该通过操纵情绪来获取点击。

A/B 测试源于农业研究中的实验设计框架。农业研究中的随机对照试验确立了因果推断原则，这些原则如今也是数字实验的基础。它的统计基础依赖于假设检验，以及判断观察到的差异究竟来自实验干预还是随机波动的能力。

• Kohavi、Thomke 和 Liu（2020）：将实验规模扩大到每年数千次的组织，能获得显著的竞争优势；拥有成熟实验文化的组织，会将自身价值中高达 10%–25% 的部分归功于实验 [1]。
• Bakshy、Eckles 和 Bernstein（2014）：网络干扰，也就是不同实验组中的用户相互影响，会使 A/B 测试结果产生偏差。这是社交平台和网络化产品需要重点关注的问题 [2]。
• Box（1976）：实验中真正需要问的是“我们能从这项研究中学到什么”，而不能只看形式上的统计显著性。这强调了效应量（影响有多大）和实际意义比 p 值更值得关注 [3]。

A/B 测试能衡量发生了什么，却不能解释为什么会发生。改变颜色可能会增加点击量，但如果没有定性研究，你就无法知道：是用户觉得它更好看、更醒目，还是它只是更难被忽略。这类测试也不擅长评估长期影响。你可以很快测出哪个邮件主题行能带来更多打开次数，但如果想追踪激进的营销手段是否会在几个月里损害信任，就需要其他方法。如果优化只盯着点击量这类狭窄指标，却牺牲用户福祉，就会引发伦理问题。例如，煽动愤怒的内容可能在测试中表现很好，却会损害讨论环境。最后，A/B 测试只能比较你想得到、也愿意尝试的选项，无法发现你提出的假设范围之外的创新。