测试结果分组分析

对测试结果做分组分析，就是把数据按有意义的特征分成不同群体，而不只是看总体平均值。想象一种药物，它能帮助七成患者，却会伤害其余三成患者——平均效果看起来可能毫无作用，实际上却对不同群体产生了强烈而相反的影响。同样，某次结账流程的改动可能帮助了手机用户，却影响了电脑用户，两种效果在总体平均值中相互抵消。按设备类型、地区或成为客户的时间长短等特征分组，你就能发现那些被平均值完全掩盖的效果。开头问题的正确答案是“取决于不同群体的表现”：团队应该先对数据做分组分析，看看不同客户群体的反应是否不同，再决定是否撤回改动。 请注意：下次看到结果没有变化时，问问自己是否已经按有意义的特征做了分组分析。

分组分析会根据可能影响结果的特征，把实验数据分成不同群体，比如设备类型、所在地区、新用户还是回访用户、流量来源或过去的行为。分析过程是：先运行实验，得到总体结果；再提出假设，判断哪些群体的反应可能不同；最后分别分析每个群体。当不同群体受到的影响不同时，总体平均值可能同时掩盖正面和负面的效果。

辛普森悖论的风险：这是一种统计现象：某个趋势在多个不同的数据组中都存在，但把这些组合在一起后，趋势却消失了，甚至反转。例如，结账流程的改动可能让手机端转化率提高了百分之十五，却让电脑端转化率降低了百分之十。如果手机用户占流量的四成，电脑用户占六成，那么即使这次改动帮助了一个规模大、还在不断增长的用户群体，总体效果也可能看起来没有变化，甚至是负面的。

实用的分组分析框架：从你已经在记录的维度入手。对于电商，可以按设备类型、首次购买还是再次购买的客户，以及购买品类来分组。对于面向企业的软件，可以按公司规模、角色（决策者还是使用者）和地理区域来分组。关键是在运行实验前就规划好分组，避免事后挑选对自己有利的结果。提前记录分组假设，再有系统地检验这些假设。

什么时候分组分析最有价值：当你的用户在需求或使用情境上存在差异时，分组分析最有价值。定价页面的改动可能吸引对价格敏感的新客户，却让忠诚的深度用户反感。某个功能的重新设计可能帮助新手，却让熟练用户感到挫败。在这些情况下，分组分析能帮你判断，是否应该为不同群体提供不同的体验，而不是让所有人使用同一种方案。

关于实验中亚组分析的研究，既揭示了它的价值，也指出了其中的陷阱。Kohavi 等人（2020）强调，要正确地做分组分析，就需要事先确定分组，以免得出错误发现：如果数据科学家在事后用足够多的方式切分数据，总能找到某个碰巧呈现正面结果的群体 [1]。Gelman（2017）展示了多层模型如何借助不同群体之间的信息，改进各组的估计，减少小样本分组分析中常见的高方差问题，也就是估计结果容易大幅波动的问题 [2]。

• Kohavi 等人（2020）：可信的在线对照实验会事先确定分组，并进行多重比较校正，避免通过反复挖掘数据找出虚假效应 [1]。
• Gelman 和 Hill（2007）：多层（层级）模型会对各组估计和总体估计进行部分汇聚，也就是让两者适度共享信息，在了解各组特点和把握总体规律之间取得平衡 [3]。
• Hsu 等人（2020）：要检测出真实的交互效应，亚组分析需要比总体实验更大的样本量，因为统计功效会受到所关注的最小群体的限制 [4]。

分组分析也会带来统计上的挑战：每组样本变少，会增大方差、降低统计功效，让真实效果更难被检测出来。分组越多，就越容易仅凭偶然得到假阳性结果，这就是多重比较问题。你必须在查看结果前预注册分组假设，避免“p 值操纵”或挑选有利结果。此外，不同分组维度之间可能存在复杂的交互作用：某项改动可能帮助了加利福尼亚州的手机用户，却影响了纽约州的手机用户，导致潜在的分组组合数量激增。最后，各组的情况也可能随时间变化。随着流量来源的构成改变，上个季度对新用户有效的做法，这个季度可能就不再有效。