偷看问题

“偷看问题”指的是反复查看实验结果，一看到有希望的结果就提前结束实验的错误做法。这会大大增加你被随机因素误导的概率，让你把一时的偶然现象当成真正的改善。例如，如果你每小时都查看一次应用新功能的表现，就可能碰巧看到用户参与度短暂上升，误以为这个功能大获成功。

试试这样：开始任何测试前，先确定测试时长或样本量，并按计划执行。

偷看问题之所以会发生，是因为每次检查结果是否具有统计显著性，你都在进行一次计划之外的新统计检验。每次检验都有小概率出现假阳性，也就是显示出实际上并不存在的效果。反复查看时，这些小概率会累积，让你更有可能仅凭随机波动就碰到一个“显著”结果。

想象一下抛硬币。如果抛了上百次，期间短暂出现连续三次正面朝上，你并不会觉得奇怪。在这段好运出现时就结束实验，正是偷看问题的做法：把正常的随机波动误当成有意义的规律。

在商业场景中，营销团队可能每天都查看广告表现。他们也许会看到广告 A 在周二“领先”，就把全部预算转给它，后来才发现，如果看完整一周，广告 B 的表现本来会更好。最初的结果只是随机噪声。

同样，在临床试验中，早期集中出现的一些积极结果，可能让反复查看数据的研究人员误以为一种实际无效的新药有效。为防止这种情况，临床试验会采用严格的方案，要么禁止中期分析，要么使用能将中期分析纳入考虑的专门统计方法，因为这关系到重大的伦理问题。

偷看问题也称为“可选停止”，它会让人把随机噪声误当成真实效果，从而提高第一类错误率，也就是假阳性率。每次偷看都相当于进行一次未经校正的统计检验，使出现假阳性的概率不断累积。

• 持续查看结果可能大幅提高假阳性率：仅查看十次，就可能让名义上 5% 的假阳性率升至 15% 以上。这属于 p 值操纵的一种形式。 [1] [3] (2023)
• 为了允许提前停止，同时避免这种错误，“成组序贯方法”会预先安排少量中期分析，并调整显著性阈值，以维持总体错误率。 [2] (2000)
• 对大多数实际使用者来说，最简单的办法是提前确定固定的样本量或测试时长并遵守，或者使用内置序贯检验方法、能对此进行校正的测试平台。 [4] (n.d.)

偷看问题主要涉及频率学派统计，也就是大多数标准 A/B 测试所采用的统计框架。贝叶斯统计对这个问题的看法有所不同。贝叶斯方法会随着新数据的到来更新假设的概率，因此可能更能承受可选停止的影响。不过，这并不意味着你可以随意查看结果；你仍需要定义清晰的模型、合适的先验，以及预先规定的决策规则，例如只有当证据（如贝叶斯因子）达到某个阈值时才停止。 [5] 在少数采用频率学派方法的情况中，如果早期结果极其积极或极其消极，出于实际或伦理需要，可能必须提前停止，但这需要比常规显著性阈值高得多的证据标准。