思维模型

序贯检验

一种灵活的决策方法,让你随着证据不断积累进行分析,并在答案明确时提前停止。

探索一下

一家软件公司正在对一项新功能进行 A/B 测试。才收集到计划数据量的 10%,早期结果就显示出巨大的改善。他们应该提前停止测试,让这项功能上线吗?

怎样做才符合统计原则?

了解序贯方法,你就会知道如何在合乎伦理的前提下提前查看数据。

理解概念

理解概念

序贯检验就像做饭时隔一会儿就检查一下,而不是一直等计时器响:你可以边做边尝,菜明显熟了或明显烧焦了,就提前停下来。大多数传统统计方法要求你事先确定固定的样本量,而序贯方法允许你随着数据不断到来进行分析,并在证据足够支持决策时停止。当效应较大时,这种方法能节省资源和时间;当效应较小或尚不确定时,它仍能防止你得出错误结论。 请注意:下次你根据不断更新的数据做决定时,问问自己,提前查看数据时是否采取了适当的防护措施。

详细讲解

详细讲解

序贯检验如何运作

传统假设检验要求你在看到任何数据之前就确定样本量。序贯检验则把数据收集看作一个持续的过程,你会在预先设定的检查点评估证据。每到一个检查点,你通常会做出三种决定之一:因效果明确而停止、因继续下去很可能也看不到效果而停止,或继续收集更多数据。关键在于,每个检查点的统计阈值都会作出调整,以考虑你多次查看数据这件事,否则,你可能会把随机噪声看成有意义的规律。

停止规则如何保护你

停止规则是事先设定的界限,用来告诉你何时停止。这些界限成对出现:达到上界时,因为发现了真实效应而停止;达到下界时,因为证据表明继续下去很可能没有结果,或不太可能发现有实际意义的效应而停止。如果结果处于两条界限之间,就继续收集数据。数学上的设计能确保,即使你多次查看数据,总体错误率仍然受到控制。这就像山路上的护栏:你可以继续向前开,随时查看自己的位置,而护栏会防止你偏离道路。

现实中的应用

临床试验经常使用序贯检验。如果一种新药在早期就显示出显著益处,试验就会停止,以便让患者获得这种治疗。如果它显示出危害,或明显不太可能有效,试验也会停止,以免浪费资源、危及生命。科技公司会在产品上线时使用序贯实验,当新功能明显成功或失败时提前停止实验。制造业质量控制会采用序贯抽样方案检查成批零件,在质量明显合格或明显不合格时停止检查。金融交易会持续监测投资策略,当越来越多的证据表明策略无效时,就停止使用它。

实际使用时要考虑什么

序贯检验需要提前规划:你必须在收集数据之前确定检查点和停止界限。你不能只是“不断查看,直到看出点什么”,那样一定会出现假发现。不过,只要采用恰当的序贯设计,你就能提高效率:平均而言,序贯方法比固定样本量检验需要更少的样本,就能得出相同的结论。代价是设计和分析会更复杂。对于大多数数据随时间不断到来的实际决策,这份复杂性带来的时间和资源节省是值得的。

研究依据

研究依据

第二次世界大战期间,亚伯拉罕·瓦尔德为军火制造中的质量控制开创了序贯分析,为根据不断积累的数据做决策提供了严谨的框架。此后,这一领域逐渐成熟,能够在保持统计有效性的同时,处理复杂的序贯设计、群序贯方法和适应性试验。

主要研究发现:

  • Wald(1947):提出了序贯概率比检验(SPRT)。它为简单假设检验提供了最优停止规则,并使两种假设下的期望样本量都达到最小 [1]。
  • Jennison 和 Turnbull(2000):群序贯方法允许研究者按离散的时间间隔进行分析,而不必连续分析,让序贯设计能实际用于定期开展分析的临床试验 [2]。
  • Stefan 等人(2022):序贯贝叶斯因子方法可以高效比较证据,衡量证据对不同假设的支持程度,并结合先验几率(两个假设的先验概率之比)更新后验概率 [5]。

核心认识是:序贯方法可以在平均样本量大幅减少的情况下,达到相同的统计功效,也就是检出真实效应的能力。尤其当真实效应量与设定界限时采用的假设相差较大时,这种优势更明显。

适用局限

适用局限

序贯检验需要事先仔细设定停止界限。如果看到“有意思”的模式后,才临时决定继续还是停止,统计保证就会失效。这些方法假定数据质量随时间保持一致;测量方式或人群特征发生变化,都可能产生误导性结果。对于复杂设计,例如多臂试验或复合终点,计算正确的界限需要专门的软件或统计专业知识。在一些监管场景中,传统的固定样本量设计仍更受青睐,因为人们更熟悉它,也倾向于默认采用较保守的做法。

参考来源

参考来源

试一试

检验你的理解

一个营销团队正在测试两个邮件主题。向 500 位收件人发送邮件后,两组的打开率分别为 15% 和 18%。他们计划总共抽样 5,000 人。哪种做法最能在允许提前停止的同时,保持统计有效性?

查看文章解释

答案: 开始前预先设定分析检查点和经过调整的阈值

序贯检验的关键是:你确实可以提前查看数据,但必须事先做好规划。预先设定检查点,并使用经过调整的统计阈值,例如 O'Brien-Fleming 或 Pocock 界限,既能控制错误率,也允许你在结果明确时提前停止。计划外的提前查看会提高假阳性率,而当效应较大时,僵化地坚持固定样本量会浪费资源。

为什么反复查看数据,并在看到“显著”结果时停止,会导致假发现?

查看文章解释

答案: 查看次数足够多时,随机波动最终也会看起来像规律

这正是多重比较问题的表现。只要有足够多的机会,也就是足够多次查看数据,随机噪声最终就会纯粹出于偶然,形成看起来很惊人的模式。序贯方法通过在每次查看时采用更严格的统计阈值来解决这个问题,让总体错误率无论查看多少次都能受到控制。

一项临床试验采用设有停止界限的序贯设计。第三次期中分析后,检验统计量越过了下界。这意味着什么?

查看文章解释

答案: 因无效性而停止——即使收集更多数据,试验也不太可能显示出益处

序贯设计有两条界限:上界代表支持有效性的证据,下界代表支持无效性或没有效应的证据。越过下界意味着无效性,也就是说,即使收集更多数据,试验也不太可能显示出益处。这比单纯的“证据不足”更强:它是一项正式判断,认为继续下去也不太可能改变结论。因无效性而停止能节省资源,也能避免让参与者接受无效治疗。这是序贯方法相较于固定样本量设计的一项关键优势。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。