思维模型
序贯检验
一种灵活的决策方法,让你随着证据不断积累进行分析,并在答案明确时提前停止。
探索一下
一家软件公司正在对一项新功能进行 A/B 测试。才收集到计划数据量的 10%,早期结果就显示出巨大的改善。他们应该提前停止测试,让这项功能上线吗?
怎样做才符合统计原则?
了解序贯方法,你就会知道如何在合乎伦理的前提下提前查看数据。
理解概念
理解概念
序贯检验就像做饭时隔一会儿就检查一下,而不是一直等计时器响:你可以边做边尝,菜明显熟了或明显烧焦了,就提前停下来。大多数传统统计方法要求你事先确定固定的样本量,而序贯方法允许你随着数据不断到来进行分析,并在证据足够支持决策时停止。当效应较大时,这种方法能节省资源和时间;当效应较小或尚不确定时,它仍能防止你得出错误结论。 请注意:下次你根据不断更新的数据做决定时,问问自己,提前查看数据时是否采取了适当的防护措施。
详细讲解
详细讲解
序贯检验如何运作
传统假设检验要求你在看到任何数据之前就确定样本量。序贯检验则把数据收集看作一个持续的过程,你会在预先设定的检查点评估证据。每到一个检查点,你通常会做出三种决定之一:因效果明确而停止、因继续下去很可能也看不到效果而停止,或继续收集更多数据。关键在于,每个检查点的统计阈值都会作出调整,以考虑你多次查看数据这件事,否则,你可能会把随机噪声看成有意义的规律。
停止规则如何保护你
停止规则是事先设定的界限,用来告诉你何时停止。这些界限成对出现:达到上界时,因为发现了真实效应而停止;达到下界时,因为证据表明继续下去很可能没有结果,或不太可能发现有实际意义的效应而停止。如果结果处于两条界限之间,就继续收集数据。数学上的设计能确保,即使你多次查看数据,总体错误率仍然受到控制。这就像山路上的护栏:你可以继续向前开,随时查看自己的位置,而护栏会防止你偏离道路。
现实中的应用
临床试验经常使用序贯检验。如果一种新药在早期就显示出显著益处,试验就会停止,以便让患者获得这种治疗。如果它显示出危害,或明显不太可能有效,试验也会停止,以免浪费资源、危及生命。科技公司会在产品上线时使用序贯实验,当新功能明显成功或失败时提前停止实验。制造业质量控制会采用序贯抽样方案检查成批零件,在质量明显合格或明显不合格时停止检查。金融交易会持续监测投资策略,当越来越多的证据表明策略无效时,就停止使用它。
实际使用时要考虑什么
序贯检验需要提前规划:你必须在收集数据之前确定检查点和停止界限。你不能只是“不断查看,直到看出点什么”,那样一定会出现假发现。不过,只要采用恰当的序贯设计,你就能提高效率:平均而言,序贯方法比固定样本量检验需要更少的样本,就能得出相同的结论。代价是设计和分析会更复杂。对于大多数数据随时间不断到来的实际决策,这份复杂性带来的时间和资源节省是值得的。
研究依据
研究依据
第二次世界大战期间,亚伯拉罕·瓦尔德为军火制造中的质量控制开创了序贯分析,为根据不断积累的数据做决策提供了严谨的框架。此后,这一领域逐渐成熟,能够在保持统计有效性的同时,处理复杂的序贯设计、群序贯方法和适应性试验。
主要研究发现:
- Wald(1947):提出了序贯概率比检验(SPRT)。它为简单假设检验提供了最优停止规则,并使两种假设下的期望样本量都达到最小 [1]。
- Jennison 和 Turnbull(2000):群序贯方法允许研究者按离散的时间间隔进行分析,而不必连续分析,让序贯设计能实际用于定期开展分析的临床试验 [2]。
- Stefan 等人(2022):序贯贝叶斯因子方法可以高效比较证据,衡量证据对不同假设的支持程度,并结合先验几率(两个假设的先验概率之比)更新后验概率 [5]。
核心认识是:序贯方法可以在平均样本量大幅减少的情况下,达到相同的统计功效,也就是检出真实效应的能力。尤其当真实效应量与设定界限时采用的假设相差较大时,这种优势更明显。
适用局限
适用局限
序贯检验需要事先仔细设定停止界限。如果看到“有意思”的模式后,才临时决定继续还是停止,统计保证就会失效。这些方法假定数据质量随时间保持一致;测量方式或人群特征发生变化,都可能产生误导性结果。对于复杂设计,例如多臂试验或复合终点,计算正确的界限需要专门的软件或统计专业知识。在一些监管场景中,传统的固定样本量设计仍更受青睐,因为人们更熟悉它,也倾向于默认采用较保守的做法。
参考来源
参考来源
- [1] 序贯分析Abraham Wald - 1947
- [2] 群序贯方法及其在临床试验中的应用Christopher Jennison and Bruce W. Turnbull - 2000
- [3] 群序贯设计在随机临床试验中的作用Todd et al. - 2022
- [4] 序贯临床试验John Whitehead - 1997
- [5] 序贯检验的效率:序贯概率比检验与序贯贝叶斯因子检验的比较Angelika M. Stefan, Felix D. Schönbrodt, and Eric-Jan Wagenmakers - 2022
试一试
检验你的理解
一个营销团队正在测试两个邮件主题。向 500 位收件人发送邮件后,两组的打开率分别为 15% 和 18%。他们计划总共抽样 5,000 人。哪种做法最能在允许提前停止的同时,保持统计有效性?
查看文章解释
答案: 开始前预先设定分析检查点和经过调整的阈值
序贯检验的关键是:你确实可以提前查看数据,但必须事先做好规划。预先设定检查点,并使用经过调整的统计阈值,例如 O'Brien-Fleming 或 Pocock 界限,既能控制错误率,也允许你在结果明确时提前停止。计划外的提前查看会提高假阳性率,而当效应较大时,僵化地坚持固定样本量会浪费资源。
为什么反复查看数据,并在看到“显著”结果时停止,会导致假发现?
查看文章解释
答案: 查看次数足够多时,随机波动最终也会看起来像规律
这正是多重比较问题的表现。只要有足够多的机会,也就是足够多次查看数据,随机噪声最终就会纯粹出于偶然,形成看起来很惊人的模式。序贯方法通过在每次查看时采用更严格的统计阈值来解决这个问题,让总体错误率无论查看多少次都能受到控制。
一项临床试验采用设有停止界限的序贯设计。第三次期中分析后,检验统计量越过了下界。这意味着什么?
查看文章解释
答案: 因无效性而停止——即使收集更多数据,试验也不太可能显示出益处
序贯设计有两条界限:上界代表支持有效性的证据,下界代表支持无效性或没有效应的证据。越过下界意味着无效性,也就是说,即使收集更多数据,试验也不太可能显示出益处。这比单纯的“证据不足”更强:它是一项正式判断,认为继续下去也不太可能改变结论。因无效性而停止能节省资源,也能避免让参与者接受无效治疗。这是序贯方法相较于固定样本量设计的一项关键优势。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。