思维模型

序贯检验与序贯概率比检验(SPRT)

一种随着数据到来持续分析、在收集到足够证据时立即停止,从而做出可靠决策的方法。

探索一下

误区还是事实:要开展有效的 A/B 测试,你必须在开始收集数据*之前*,确定参与测试的确切用户人数。

一定要固定样本量吗?

来看看这会怎样改变我们收集证据的方式。

理解概念

理解概念

对于某些统计方法来说,“必须提前确定样本量”是个误区。序贯检验让你能随着数据到来分析结果,一旦有了足够把握得出答案,就停止收集数据。你不用事先决定调查一千人,而是每收到一份回答,就检查证据是否足以支持一个结论而非另一个结论。这就像煮汤时边煮边尝:加盐、搅拌、尝味,再重复这些步骤,味道一合适就停下来,不用非得尝够事先定好的次数。

想一想:如果我在过程中不断检查进展,能不能用更少的信息做出这个决定?

详细讲解

详细讲解

序贯检验提供了一套在不确定情况下做决策的方法,让你不必一开始就确定固定的样本量。当收集数据费用高或耗时长时,这种方法尤其有用。首先,你要设定两个相互竞争的假设,比如“新功能提高了用户参与度”和“新功能没有影响”,并确定这次决策可以接受的错误率。

根据这些设定,你会在检验开始前划定两条决策界限。之后,每收集到一条新数据,就更新一个统计分数。这个分数通常是“似然比”,用来衡量累积的证据。你再把不断更新的分数与预先设定的界限作比较。

如果分数越过上界,就停止检验,接受第一个假设;如果越过下界,就停止检验,接受第二个假设。如果分数仍在两条界限之间,就继续收集数据。这套有章可循的流程能确保提前停止的决定在统计上有效,而不是过早“偷看”数据后草率做出的决定。

这种方法能得出达到所需置信水平的结论,而且往往比传统的固定样本量检验更快、更省资源。例如,在制造业中,工厂可以逐件检测产品。如果前五件都没有瑕疵,检验就可能发出停止信号,让这批产品通过验收。同样,电商网站也可以测试新页面布局,一旦某个版本表现更好的证据超过预设门槛,就停止测试,不必等到收集满一周的数据。

研究依据

研究依据

序贯概率比检验(SPRT)由亚伯拉罕·瓦尔德在第二次世界大战期间提出。它已被证明是在两个假设之间做出判断时效率最高的统计检验:在给定的准确度下,它平均需要的样本最少。它的核心原则是不断累积证据,直到越过决策阈值。这个原则已成为许多领域的基础。

  • 瓦尔德于 1945 年首次提出 SPRT,用于检验军需弹药。他证明,与错误概率相同的任何固定样本量检验相比,SPRT 能将做出决策所需的平均样本量降至最低。[1]
  • 如今,科技公司会用序贯方法开展大规模 A/B 测试。这些方法并非随意“偷看”数据,而是使用“始终有效的 p 值”或预先设定的停止界限,让持续监测和提前停止都保持统计上的有效性。这样可以缩短获得可靠答案所需的时间,从而加快创新。[2](2017 年)
  • 神经科学研究表明,大脑做出知觉决策的方式可能与此相似。神经元似乎会随时间累积感官证据,一旦这个信号达到临界阈值,就会触发决策,体现出与序贯分析相似的逻辑。[3](2007 年)

适用局限

适用局限

序贯检验虽然高效,也有局限。首先,你无法事先知道最终样本量,这可能让实验规划和预算安排变得复杂。其次,经典 SPRT 是为二选一的判断设计的,比如在 A 和 B 之间选择;如果有多个备选项,处理起来就更复杂。最后,检验持续多久可能很受早期数据的影响:如果一开始接连收到含糊不清的数据,有时就会让检验持续不必要的长时间。

参考来源

参考来源

试一试

检验你的理解

一个团队正在对应用的新功能开展 A/B 测试,希望尽快确定哪个版本胜出。哪种方法最适合这个目标?

查看文章解释

答案: 序贯检验

序贯检验旨在用尽可能少的必要数据,得出统计上有效的结论,因此很适合速度至关重要的情况。

在序贯检验中,如果累积的证据还不足以越过“接受 A”或“接受 B”的任一界限,正确的做法是什么?

查看文章解释

答案: 继续收集更多数据

这个流程的核心原则是:只要证据仍处于两条预设决策界限之间、尚无法得出结论的区域,就继续收集样本。

人们常说,A/B 测试期间“绝不要偷看数据”,这对固定样本量检验是一条必要的规则。为什么使用序贯方法时可以打破这条规则?

查看文章解释

答案: 因为序贯方法专门设计了适用于持续监测和提前停止的统计规则

在传统检验中,偷看数据会提高错误率。序贯方法则采用专为持续分析设计、在数学上成立的规则,比如预设的停止界限或始终有效的 p 值。因此,提前停止是这类方法中有效的设计,而不是缺陷。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。