- 文章目录
- 沟通与影响力
- 信息传递、故事讲述与框架构建
- 信念、预期与信息设计
- 序贯检验与序贯概率比检验(SPRT)
思维模型
序贯检验与序贯概率比检验(SPRT)
一种随着数据到来持续分析、在收集到足够证据时立即停止,从而做出可靠决策的方法。
探索一下
误区还是事实:要开展有效的 A/B 测试,你必须在开始收集数据*之前*,确定参与测试的确切用户人数。
一定要固定样本量吗?
来看看这会怎样改变我们收集证据的方式。
理解概念
理解概念
对于某些统计方法来说,“必须提前确定样本量”是个误区。序贯检验让你能随着数据到来分析结果,一旦有了足够把握得出答案,就停止收集数据。你不用事先决定调查一千人,而是每收到一份回答,就检查证据是否足以支持一个结论而非另一个结论。这就像煮汤时边煮边尝:加盐、搅拌、尝味,再重复这些步骤,味道一合适就停下来,不用非得尝够事先定好的次数。
想一想:如果我在过程中不断检查进展,能不能用更少的信息做出这个决定?
详细讲解
详细讲解
序贯检验提供了一套在不确定情况下做决策的方法,让你不必一开始就确定固定的样本量。当收集数据费用高或耗时长时,这种方法尤其有用。首先,你要设定两个相互竞争的假设,比如“新功能提高了用户参与度”和“新功能没有影响”,并确定这次决策可以接受的错误率。
根据这些设定,你会在检验开始前划定两条决策界限。之后,每收集到一条新数据,就更新一个统计分数。这个分数通常是“似然比”,用来衡量累积的证据。你再把不断更新的分数与预先设定的界限作比较。
如果分数越过上界,就停止检验,接受第一个假设;如果越过下界,就停止检验,接受第二个假设。如果分数仍在两条界限之间,就继续收集数据。这套有章可循的流程能确保提前停止的决定在统计上有效,而不是过早“偷看”数据后草率做出的决定。
这种方法能得出达到所需置信水平的结论,而且往往比传统的固定样本量检验更快、更省资源。例如,在制造业中,工厂可以逐件检测产品。如果前五件都没有瑕疵,检验就可能发出停止信号,让这批产品通过验收。同样,电商网站也可以测试新页面布局,一旦某个版本表现更好的证据超过预设门槛,就停止测试,不必等到收集满一周的数据。
研究依据
研究依据
序贯概率比检验(SPRT)由亚伯拉罕·瓦尔德在第二次世界大战期间提出。它已被证明是在两个假设之间做出判断时效率最高的统计检验:在给定的准确度下,它平均需要的样本最少。它的核心原则是不断累积证据,直到越过决策阈值。这个原则已成为许多领域的基础。
适用局限
适用局限
序贯检验虽然高效,也有局限。首先,你无法事先知道最终样本量,这可能让实验规划和预算安排变得复杂。其次,经典 SPRT 是为二选一的判断设计的,比如在 A 和 B 之间选择;如果有多个备选项,处理起来就更复杂。最后,检验持续多久可能很受早期数据的影响:如果一开始接连收到含糊不清的数据,有时就会让检验持续不必要的长时间。
参考来源
参考来源
- [1] 统计假设的序贯检验A. Wald - 1945
- [2] 偷看 A/B 测试数据:为什么值得关注,以及如何应对R. Johari, P. Pekelis, & D. Walsh - 2017
- [3] 决策的神经基础J. I. Gold & M. N. Shadlen - 2007
- [4] 序贯分析A. Wald - 1947
试一试
检验你的理解
一个团队正在对应用的新功能开展 A/B 测试,希望尽快确定哪个版本胜出。哪种方法最适合这个目标?
查看文章解释
答案: 序贯检验
序贯检验旨在用尽可能少的必要数据,得出统计上有效的结论,因此很适合速度至关重要的情况。
在序贯检验中,如果累积的证据还不足以越过“接受 A”或“接受 B”的任一界限,正确的做法是什么?
查看文章解释
答案: 继续收集更多数据
这个流程的核心原则是:只要证据仍处于两条预设决策界限之间、尚无法得出结论的区域,就继续收集样本。
人们常说,A/B 测试期间“绝不要偷看数据”,这对固定样本量检验是一条必要的规则。为什么使用序贯方法时可以打破这条规则?
查看文章解释
答案: 因为序贯方法专门设计了适用于持续监测和提前停止的统计规则
在传统检验中,偷看数据会提高错误率。序贯方法则采用专为持续分析设计、在数学上成立的规则,比如预设的停止界限或始终有效的 p 值。因此,提前停止是这类方法中有效的设计,而不是缺陷。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。