统计显著性与P值

一个常见的误解是，'统计显著'就意味着效应很大或很重要。统计显著性并不能衡量效应的大小或实际重要性；它只表明，如果结果仅仅是由于随机偶然，那么观察到该结果的可能性有多低。把它想象成一个烟雾报警器：它能可靠地检测到有事发生（不是传感器故障），但它无法告诉你这是烤焦的面包片还是房屋火灾。例如，一个电商平台可能发现，改变按钮颜色能带来'显著'的点击率提升，但提升幅度仅有0.01%，这个效应在实际中太小了，根本不值得关注。

问问自己：'这个结果在统计上显著，但在实际中是否也有意义？'

统计显著性是一个帮助我们从噪声中筛选信号的工具。它从一个默认假设开始，称为'零假设'——即不存在真实效应或差异。例如，一种新药没有效果，或者一个新的网站设计不会改变用户注册率。

P值是在零假设为真的情况下，观察到当前数据（或更极端数据）的概率。一个小的P值（通常小于0.05，即5%）表明，如果真的没有效果，那么观察到这样的结果会非常令人惊讶。这促使你拒绝'没有效果'的想法，并得出结论：结果是'统计显著的'——它很可能不只是随机波动。

考虑一个营销邮件的A/B测试。零假设是两种不同的邮件主题行效果相同。如果你看到打开率有很大差异，并且P值为0.03，这意味着如果主题行实际上效果一样，那么看到如此大的差异的概率只有3%。你可以相当确信新的主题行确实产生了真实效果。

然而，这个工具有其局限性。一项针对数千人的研究可能发现，一种新的减肥茶能带来统计显著的体重下降，P值为0.01。但如果平均体重下降只有0.2公斤，这个结果在实际中就没有用处，尽管它在统计上是显著的。效应的大小和统计显著性同等重要。

P值于20世纪20年代被开发出来，作为一种评估单次实验中反对零假设的证据强度的方法。然而，其作为简单的是非分界线而被广泛使用，受到了统计学家的强烈批评。他们主张采用更全面的证据观，包括效应量、置信区间和先验知识。

• 美国统计协会（ASA）发表了一份正式声明，澄清P值并不衡量所研究假设为真的概率，也不衡量数据仅由随机偶然产生的概率[1]。（2016年）
• 雷吉娜·努佐在《自然》杂志上强调，科学界的可重复性危机部分源于对P值的误解和滥用，导致研究人员追逐统计显著性，而非稳健、有意义的发现[2]。（2014年）
• 从历史上看，这一概念起源于R.A.费舍尔的工作，作为证据的非正式指标，但后来与奈曼-皮尔逊假设检验框架合并，形成了今天常见的刚性决策规则（例如p < 0.05），这种规则经常被脱离上下文使用[3]。（2001年）

统计显著性的概念经常被误用。主要局限性包括：

• P值操纵：研究人员可能有意识或无意识地运行多次测试，只报告那些通过0.05阈值的结果，从而产生假阳性结果。
• 忽视效应量：一个结果可能在统计上显著，但如果效应非常小，在实际中就毫无意义。
• 悬崖效应：将p=0.049视为成功，而将p=0.051视为失败，是一种错误的二分法。这两种情况下的证据几乎完全相同。
• 误解：P值不是零假设为真的概率。它是在假设零假设为真的前提下，关于数据的一个陈述。