功效分析与样本量

功效分析帮你算出，一项研究至少需要多大的样本，才能发现真实存在的效应。如果把研究比作一张渔网，功效分析就能告诉你，网眼要多细，才能捕到你想找的那种鱼；网眼太大，鱼就直接游走了。

比如，你的团队测试一个新网站时，如果参与测试的用户太少，一个确实更好的设计也可能显得没有效果，只是因为样本太小，检测不出变化。这就叫研究的统计功效不足，会浪费时间，也会让你错失机会。

问问自己：“我们做过功效分析，确认样本足够大了吗？”

功效分析需要在四个关键因素之间找到平衡：样本量、效应量、显著性水平和统计功效。调整这些因素，可以帮助你设计出严谨可靠的实验。

做功效分析时，你需要先确定期望的统计功效、显著性水平，以及你关心的最小效应量。接着，就可以算出所需的最小样本量。

显著性水平控制的是“假阳性”风险，也就是本来没有效应，却得出了有效应的结论。功效分析管理的则是“假阴性”风险，也就是效应实际存在，却得出了没有效应的结论。

常见的目标是达到百分之八十的统计功效。这意味着，假设你事先设定的最小效应确实存在，而且研究的其他假设也成立，你就有百分之八十的概率检测到它。

例如，一家制药公司测试新药时，需要检测出一种幅度虽小、却能挽救生命的益处。功效分析可能会显示，他们需要数千名患者参与，才能避免过早放弃一种有用的药物。

同样，学区也可以用功效分析来确定，需要多少个班级参与，才能公正地评估一种新教学方法。这样就能确保不会漏掉考试成绩中幅度不大、却很重要的提升。

统计功效分析被系统化，是为了应对研究中普遍存在的“功效不足”问题。这也是科学界可重复性危机的一个重要成因。要让研究设计符合伦理又有效率，足够的统计功效是基础，因为它能提高研究结果反映真实效应的可能性。

• Jacob Cohen 的奠基性著作确立了功效分析的数学框架，并提出了划分小、中、大效应量的惯例，至今仍被广泛引用。[1] (1988)
• 后续研究强调，统计功效偏低会使科学文献变得不可靠，其中许多已发表的研究结果可能是错误的，也难以重复验证。[2, 3] [2] (2005)
• 现代研究实践强调开展事前功效分析，也就是在收集数据之前进行分析，并充分说明样本量的确定依据，以确保研究在统计上有能力回答其主要研究问题。[4, 5] [3] (2013)

功效分析是规划工具，不能保证研究成功。它最主要的局限可以用“输入不靠谱，输出也不靠谱”来概括：算出的样本量对效应量的估计非常敏感，而这个估计往往只是根据既有研究作出的合理推测，既有研究本身也可能有缺陷。此外，功效分析只处理假阴性风险，无法防范测量不准确、抽样有偏或混杂变量等其他研究缺陷。无论样本量多大，这些问题都可能让研究结果失效。