思维模型

预注册与分析计划

在收集数据前记录你的假设和分析方法,有助于分清真正的发现与事后碰巧找到的规律。

探索一下

一位研究者收集了100名员工的数据,测量了工作效率、工作满意度、睡眠质量、咖啡摄入量和通勤时间。查看结果后,研究者发现,通勤时间较长的员工报告的满意度略高,于是把这一发现写成主要研究结果,并报告它具有统计显著性。这是好的科学研究做法吗?

这种做法有什么问题?

看看科学家如何通过提前规划避开这个陷阱。

理解概念

理解概念

预注册就是在查看数据之前,先写下你要检验什么、打算怎么分析——就像厨师在下厨前先定好食谱,而不是等食物出炉后,再根据做出来的东西编一份食谱。如果没有事先定下计划,你很容易把碰巧显得有趣的随机规律当成真正的发现,还说服自己信以为真。

想一想:当我听到一个令人意外的说法时,相关预测是在知道结果之前提出的,还是之后才提出的?

详细讲解

详细讲解

预注册如何运作

预注册会在开始收集数据前,为你的研究计划留下一份永久记录。你可以把它想成掷骰子前先下注:写清楚具体假设、要测量哪些变量、如何分析数据,以及出现什么样的规律才算支持你的理论。事先定下这些内容,能帮你分清真正的预测与事后编出的合理说辞。

为什么这很重要

研究者在没有预注册计划的情况下探索数据,会遇到一些不易察觉的陷阱。他们可能尝试用不同方式给参与者分组,排除某些“不合适”的数据点,或者检验几十种关系,却只报告看起来有意思的那些。每个选择单看似乎都合理,但加在一起,就会大幅提高出现假阳性的概率——结果看起来显著,其实只是巧合。用来提出假设的那批数据,无法再公正地检验这个假设。

现实中的应用

**医学研究:**在一项药物试验结束后,研究者发现这种药似乎还能缓解焦虑。但他们承认这只是探索性发现,需要另行验证,而不会宣称这是已经证实的疗效。**商业决策:**一个营销团队事先注册了成功标准:如果新广告活动让点击率提高5%,就算成功。当销售额也上升时,他们把这当作额外观察到的结果,而不是主要检验目标。**个人决策:**开始使用一套新的效率管理方法前,你先写下怎样才算成功,比如每小时完成的任务数,而不是事后凭感觉更改标准。

如何付诸实践

你不一定要使用正式平台,也能从这个原则中受益。开始任何项目前,先写下:你要检验什么、什么才算证据,以及遇到模棱两可的结果时该怎么办。事先定下计划这个动作,即使只是私下进行,也能帮你看清自己什么时候确实学到了东西,什么时候只是在事后找理由。

研究依据

研究依据

预注册和分析计划通过减少“研究者自由度”,来应对心理学和其他科学领域的可重复性危机。这里的“研究者自由度”,是指研究者在分析过程中做出的许多看似可以随意决定、却可能影响结果的选择。注册报告是一种在收集数据前就对研究进行同行评审的发表形式,已成为落实这一原则的有力方式。

  • Nosek等人(2018):强调需要改进研究实践,包括采用预注册 [1]
  • Chambers等人(2014):提出了注册报告这一发表形式;以这种形式发表的研究,重复验证的成功率高得多,因为研究方法在结果揭晓前就接受了评估 [2]
  • Simmons等人(2011):表明数据收集和分析中“未披露的灵活操作”,能让研究者把几乎任何数据集呈现为具有统计显著性的结果,因此这篇论文有了一个令人印象深刻的标题——《假阳性心理学》 [3]

适用局限

适用局限

预注册并非万能。设计不佳的研究同样可以预注册,注册也无法修复测量本身的根本缺陷。有人认为它会限制探索性研究,但多数专家会区分验证性研究和探索性研究:两者都有价值,只是需要采用不同的标准。研究者也可能通过模糊的假设或事后找理由来钻预注册的空子,因此出现了要求更具体的“注册报告”形式。此外,预注册假定研究遵循先计划、再执行的线性模式,但真实的科学研究往往需要反复探索、不断学习;如何兼顾严谨与灵活,仍是一项持续的挑战。

参考来源

参考来源

试一试

检验你的理解

一位研究者想知道,一种新的学习方法能否提高考试成绩。收集数据后,研究者发现,这种方法似乎对女生的帮助比对男生更大,于是把这一性别差异加为主要发现。怎样评价这种做法最合适?

查看文章解释

答案: 如果将它报告为探索性发现,而不是验证性结果,就可以接受

关键不在于事后发现有没有价值——它们确实有价值——而在于是否把它们说成事先预测到的结果。这个性别差异是从数据中发现的,因此同一批数据无法再公正地检验它。好的做法是如实说明这是探索性发现,并建议另行验证。预注册能帮助区分“我们事先预测了什么”和“我们事后注意到了什么”。

在预注册的流程中,以下哪一步通常最后进行?

查看文章解释

答案: 收集并查看数据

预注册要求在收集数据之前记录完整的研究计划。它的核心,就是在你还不知道结果时,先确定假设和分析方法。如果在最终定下计划前就查看数据,就失去了预注册的意义:已经看过答案后才作出的预测,无法再得到公正的检验。

一个团队预注册了一项研究,想检验一款新应用能否减轻压力。他们的分析计划规定,要剔除参与不足2周就退出的人。收集数据后,他们发现退出者的压力异常高,因此把这些人纳入分析会让研究结果更有说服力。他们应该怎么做?

查看文章解释

答案: 遵循预注册的计划,按规定剔除退出者

根据数据更改分析规则,会让预注册原本要解决的问题重新出现。如果你在看到结果后,才作出让研究发现更有力的决定,就无法分清真实效果与巧合。更好的做法是:依据预注册的分析得出验证性结论,再单独报告探索性分析,并保持适当谨慎。预注册要回答的是“我们事先预测会发现什么”,而不是“我们希望自己发现了什么”。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。