思维模型
预注册与分析计划
在收集数据前记录你的假设和分析方法,有助于分清真正的发现与事后碰巧找到的规律。
探索一下
一位研究者收集了100名员工的数据,测量了工作效率、工作满意度、睡眠质量、咖啡摄入量和通勤时间。查看结果后,研究者发现,通勤时间较长的员工报告的满意度略高,于是把这一发现写成主要研究结果,并报告它具有统计显著性。这是好的科学研究做法吗?
这种做法有什么问题?
看看科学家如何通过提前规划避开这个陷阱。
理解概念
理解概念
预注册就是在查看数据之前,先写下你要检验什么、打算怎么分析——就像厨师在下厨前先定好食谱,而不是等食物出炉后,再根据做出来的东西编一份食谱。如果没有事先定下计划,你很容易把碰巧显得有趣的随机规律当成真正的发现,还说服自己信以为真。
想一想:当我听到一个令人意外的说法时,相关预测是在知道结果之前提出的,还是之后才提出的?
详细讲解
详细讲解
预注册如何运作
预注册会在开始收集数据前,为你的研究计划留下一份永久记录。你可以把它想成掷骰子前先下注:写清楚具体假设、要测量哪些变量、如何分析数据,以及出现什么样的规律才算支持你的理论。事先定下这些内容,能帮你分清真正的预测与事后编出的合理说辞。
为什么这很重要
研究者在没有预注册计划的情况下探索数据,会遇到一些不易察觉的陷阱。他们可能尝试用不同方式给参与者分组,排除某些“不合适”的数据点,或者检验几十种关系,却只报告看起来有意思的那些。每个选择单看似乎都合理,但加在一起,就会大幅提高出现假阳性的概率——结果看起来显著,其实只是巧合。用来提出假设的那批数据,无法再公正地检验这个假设。
现实中的应用
**医学研究:**在一项药物试验结束后,研究者发现这种药似乎还能缓解焦虑。但他们承认这只是探索性发现,需要另行验证,而不会宣称这是已经证实的疗效。**商业决策:**一个营销团队事先注册了成功标准:如果新广告活动让点击率提高5%,就算成功。当销售额也上升时,他们把这当作额外观察到的结果,而不是主要检验目标。**个人决策:**开始使用一套新的效率管理方法前,你先写下怎样才算成功,比如每小时完成的任务数,而不是事后凭感觉更改标准。
如何付诸实践
你不一定要使用正式平台,也能从这个原则中受益。开始任何项目前,先写下:你要检验什么、什么才算证据,以及遇到模棱两可的结果时该怎么办。事先定下计划这个动作,即使只是私下进行,也能帮你看清自己什么时候确实学到了东西,什么时候只是在事后找理由。
研究依据
研究依据
预注册和分析计划通过减少“研究者自由度”,来应对心理学和其他科学领域的可重复性危机。这里的“研究者自由度”,是指研究者在分析过程中做出的许多看似可以随意决定、却可能影响结果的选择。注册报告是一种在收集数据前就对研究进行同行评审的发表形式,已成为落实这一原则的有力方式。
适用局限
适用局限
预注册并非万能。设计不佳的研究同样可以预注册,注册也无法修复测量本身的根本缺陷。有人认为它会限制探索性研究,但多数专家会区分验证性研究和探索性研究:两者都有价值,只是需要采用不同的标准。研究者也可能通过模糊的假设或事后找理由来钻预注册的空子,因此出现了要求更具体的“注册报告”形式。此外,预注册假定研究遵循先计划、再执行的线性模式,但真实的科学研究往往需要反复探索、不断学习;如何兼顾严谨与灵活,仍是一项持续的挑战。
参考来源
参考来源
- [1] 心理学的可重复性危机Brian Nosek et al. - 2018
- [2] 注册报告:《Cortex》的一项出版新举措Christopher D. Chambers et al. - 2014
- [3] 假阳性心理学:数据收集与分析中未披露的灵活操作,让任何结果都能被呈现为显著Joseph P. Simmons et al. - 2011
- [4] OSF注册平台:预注册你的研究Center for Open Science - 2024
试一试
检验你的理解
一位研究者想知道,一种新的学习方法能否提高考试成绩。收集数据后,研究者发现,这种方法似乎对女生的帮助比对男生更大,于是把这一性别差异加为主要发现。怎样评价这种做法最合适?
查看文章解释
答案: 如果将它报告为探索性发现,而不是验证性结果,就可以接受
关键不在于事后发现有没有价值——它们确实有价值——而在于是否把它们说成事先预测到的结果。这个性别差异是从数据中发现的,因此同一批数据无法再公正地检验它。好的做法是如实说明这是探索性发现,并建议另行验证。预注册能帮助区分“我们事先预测了什么”和“我们事后注意到了什么”。
在预注册的流程中,以下哪一步通常最后进行?
查看文章解释
答案: 收集并查看数据
预注册要求在收集数据之前记录完整的研究计划。它的核心,就是在你还不知道结果时,先确定假设和分析方法。如果在最终定下计划前就查看数据,就失去了预注册的意义:已经看过答案后才作出的预测,无法再得到公正的检验。
一个团队预注册了一项研究,想检验一款新应用能否减轻压力。他们的分析计划规定,要剔除参与不足2周就退出的人。收集数据后,他们发现退出者的压力异常高,因此把这些人纳入分析会让研究结果更有说服力。他们应该怎么做?
查看文章解释
答案: 遵循预注册的计划,按规定剔除退出者
根据数据更改分析规则,会让预注册原本要解决的问题重新出现。如果你在看到结果后,才作出让研究发现更有力的决定,就无法分清真实效果与巧合。更好的做法是:依据预注册的分析得出验证性结论,再单独报告探索性分析,并保持适当谨慎。预注册要回答的是“我们事先预测会发现什么”,而不是“我们希望自己发现了什么”。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。