思维模型

样本流失与数据缺失

当参与者退出研究或数据缺失时,留下的人可能不再能代表最初的样本,从而可能扭曲对因果关系的判断。

探索一下

一项减重研究开始时,每组各有100人。12周后,干预组只有60人、对照组只有80人完成研究。干预组的效果显著更好。这时,最重要的是问什么?

选出判断问题的关键提问

了解样本流失,能帮你识别研究结果何时可能具有误导性。

理解概念

理解概念

当参与者退出实验,或研究人员未能收集到全部计划中的数据时,留下的人可能与退出的人有所不同。这种差异可能让结果出现偏差,无法反映真实效果。例如,如果一项职场培训项目中,积极性最低的员工在最终评估前退出,结果就会显得比实际情况更好。 检查一下:每当你看到研究结果,都问问有多大比例的参与者完成了研究,以及退出的人与留下的人是否有所不同。

详细讲解

详细讲解

实验开始时,随机分组让各组具有可比性。随着研究推进,一些参与者会退出、缺席测量,或提供不完整的数据。关键问题是,这种样本流失是否既与干预有关,也与研究结果有关。如果退出的人与留下的人存在系统性差异,比如病情较重的患者退出医学研究,而较健康的患者留了下来,最终的比较就会出现偏差,因为各组已不再具有可比性。

了解数据为什么缺失,有助于判断问题所在。如果数据完全随机地缺失,比如一份问卷被放错了地方,剩下的样本仍能代表原来的群体。如果数据缺失与已经观察到的特征有关,比如较年轻的参与者更难追踪,研究人员有时可以通过统计方法进行调整。但如果数据是否缺失取决于尚未测得的结果本身,比如抑郁的人更不愿意回答抑郁调查,那么除非作出很强的假设,否则就无法纠正这种偏差。

这种情况出现在许多领域。在教育研究中,学习有困难的学生更可能转学,这可能让某种教学方法显得比实际更有效。在临床试验中,出现副作用的患者可能退出治疗组,而状况良好的患者留下来,从而夸大治疗的益处。在职场研究中,工作投入度高的员工会更充分地参与调查,使满意度指标偏高。当干预组与对照组的退出率不同,或退出原因与所测量的结果有关时,研究结论的有效性受到的威胁最大。

最可靠的防范办法是:无论参与者是否完成研究,都持续追踪他们(意向性治疗分析);比较退出者与完成者的特征;并开展敏感性分析,检验对缺失数据作出不同假设时,结论会怎样变化。

研究依据

研究依据

当结果数据缺失的概率同时取决于分组和真实结果值时,样本流失偏差就会威胁研究结论的有效性。Cochrane 的 RoB 2 偏倚风险评估工具通过三个提示性问题来评估这一点:是否几乎所有参与者都有结果数据,是否有证据表明结果不存在偏差,以及数据缺失是否取决于真实值 [1]。关于缺失数据机制的研究区分了完全随机缺失(MCAR)、在给定已观测数据条件下的随机缺失(MAR),以及非随机缺失(MNAR);其中,只有 MCAR 和 MAR 允许在不作出很强假设的情况下进行有效推断 [2]。实验各组之间的差异性流失,往往提示存在会扭曲效果估计的 MNAR 机制 [3]。

  • Higgins(2019):样本流失偏差是 RoB 2 工具的五个核心评估领域之一;当结果数据是否缺失同时取决于干预分组和真实结果值时,就会产生偏差,使仅分析数据完整者的方法变得不可靠 [1]。
  • Little 与 Rubin(2020):缺失数据可分为 MCAR(缺失概率与任何数据都无关)、MAR(缺失仅取决于已观测变量)和 MNAR(缺失取决于未观测值);多重插补等现代方法需要满足 MAR 条件,才能进行有效推断 [2]。
  • Salthouse(2019):在一项涉及近5,000名成年人的认知纵向研究中,65岁以上的退出者在研究开始时的认知功能显著低于继续参与者。这证实了选择性流失的存在,使研究结论的推广范围局限于认知功能较高的人群 [3]。

适用局限

适用局限

缺失数据的分类依赖于对未观测值所作的、无法检验的假设——研究人员无法仅凭已观测数据,明确区分 MAR 和 MNAR。即使各组的样本流失率看起来相近,背后的原因也可能存在系统性差异。敏感性分析有所帮助,但无法彻底解决这个根本问题。此外,意向性治疗分析能保留随机分组的好处,却无法消除因数据缺失取决于结果而产生的偏差。多重插补方法虽然复杂,仍然要求 MAR 假设成立,而且模型设定正确。

参考来源

参考来源

试一试

检验你的理解

一项职场健康促进项目的研究报告称,干预组有70%的参与者完成了第6个月的调查,对照组则有90%。干预组的工作满意度显著更高。对于结论的有效性,最关键的疑虑是什么?

查看文章解释

答案: 差异性流失可能使比较出现偏差

当干预组和对照组的退出率不同时,留下的人可能存在系统性差异。如果不满意的员工更可能退出干预组,比如因为项目要求太多,那么相较于对照组,留下来的员工就会显得比实际情况更满意。

判断对错:如果一项随机试验报告说“使用末次观测值结转法处理了缺失数据”,你就可以相信样本流失偏差已经得到妥善处理。

查看文章解释

答案: 错误

末次观测值结转法(LOCF)存在问题,因为它假设参与者退出后不再发生变化,而这往往不符合实际。现代指南建议,在 MAR 假设下使用多重插补或最大似然方法,或者通过敏感性分析检验 MNAR 情形。关键是理解数据缺失的机制,而不只是套用一种技术处理方法。

你正在评估一项戒烟项目研究。干预组有40%的参与者退出,对照组则有25%。研究人员只分析了完成项目的参与者。要评估样本流失偏差是否威胁研究结论,第一步应该做什么?

查看文章解释

答案: 分别比较每组退出者与完成者在研究开始时的特征

最有助于判断问题的做法,是比较各组中退出的都是什么人。如果干预组的退出者比留下的人吸烟更多,或尝试戒烟的次数更多,而对照组的退出者与留下的人没有系统性差异,那么这种流失就与结果有关,很可能使结果出现偏差。这种比较能揭示缺失数据的机制属于 MCAR、MAR,还是 MNAR。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。