思维模型
样本流失与数据缺失
当参与者退出研究或数据缺失时,留下的人可能不再能代表最初的样本,从而可能扭曲对因果关系的判断。
探索一下
一项减重研究开始时,每组各有100人。12周后,干预组只有60人、对照组只有80人完成研究。干预组的效果显著更好。这时,最重要的是问什么?
选出判断问题的关键提问
了解样本流失,能帮你识别研究结果何时可能具有误导性。
理解概念
理解概念
当参与者退出实验,或研究人员未能收集到全部计划中的数据时,留下的人可能与退出的人有所不同。这种差异可能让结果出现偏差,无法反映真实效果。例如,如果一项职场培训项目中,积极性最低的员工在最终评估前退出,结果就会显得比实际情况更好。 检查一下:每当你看到研究结果,都问问有多大比例的参与者完成了研究,以及退出的人与留下的人是否有所不同。
详细讲解
详细讲解
实验开始时,随机分组让各组具有可比性。随着研究推进,一些参与者会退出、缺席测量,或提供不完整的数据。关键问题是,这种样本流失是否既与干预有关,也与研究结果有关。如果退出的人与留下的人存在系统性差异,比如病情较重的患者退出医学研究,而较健康的患者留了下来,最终的比较就会出现偏差,因为各组已不再具有可比性。
了解数据为什么缺失,有助于判断问题所在。如果数据完全随机地缺失,比如一份问卷被放错了地方,剩下的样本仍能代表原来的群体。如果数据缺失与已经观察到的特征有关,比如较年轻的参与者更难追踪,研究人员有时可以通过统计方法进行调整。但如果数据是否缺失取决于尚未测得的结果本身,比如抑郁的人更不愿意回答抑郁调查,那么除非作出很强的假设,否则就无法纠正这种偏差。
这种情况出现在许多领域。在教育研究中,学习有困难的学生更可能转学,这可能让某种教学方法显得比实际更有效。在临床试验中,出现副作用的患者可能退出治疗组,而状况良好的患者留下来,从而夸大治疗的益处。在职场研究中,工作投入度高的员工会更充分地参与调查,使满意度指标偏高。当干预组与对照组的退出率不同,或退出原因与所测量的结果有关时,研究结论的有效性受到的威胁最大。
最可靠的防范办法是:无论参与者是否完成研究,都持续追踪他们(意向性治疗分析);比较退出者与完成者的特征;并开展敏感性分析,检验对缺失数据作出不同假设时,结论会怎样变化。
研究依据
研究依据
当结果数据缺失的概率同时取决于分组和真实结果值时,样本流失偏差就会威胁研究结论的有效性。Cochrane 的 RoB 2 偏倚风险评估工具通过三个提示性问题来评估这一点:是否几乎所有参与者都有结果数据,是否有证据表明结果不存在偏差,以及数据缺失是否取决于真实值 [1]。关于缺失数据机制的研究区分了完全随机缺失(MCAR)、在给定已观测数据条件下的随机缺失(MAR),以及非随机缺失(MNAR);其中,只有 MCAR 和 MAR 允许在不作出很强假设的情况下进行有效推断 [2]。实验各组之间的差异性流失,往往提示存在会扭曲效果估计的 MNAR 机制 [3]。
- Higgins(2019):样本流失偏差是 RoB 2 工具的五个核心评估领域之一;当结果数据是否缺失同时取决于干预分组和真实结果值时,就会产生偏差,使仅分析数据完整者的方法变得不可靠 [1]。
- Little 与 Rubin(2020):缺失数据可分为 MCAR(缺失概率与任何数据都无关)、MAR(缺失仅取决于已观测变量)和 MNAR(缺失取决于未观测值);多重插补等现代方法需要满足 MAR 条件,才能进行有效推断 [2]。
- Salthouse(2019):在一项涉及近5,000名成年人的认知纵向研究中,65岁以上的退出者在研究开始时的认知功能显著低于继续参与者。这证实了选择性流失的存在,使研究结论的推广范围局限于认知功能较高的人群 [3]。
适用局限
适用局限
缺失数据的分类依赖于对未观测值所作的、无法检验的假设——研究人员无法仅凭已观测数据,明确区分 MAR 和 MNAR。即使各组的样本流失率看起来相近,背后的原因也可能存在系统性差异。敏感性分析有所帮助,但无法彻底解决这个根本问题。此外,意向性治疗分析能保留随机分组的好处,却无法消除因数据缺失取决于结果而产生的偏差。多重插补方法虽然复杂,仍然要求 MAR 假设成立,而且模型设定正确。
参考来源
参考来源
- [1] 《Cochrane 干预措施系统综述手册》第8章:评估随机试验的偏倚风险Julian PT Higgins, Jelena Savović, Matthew J Page, et al. - 2019
- [2] 缺失数据的统计分析Roderick J. A. Little and Donald B. Rubin - 2020
- [3] 纵向数据中的样本流失主要在水平而非变化速率上具有选择性Timothy A. Salthouse - 2019
- [4] 缺失数据的灵活插补Stef van Buuren - 2018
- [5] 调查无应答的多重插补Donald B. Rubin - 2004
试一试
检验你的理解
一项职场健康促进项目的研究报告称,干预组有70%的参与者完成了第6个月的调查,对照组则有90%。干预组的工作满意度显著更高。对于结论的有效性,最关键的疑虑是什么?
查看文章解释
答案: 差异性流失可能使比较出现偏差
当干预组和对照组的退出率不同时,留下的人可能存在系统性差异。如果不满意的员工更可能退出干预组,比如因为项目要求太多,那么相较于对照组,留下来的员工就会显得比实际情况更满意。
判断对错:如果一项随机试验报告说“使用末次观测值结转法处理了缺失数据”,你就可以相信样本流失偏差已经得到妥善处理。
查看文章解释
答案: 错误
末次观测值结转法(LOCF)存在问题,因为它假设参与者退出后不再发生变化,而这往往不符合实际。现代指南建议,在 MAR 假设下使用多重插补或最大似然方法,或者通过敏感性分析检验 MNAR 情形。关键是理解数据缺失的机制,而不只是套用一种技术处理方法。
你正在评估一项戒烟项目研究。干预组有40%的参与者退出,对照组则有25%。研究人员只分析了完成项目的参与者。要评估样本流失偏差是否威胁研究结论,第一步应该做什么?
查看文章解释
答案: 分别比较每组退出者与完成者在研究开始时的特征
最有助于判断问题的做法,是比较各组中退出的都是什么人。如果干预组的退出者比留下的人吸烟更多,或尝试戒烟的次数更多,而对照组的退出者与留下的人没有系统性差异,那么这种流失就与结果有关,很可能使结果出现偏差。这种比较能揭示缺失数据的机制属于 MCAR、MAR,还是 MNAR。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。