思维模型
异质性处理效应
研究同一种干预如何对不同的人或群体产生不同的影响,跳出单看平均效果的思路,了解谁受益最多。
探索一下
一个减重项目在1,000名参与者中的平均效果不大。仔细一看却发现,30岁以下的参与者平均减重15磅,50岁以上的参与者却平均增重2磅。这是怎么回事?
为什么平均值有时会掩盖重要规律?
了解为什么把目光放到平均值之外,会改变你的决策方式。
理解概念
理解概念
当我们测试一种干预,比如药物、培训项目或政策调整时,平均效果可能掩盖这样的差异:有些人受益很大,有些人受益很少,甚至受到伤害。干预效果在不同人或不同子群体之间的这种差异,就叫作“异质性处理效应”。那个减重项目的整体平均效果很小,却掩盖了它对年轻参与者效果很好、对年长参与者不起作用的事实。了解这些差异,能帮助我们把干预用在真正会受益的人身上,避免在不会受益的人身上浪费资源,甚至造成伤害。 试试这样:看到一个平均结果时,问问自己,不同群体的实际结果会不会相差很大。
详细讲解
详细讲解
异质性效应是怎么产生的
研究者首先计算一项研究中所有人的平均处理效应。这个数字告诉你干预的平均效果,却可能掩盖重要差异。关键在于,年龄、健康状况、背景和所处情境等个人特征,会与干预相互作用,产生不同的结果。如果这些效果在不同子群体之间呈现系统性差异,就存在异质性处理效应。
为什么这很重要
在医疗中,一种药物可能延长具有某种遗传特征的患者的寿命,却缩短其他患者的寿命。一个教育项目可能提高基础扎实的学生的成绩,却让基础薄弱的学生难以招架。一次营销邮件活动可能促使新客户购买,却让老客户感到厌烦。在这些例子中,平均效果可能很小,甚至为零,掩盖了干预对某些群体非常有效、却对其他群体有害的事实。
怎样找出这些规律
研究者会检验不同子群体之间的效果差异,比如比较男性与女性、年轻人与年长者的结果;也会用机器学习寻找哪些特征能预测谁受益最多。这里一个关键陷阱是多重比较问题:只要检验足够多的子群体,你就会发现一些纯属偶然的差异。因此,研究者必须事先明确要分析哪些子群体,或使用能对多重检验进行校正的方法。
实际应用
在医疗中,异质性效应让个性化医疗成为可能,也就是为患者匹配最可能让他们受益的治疗。在商业中,它能指导定向投放决策,比如只向可能作出回应的客户展示广告。在政策中,它能揭示一个项目在城市还是农村、在高收入还是低收入家庭中,或者在不同文化情境下,效果是否更好。关键是从“这平均来看有效吗?”进一步问到“这对谁有效?”。这个问题会改变我们分配资源和设计干预的方式。
研究依据
研究依据
异质性处理效应研究重点关注如何估计条件平均处理效应(CATE),也就是按特定特征划分的子群体中的平均效果,以及如何发现这些规律,同时避免多重检验带来的假阳性。因果森林、贝叶斯加性回归树(BART)和支持向量机等机器学习方法,能在控制统计错误率的同时,自动寻找异质性效应。这个领域已经从简单的子群体比较,发展到灵活地利用数据发现复杂规律。
适用局限
适用局限
多重比较会带来严重风险:检验大量子群体,必然会有一些子群体仅仅因为偶然因素而呈现统计显著性。传统的子群体分析尤其容易受到这个问题的影响。机器学习方法能提供帮助,但需要大样本才能可靠地识别异质性。缺乏坚实理论依据而发现的效应,可能无法在新的人群中重现。此外,许多研究即使存在异质性效应,也没有足够的统计检验能力将其识别出来;只关注平均效果所需的样本量,比寻找子群体之间的差异更小。最后,用来划分子群体的特征往往相互关联,比如年龄与健康状况、收入与教育程度,因此很难确定究竟是哪种特征在驱动异质性效应。
参考来源
参考来源
- [1] 随机项目评估中的处理效应异质性估计Kosuke Imai and Marc Ratkovic - 2013
- [2] 使用因果森林估计处理效应:一项应用Susan Athey and Stefan Wager - 2019
- [3] 随机试验中子群体分析的解读:异质性与次级干预Tyler J. VanderWeele and Merlin J. Knol - 2011
- [4] 利用包含聚类观测的大型数据集评估因果处理效应对患者生存影响的异质性:一种灵活方法Hu et al. - 2022
- [5] 关于异质性处理效应,你需要了解的10件事EGAP Methods Guides - 2023
试一试
检验你的理解
一个职业培训项目整体上没有效果,但研究者发现,它显著提高了大学毕业生的就业率,却显著降低了没有学位者的就业率。这种结果说明了什么?
查看文章解释
答案: 不同教育水平群体之间存在异质性处理效应
这种结果体现了异质性处理效应:接近零的平均效果,掩盖了项目帮助一个子群体(大学毕业生)、却伤害另一个子群体(没有学位者)的事实。了解这种差异比只看整体平均效果更有用,因为它揭示了应该向谁提供这个项目,以及不应该向谁提供。
在什么情况下,研究者最应该谨慎对待关于异质性处理效应的结论?
查看文章解释
答案: 在检验了许多可能的划分方式后才发现子群体时
多重比较问题意味着,只要检验大量子群体,就必然会有一些子群体仅仅因为偶然因素而表现出差异。当子群体和分析方法是事先确定的,而不是通过大量事后搜索发现的,关于异质性效应的结论最可信。
一项研究报告称,某种药物“对女性有显著效果”(p < 0.05),但“对男性的效果不显著”(p = 0.15)。这能证明不同性别之间存在异质性处理效应吗?
查看文章解释
答案: 错误
这是一种常见的误解。某一组的效果具有统计显著性,不等于组间差异具有统计显著性。正确的检验应直接比较女性和男性的效应大小是否不同,而不是分别检验每一组的效果是否偏离零。两组的效果可能相近,只是由于样本量不同,置信区间也不同。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。