思维模型

异质性处理效应

研究同一种干预如何对不同的人或群体产生不同的影响,跳出单看平均效果的思路,了解谁受益最多。

探索一下

一个减重项目在1,000名参与者中的平均效果不大。仔细一看却发现,30岁以下的参与者平均减重15磅,50岁以上的参与者却平均增重2磅。这是怎么回事?

为什么平均值有时会掩盖重要规律?

了解为什么把目光放到平均值之外,会改变你的决策方式。

理解概念

理解概念

当我们测试一种干预,比如药物、培训项目或政策调整时,平均效果可能掩盖这样的差异:有些人受益很大,有些人受益很少,甚至受到伤害。干预效果在不同人或不同子群体之间的这种差异,就叫作“异质性处理效应”。那个减重项目的整体平均效果很小,却掩盖了它对年轻参与者效果很好、对年长参与者不起作用的事实。了解这些差异,能帮助我们把干预用在真正会受益的人身上,避免在不会受益的人身上浪费资源,甚至造成伤害。 试试这样:看到一个平均结果时,问问自己,不同群体的实际结果会不会相差很大。

详细讲解

详细讲解

异质性效应是怎么产生的

研究者首先计算一项研究中所有人的平均处理效应。这个数字告诉你干预的平均效果,却可能掩盖重要差异。关键在于,年龄、健康状况、背景和所处情境等个人特征,会与干预相互作用,产生不同的结果。如果这些效果在不同子群体之间呈现系统性差异,就存在异质性处理效应。

为什么这很重要

在医疗中,一种药物可能延长具有某种遗传特征的患者的寿命,却缩短其他患者的寿命。一个教育项目可能提高基础扎实的学生的成绩,却让基础薄弱的学生难以招架。一次营销邮件活动可能促使新客户购买,却让老客户感到厌烦。在这些例子中,平均效果可能很小,甚至为零,掩盖了干预对某些群体非常有效、却对其他群体有害的事实。

怎样找出这些规律

研究者会检验不同子群体之间的效果差异,比如比较男性与女性、年轻人与年长者的结果;也会用机器学习寻找哪些特征能预测谁受益最多。这里一个关键陷阱是多重比较问题:只要检验足够多的子群体,你就会发现一些纯属偶然的差异。因此,研究者必须事先明确要分析哪些子群体,或使用能对多重检验进行校正的方法。

实际应用

在医疗中,异质性效应让个性化医疗成为可能,也就是为患者匹配最可能让他们受益的治疗。在商业中,它能指导定向投放决策,比如只向可能作出回应的客户展示广告。在政策中,它能揭示一个项目在城市还是农村、在高收入还是低收入家庭中,或者在不同文化情境下,效果是否更好。关键是从“这平均来看有效吗?”进一步问到“这对谁有效?”。这个问题会改变我们分配资源和设计干预的方式。

研究依据

研究依据

异质性处理效应研究重点关注如何估计条件平均处理效应(CATE),也就是按特定特征划分的子群体中的平均效果,以及如何发现这些规律,同时避免多重检验带来的假阳性。因果森林、贝叶斯加性回归树(BART)和支持向量机等机器学习方法,能在控制统计错误率的同时,自动寻找异质性效应。这个领域已经从简单的子群体比较,发展到灵活地利用数据发现复杂规律。

  • Imai和Ratkovic(2013):开发了一种估计异质性处理效应的方法,将统计检验能力集中用于识别哪些子群体受益最多,同时确保对多个子群体进行的统计推断仍然有效 [1]。
  • Athey和Wager(2019):在一项观察性研究中应用因果森林估计异质性处理效应,展示了因果森林如何利用估计的倾向得分,更稳健地应对混杂,并处理聚类误差 [2]。
  • VanderWeele和Knol(2011):澄清了对子群体差异的描述与关于调节变量的因果主张之间的区别,指出随机试验中的大多数子群体分析属于描述性分析,而非因果分析 [3]。

适用局限

适用局限

多重比较会带来严重风险:检验大量子群体,必然会有一些子群体仅仅因为偶然因素而呈现统计显著性。传统的子群体分析尤其容易受到这个问题的影响。机器学习方法能提供帮助,但需要大样本才能可靠地识别异质性。缺乏坚实理论依据而发现的效应,可能无法在新的人群中重现。此外,许多研究即使存在异质性效应,也没有足够的统计检验能力将其识别出来;只关注平均效果所需的样本量,比寻找子群体之间的差异更小。最后,用来划分子群体的特征往往相互关联,比如年龄与健康状况、收入与教育程度,因此很难确定究竟是哪种特征在驱动异质性效应。

参考来源

参考来源

试一试

检验你的理解

一个职业培训项目整体上没有效果,但研究者发现,它显著提高了大学毕业生的就业率,却显著降低了没有学位者的就业率。这种结果说明了什么?

查看文章解释

答案: 不同教育水平群体之间存在异质性处理效应

这种结果体现了异质性处理效应:接近零的平均效果,掩盖了项目帮助一个子群体(大学毕业生)、却伤害另一个子群体(没有学位者)的事实。了解这种差异比只看整体平均效果更有用,因为它揭示了应该向谁提供这个项目,以及不应该向谁提供。

在什么情况下,研究者最应该谨慎对待关于异质性处理效应的结论?

查看文章解释

答案: 在检验了许多可能的划分方式后才发现子群体时

多重比较问题意味着,只要检验大量子群体,就必然会有一些子群体仅仅因为偶然因素而表现出差异。当子群体和分析方法是事先确定的,而不是通过大量事后搜索发现的,关于异质性效应的结论最可信。

一项研究报告称,某种药物“对女性有显著效果”(p < 0.05),但“对男性的效果不显著”(p = 0.15)。这能证明不同性别之间存在异质性处理效应吗?

查看文章解释

答案: 错误

这是一种常见的误解。某一组的效果具有统计显著性,不等于组间差异具有统计显著性。正确的检验应直接比较女性和男性的效应大小是否不同,而不是分别检验每一组的效果是否偏离零。两组的效果可能相近,只是由于样本量不同,置信区间也不同。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。