思维模型

干扰、溢出效应与 SUTVA

当一个人接受的处理影响了另一个人的结果,实验中关于因果效应的核心假设就会受到挑战。

探索一下

一家公司开展 A/B 测试,想看看一项新功能能否提高用户参与度。用户被随机分组,但他们能看到哪些朋友拥有这项功能。如果你朋友的分组会影响你的行为,我们还能测出这项功能的真实效果吗?

这个实验面临什么风险?

理解这一威胁,会改变我们设计实验的方式。

理解概念

理解概念

SUTVA(稳定单位处理值假设)是因果推断的一项核心原则:每个人的结果应只取决于自己接受的处理,而不受其他人接受何种处理的影响。当社会影响、共享资源或人与人之间的交流打破这一假设时,就出现了“干扰”;其中,传递给未接受处理者的影响叫作“溢出效应”。比如,你想测试一种新疫苗,给同住一家的一半家庭成员接种;如果疫苗减少了传播,没接种的家人也可能得到一些保护,这就让你无法单独识别疫苗的真实效果。

请注意:当人们相互影响时,你的对照组就不再是真正未受干扰的对照组。

详细讲解

详细讲解

干扰是怎么发生的

只要处理能影响直接接受处理者以外的人,就会出现干扰。在社交网络中,如果你的朋友接受了某种干预,比如收到一条动员投票的信息,他们的行为变化就可能影响你,即使你没有收到这条信息。在疫苗试验中,给社区中的一部分人接种疫苗可以减少疾病传播,间接保护未接种者,这就是正向溢出效应。在网络平台上,向部分用户开放一项新功能,可能会改变他们的行为,进而影响朋友的使用体验,产生遍及整个网络的影响。

为什么这会影响因果推断

存在干扰时,我们通常估计的“平均处理效应”就变得含糊了。我们测量的是只给一个人施加处理、其他人都不接受处理时的效果吗?还是所有人都接受处理与所有人都不接受处理之间的差异?这是不同的量,而按个人随机分配处理的标准实验设计,对其中任何一个量的估计都可能产生偏差。处理组与对照组之间的比较会受到干扰,因为对照组成员也受到了处理组成员带来的溢出影响。

你可以怎么做

在实验设计上,你可以采用整群随机化,也就是按学校、村庄等整个群体来分配处理;也可以采用图聚类随机化,根据网络结构,把相互连接的群体一起分配到同一处理条件下;还可以让不同处理条件在空间上彼此隔开。在分析上,你可以明确地为溢出效应建模,用暴露映射来定义不同的“实际处理状态”,或者选择承认干扰存在的估计目标。关键在于识别 SUTVA 何时不太可能成立,并据此做好规划,而不是假装干扰不存在。

研究依据

研究依据

SUTVA(稳定单位处理值假设)由 Donald Rubin 在潜在结果框架中加以形式化,是通过随机实验识别因果效应的一项基础假设 [1]。当单位之间的干扰导致 SUTVA 不成立时,我们关注的因果量就会变得含糊,因为潜在结果取决于整个处理分配向量,也就是所有单位的处理分配情况,而不只是某个单位自身接受的处理 [2]。

适用局限

适用局限

主要局限在于,大多数处理干扰的方法都需要对溢出效应的结构作出很强的假设,例如假定干扰只发生在一定距离范围内。这些假设往往是为了方便数学处理,而不是基于对实际过程的理论解释。在许多社会过程中,干扰可以沿着一连串的相互影响,在网络中传播到任意远的地方,因此,即使是基于邻近范围的假设也值得怀疑。图聚类随机化能减少偏差,但可能大幅增加方差,尤其是在群组较大时。此外,还存在一个根本性的权衡:要识别溢出效应,我们需要不同网络中的处理分配模式有所变化,但标准实验设计往往无法提供这种变化。许多已提出的方法还要求我们掌握完整的网络结构,而这类信息往往难以获得,或测量成本很高。

参考来源

参考来源

试一试

检验你的理解

一座城市正在测试一个新的职业培训项目,将个人随机分配到参加或不参加项目的组别。不过,参加者会把面试技巧和招聘信息分享给没有参加的朋友。这会给实验的有效性带来什么威胁?

查看文章解释

答案: 溢出效应导致 SUTVA 不成立

这是 SUTVA 不成立的典型情况。当接受处理的参加者向未接受处理的人分享资源时,就会产生溢出效应。对照组通过社交关系间接从项目中受益,因此不再真正处于“未接受处理”的状态。这会干扰组间比较,使估计的处理效应产生偏差。

在社交媒体平台上测试一项干预时,哪种实验设计策略最能有效减少网络干扰造成的偏差?

查看文章解释

答案: 图聚类随机化(将相互连接的朋友群体一起分配)

图聚类随机化会把网络中的整个连通分量或群组分配到同一处理条件下。这让用户所处的情境更接近我们关注的整体处理情境,也就是所有人都接受处理或所有人都不接受处理,从而减少干扰带来的偏差。独立分配则会让处理组用户与对照组用户相互交流,产生影响对照组的溢出效应。

判断对错:只有在人们彼此直接交流的社交网络情境中,才会出现 SUTVA 不成立的情况。

查看文章解释

答案: 错

除了社交网络,许多其他情境也会出现 SUTVA 不成立的情况。例如,疫苗试验中,传播减少会为他人带来溢出保护;资源分配项目中,共享基础设施会让接受处理的地区影响未接受处理的地区;环境干预中,一个地区的空气污染治理会影响邻近地区;营销活动中,向部分人展示广告会产生口碑传播效应。只要单位之间共享资源、发生互动或相互影响,就可能产生干扰。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。