未观测混杂

未观测混杂就像藏在数据里的“幽灵”：一个隐藏因素，让两件原本无关的事看起来有了联系。当某个未被测量的变量同时影响了表面上的原因和观察到的结果时，就会出现这种情况，这个变量就叫混杂因素。

比如，冰淇淋销量并不会导致犯罪。未被观测到的混杂因素是炎热天气：更多人出门买冰淇淋，也有更多人在户外与人接触，这就给犯罪提供了更多机会。天气同时影响着这两件事，让它们看起来有关联。

试试这样：还有什么因素，可能同时导致我观察到的这两件事？

你可以把未观测混杂想象成一个藏在幕后的提线人。我们看到两个木偶一起动，比如喝咖啡的情况和癌症发生率同步变化，就以为其中一个控制着另一个。而未被观测到的混杂因素，比如吸烟习惯，才是同时牵动两个木偶的提线人。

关键在于，分析中没有观测或测量这个混杂因素。如果能把提线人的影响考虑进去，我们就能看清两个木偶之间真实的关系，而这种关系往往比表面上弱。

在职场中，一家公司可能发现，参加健康促进项目的员工医疗费用更低。看起来是项目带来了这个结果，但混杂因素可能是：注重健康的员工更愿意选择参加项目，而注重健康才是他们医疗费用更低的真正原因。

类似地，应用开发者可能注意到，开启推送通知的用户参与度更高。未被观测到的混杂因素可能是用户一开始就对应用很感兴趣，这既让他们开启通知，也让他们更频繁地使用应用。

忽略这些隐藏变量，会导致有缺陷的政策和错误的决策。比如，在某个项目或功能上投入过多，而它其实并不是真正促成结果的因素。

在流行病学、经济学和社会科学等领域，当随机对照试验不可行时，未观测混杂是观察性研究面临的一项根本挑战。研究者无法测量并控制所有潜在的隐藏变量，因此，要从相关关系中确定真正的因果关系格外困难。统计方法和研究设计主要着眼于识别和减轻混杂的影响，包括已观测和未观测到的混杂。

• Judea Pearl 的因果推断研究提供了一个形式化框架，用有向无环图（DAG）描绘因果关系，并识别潜在的混杂因素。其中，“后门准则”是一种关键的图形判定方法，用来识别需要控制哪些变量，才能消除混杂 [1]。（2009年）

• 在计量经济学中，这通常被称为遗漏变量偏差：如果回归模型没有纳入某个相关变量，对其他变量效应的估计就会产生偏差 [2]。（2009年）

• 流行病学家使用敏感性分析，估计一个未被观测到的混杂因素需要有多强的影响，才能完全解释观察到的关联，从而帮助评估研究结果的稳健性，也就是结果是否经得起假设变化的考验 [3]。（2008年）

按定义，你无法直接测量一个未被观测到的混杂因素，也无法彻底排除它。判断它是否存在，往往依靠领域专业知识进行理论论证，而不是统计证明。敏感性分析等技术虽然可以探查潜在影响，却无法证实或否定某个特定隐藏因素的存在。因此，对于观察性研究的结论，你始终需要保持一定程度的谨慎。