- 文章目录
- 社会动力学与伦理框架
- 伦理困境与应用伦理学
- 算法公平性与AI伦理
- 公平性中的因果推理
思维模型
公平性中的因果推理
借助因果模型和反事实推理,分析受保护属性实际上如何影响决策,从而识别并消除算法歧视。
探索一下
一个招聘算法从不直接获取性别信息,但会把邮政编码作为特征。在这座城市里,从整体来看,女性和男性恰好住在不同的邮政编码区域。算法学会了拒绝来自某些邮政编码区域的求职者。如果算法从来都“不知道”性别,这样就公平吗?
判断公平性时,什么更重要?
看看因果推理为什么会彻底改变我们对这个问题的理解。
理解概念
理解概念
公平性中的因果推理,就是问:“在一个假想的反事实世界里,如果改变这个人的受保护属性,同时保持这个人的其他一切不变,结果会怎样?”这种方法能揭示统计方法漏掉的隐性歧视:比如,招聘算法因为某些社区与种族相关,就拒绝来自这些邮政编码区域的求职者,尽管算法从未直接获取种族信息。你可以把它理解为追踪敏感信息实际通过哪些路径影响决策,而不只是看表面上的相关性。 请注意:统计公平性指标可能掩盖代理歧视,而因果模型能揭示它。
详细讲解
详细讲解
因果推理通过构建结构因果模型来分析公平性,梳理种族、性别等受保护属性如何沿着不同路径影响结果。这里的关键是:受保护属性与决策之间的关联,并不都意味着歧视。有些关联经过了合理的中间变量,这类变量称为“消解变量”。例如,在大学招生中,性别可能影响院系选择,院系选择又会影响录取决定。如果我们认为院系选择是合理的考量因素,也就是消解变量,那么性别通过院系选择影响录取的路径就是可以接受的,但性别直接影响录取的路径则属于歧视。
这个框架区分了两种关键的歧视。“未消解歧视”是指受保护属性对决策产生了直接的因果影响,而这种影响无法用合理的消解变量来解释。“代理歧视”是指算法使用了代替受保护属性的变量,比如用邮政编码、社区或姓名来间接代表种族或族裔。因果方法让我们能够准确识别决策过程中哪些影响路径有问题,哪些可以接受。
在实践中,这意味着我们可以设计算法,消除不公平的影响路径,同时保留合理的路径。在招聘中,我们可以干预姓名、邮政编码等代理变量,消除它们的影响,同时仍让资历和经验影响决策。在贷款审批中,我们可以区分使用信用记录与使用社区数据的不同:信用记录可以是与种族相关的消解变量,而社区数据则可能是直接包含种族信息的代理变量。这种精细的区分能帮助机构建立更公平的系统,避免不必要地牺牲预测能力。
研究依据
研究依据
因果推理让公平性分析从选择统计指标,转向明确建模数据生成过程,并论证哪些因果路径可以接受、相关假设为何合理。Kusner 等人(2017)提出了反事实公平性,要求同一个人在现实世界中得到的预测,与其在属于另一人口群体的反事实世界中得到的预测保持一致 [1]。Kilbertus 等人(2017)形式化定义了两个关键的因果判据:未消解歧视,即受保护属性产生了未被消解变量化解的直接影响;以及代理歧视,即通过邮政编码或姓名等代理变量产生的影响 [2]。Russell 等人(2018)证明,基于观测数据的公平性判据无法区分直觉上不同的歧视情境,因此,任何有意义的公平性分析都需要因果假设 [3]。Pearl 的结构因果模型框架为这些方法提供了形式化基础:它用有向无环图表示因果关系,并用 do 演算来推理干预的影响。
这些方法的实际应用涉及多个领域。在刑事司法中,因果分析揭示,风险评估工具可能依赖逮捕地点或社会经济地位等与种族相关的代理变量。在招聘中,算法使用的大学声望、邮政编码,甚至写作风格等特征,都可能包含人口群体信息。在医疗领域,用医疗支出作为健康需求代理指标的预测模型,系统性地让黑人患者处于不利地位,因为即便他们的病情同样严重,过去花在他们医疗照护上的钱也更少。
一个关键的技术难点是,构建准确的因果模型需要领域知识,也需要对数据生成过程作出无法仅凭数据验证的假设。同一个变量联合分布,可能对应多种不同的因果结构,而这些结构对公平性的含义可能截然不同。这意味着,判断公平性不可避免地要对哪些路径合理作出价值判断,不能仅靠技术修正。
适用局限
适用局限
用因果方法分析公平性,面临一些实践和概念上的局限。第一,构建有效的因果模型需要大量领域知识,也需要对数据生成过程作出假设,而这些假设往往无法通过实证检验:同一组观测数据可能与多个不同的因果图相符。第二,对种族、性别这类根深蒂固的属性进行反事实推理,会遇到概念上的难题,因为很难为针对这些属性的干预给出有意义的定义。第三,在包含许多变量和相互作用路径的现实系统中,因果模型很快就会变得复杂,既难以准确设定,计算成本也很高。第四,判断哪些变量属于“消解变量”、哪些属于“代理变量”,涉及价值判断;不同情境、不同利益相关方的看法可能不同。对于什么才算合理的因果路径,并不存在纯技术层面的答案。最后,因果方法通常比纯统计方法需要更多数据和更强的假设;当关键变量无法观测,或我们对因果结构了解不足时,这些方法可能无法实施。
参考来源
参考来源
- [1] 反事实公平性Matt J. Kusner, Joshua R. Loftus, Chris Russell, Ricardo Silva - 2017
- [2] 通过因果推理避免歧视Niki Kilbertus, Mateo Rojas-Carulla, Giambattista Parascandolo, Moritz Hardt, Dominik Janzing, Bernhard Schölkopf - 2017
- [3] 算法公平性中的因果推理Chris Russell, Matt J. Kusner, Joshua R. Loftus, Ricardo Silva - 2018
- [4] 因果模型Stanford Encyclopedia of Philosophy - 2024
- [5] 歧视Sophia Moreau, Gerald Neufeld - 2024
试一试
检验你的理解
一个贷款审批算法将“征信查询次数”作为特征。研究表明,某些邮政编码区域与种族相关,这些区域的居民由于当地银行服务选择有限,征信查询次数更多,而不是因为他们实际上是风险更高的借款人。算法会拒绝征信查询次数多的申请人。因果分析会将这种情况归为:
查看文章解释
答案: 代理歧视——征信查询次数通过邮政编码间接代表种族
这是代理歧视的一个例子:算法使用了征信查询次数,而邮政编码对征信查询次数有因果影响,邮政编码又与种族相关。“种族 → 邮政编码 → 征信查询次数 → 贷款审批决定”这条因果路径,通过征信查询次数这个代理变量包含了受保护属性的信息。统计方法会漏掉这种歧视,因为算法既没有直接使用种族,也没有直接使用邮政编码,但因果推理能揭示这条隐藏的路径。
在开头的邮政编码与招聘算法示例中,为什么纯统计的、基于观测数据的公平性指标可能无法发现歧视?
查看文章解释
答案: 不同的因果结构可能产生完全相同的统计模式
这是因果公平性研究的核心认识:多个不同的因果图,可能在观测变量上产生完全相同的联合分布。这意味着,两种在解释上有根本差别的情境,一种存在歧视,另一种不存在,仅凭观测数据可能在统计上无法区分。只有对数据生成过程作出因果假设,我们才能区分哪些影响路径可以接受,哪些不可接受。
在 Pearl 研究的伯克利大学招生案例中,女性的总体录取率低于男性,但按院系分析时,女性在每个院系的录取率实际上都略高于男性。因果分析指出,院系选择是一个“消解变量”:性别影响院系选择、院系影响录取,这些都是可以接受的。在这个情境中,因果推理认为哪条路径不可接受?
查看文章解释
答案: 性别 → 录取决定(直接路径)
因果推理认为,性别直接影响录取决定的路径不可接受,这属于未消解歧视。不过,“性别 → 院系选择 → 录取”这条路径可以接受,因为院系选择被认定为“消解变量”,也就是合理的中间因素。考虑这个消解变量后,汇总数据中看似存在的歧视就消失了。这个例子展示了辛普森悖论,也说明因果模型如何通过区分不同的因果路径来解释它,而不只是看总体的统计关联。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。