思维模型

公平性重加权

一种在模型训练开始前调整训练数据权重、平衡不同群体代表性,从而减少歧视的技术。

探索一下

一家银行的贷款审批系统显示,男性和女性的获批率相同。但深入调查后发现,系统拒绝符合条件的女性的比例更高,批准不符合条件的男性的比例也更高。算法学会了对不同群体采用不同标准,以此让结果看起来平衡。

我们该如何纠正隐藏的歧视?

了解重加权如何重新平衡不公平的数据。

理解概念

理解概念

重加权是一种提升公平性的技术:根据训练样本所属的群体和结果,为它们分配不同的重要性权重。如果你的数据中,贷款获批的女性占比偏低,就给这些样本更高的权重,让模型更关注它们。如果贷款获批的男性占比偏高,就给这些样本更低的权重。这种调整发生在训练之前,让模型从一份“更公平”的数据中学习,同时保留原始记录。你可以把它想成批改作业时,让某些学生的答案在评分中占更大比重,以弥补他们过去受到的不利影响。 请注意:重加权调整的是数据的影响力,而不是数据本身。

详细讲解

详细讲解

重加权会为受保护属性(如性别或种族)与结果标签(如获批或被拒、录用或未录用)的每一种组合计算权重。首先,你要计算:如果数据完全没有偏见,每种组合出现的预期概率是多少。然后,按预期频率与实际频率的比值分配权重。出现次数少于预期的样本获得更高权重,占比偏高的样本则获得更低权重。

模型训练时,这些权重会告诉算法该在多大程度上重视每个样本。如果训练数据中,符合条件的女性占比低于公平分布下的预期,她们的样本在训练时就会按比例获得更高权重,而占比偏高的群体则获得更低权重。模型使用的还是同一批数据,但因为它现在更认真地“倾听”了过去代表性不足的群体,学到的决策模式也会不同。

这种方法适用于许多领域。在招聘中,你可以对来自代表性不足群体、且过去在岗位上表现成功的人的简历进行重加权,以抵消历史上的排斥。在医疗中,你可以按人口群体对患者的治疗结果进行重加权,确保治疗建议不会因获得医疗服务的机会不均等而出现偏差。在贷款中,重加权可以处理历史遗留的歧视问题:某些群体无论信用状况如何,获得的贷款都更少。关键在于,重加权在数据层面起作用,因此几乎可以搭配任何机器学习算法使用。

研究依据

研究依据

Kamiran 和 Calders(2012)将重加权正式确立为一种缓解偏见的技术。他们研究了包括重加权在内的数据预处理方法,用于在分类任务中考虑歧视问题,并探讨了准确性与非歧视性之间的理论权衡 [1]。这种方法通过计算权重,使不同群体的受保护属性与标签的联合分布一致,实际上相当于创建了一份平衡的“虚拟”训练数据集。

  • Kamiran 和 Calders(2012):与未采取偏见缓解措施的基准方法相比,数据预处理技术可以减少分类任务中的歧视性结果,同时保持准确性 [1]。
  • Bellamy 等人(2018):AI Fairness 360 将重加权实现为核心预处理算法之一,在信用评分、招聘和刑事司法数据集上展示了有效性,且额外计算开销很小 [2]。
  • Mehrabi 等人(2021):重加权被归类为在数据层面处理偏见的预处理方法,因此可以搭配任何后续分类器使用,但它只能处理代表性差异,无法解决特征层面的偏见 [3]。

适用局限

适用局限

重加权有一些重要限制。它只能处理训练数据中代表性不均衡所造成的差别影响,无法处理特征或标签本身的偏见。如果结果标签已经受到人为歧视的污染,比如带有偏见的绩效评价,重加权只会重新分配这种不公平,而不会消除它。这种方法还假设敏感属性可用且记录准确,这在某些应用中会引发隐私问题。尤其需要注意的是,重加权以人口统计均等为优化目标,这可能与均等化胜算或校准等其他公平性定义冲突。公平性与准确性之间也存在权衡:重加权涉及的取舍可能影响模型表现,而对于少见的群体与结果组合,权重可能变得不稳定。最后,重加权是一种技术层面的修正,无法解决数据收集或系统设计中造成歧视的根本原因。

参考来源

参考来源

试一试

检验你的理解

一所大学的招生模型显示,在条件相近的申请者中,男性录取率为 40%,女性为 25%。团队使用重加权来纠正这一差异。重加权实际改变了什么?

查看文章解释

答案: 给获录取的女性申请者分配更高的训练权重,给获录取的男性申请者分配更低的训练权重

重加权调整的是训练样本的重要性,而不是决策门槛或数据本身。它给代表性不足的成功结果样本(符合条件且获录取的女性)更高权重,给占比偏高的样本更低权重,让模型从一份“平衡”的虚拟数据集中学习。原始记录和性别信息都会保留。

一家医院使用重加权来减少患者风险预测模型中的偏见。实施后,模型对不同种族群体给出了相同的风险评分。团队最先应该检查哪个问题?

查看文章解释

答案: 原始训练数据中是否含有因医生的歧视性评估而产生的偏颇风险评分

重加权会重新分配已有模式,无法纠正带有偏见的标签。如果原始风险评分反映了医生的偏见,比如低估某些群体的症状,重加权只会把这种有偏见的标签分布扩散到各个群体,而不会修正它。这就是它的根本限制:重加权处理的是代表性差异,无法修复有问题的标签或特征。

在以下哪种情况下,使用重加权来减少算法偏见是错误的选择?

查看文章解释

答案: 训练标签反映了过去的歧视,比如带有偏见的绩效评价时

重加权无法修复带有偏见的标签,它只能重新平衡代表性。如果结果本身受到歧视的影响,比如带有偏见的绩效评分,重加权只会把这些不公平的结果更均匀地分配到各个群体,而不会纠正它们。这种方法假设标签基本准确;它处理的是数据中哪些人得到了体现,而不是作为标准答案的真实标签是否公平。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。