思维模型

均等化赔率与机会均等

探讨如何让算法的预测错误(如错误批准和错误拒绝)在不同人口群体之间保持均衡。

探索一下

一个 AI 系统正在为技术岗位筛选简历。它可能犯两类错误。要被认为“公平”,它应该优先避免哪一类错误?

选择你认为更需要减少的一类错误:

这个选择揭示了定义公平时的一项核心矛盾。

理解概念

理解概念

机会均等和均等化赔率是衡量 AI 系统是否公平的两种方法。机会均等要求:对于确实符合条件的人(比如会偿还贷款的人),无论他们属于哪个群体,AI 给出肯定结果(批准贷款)的比例都应相同。均等化赔率的要求更严格:除了满足这一点,还要求对于不符合条件的人,AI 给出否定结果的比例在各群体之间也相同。

想想垃圾邮件过滤器:机会均等意味着,无论发件人属于哪个群体,过滤器将正常邮件正确标记为“非垃圾邮件”的比例都相同。均等化赔率还要求,它将真正的垃圾邮件正确标记为“垃圾邮件”的比例也相同。

想一想:评估一个自动化系统时,它的错误在不同群体之间分布得均衡吗?

详细讲解

详细讲解

算法在做预测时,可能犯两类错误:假阳性(错误地判断为“是”)和假阴性(错误地判断为“否”)。机会均等和均等化赔率是两种公平性标准,关注这些错误率在不同人口群体之间是否相同。

机会均等

这项指标关注的是对那些应当得到肯定结果的人是否公平。它要求,这些人被正确预测为肯定结果的概率在各群体之间相同。换句话说,各群体的假阴性率必须相同。它关注的是避免让符合条件的人处于不利地位。

例如,如果 AI 用来筛选奖学金申请者,机会均等就要求:在所有真正符合条件的学生中,各人口群体获得推荐的比例相同。它希望避免某个群体中符合条件的申请者比另一个群体中符合条件的申请者更容易被忽略。

均等化赔率

这是在机会均等基础上提出的更严格的条件。它要求各群体的假阴性率和假阳性率都相同。除了让符合条件的人获得公平的机会,它还确保不符合条件的人得到相似的对待。

假设某个 AI 用于审前风险评估,为是否准予保释提供建议。假阴性是指释放了一个之后再次犯罪的人。假阳性则是指羁押了一个原本不会再次犯罪的人。均等化赔率要求:无论种族如何,对于会再次犯罪的人和不会再次犯罪的人,算法相应的错误率都要相同。这样就能避免某个群体过多地承受其中任何一类错误。

研究依据

研究依据

均等化赔率和机会均等是统计意义上的“群体公平”定义。它们要求,按种族或性别等受保护特征划分的不同群体之间,算法的错误率应当相同 [1, 2]。

  • 这些指标的提出,是为了提供比人口统计均等这类简单标准更细致的衡量方式。人口统计均等只考虑肯定预测的总体比例;即使模型损害了某个受保护群体中符合条件者的利益,也可能满足这一标准 [1, 4]。 [1] (2016)
  • 这些定义以真实结果为条件,要求模型在各群体之间表现一致,既覆盖符合获得肯定结果条件的人(真阳性),也覆盖不符合条件的人(真阴性)[1, 5]。 [2] (2019)

适用局限

适用局限

这些指标有明显的局限。首先,它们需要“真实情况”标签(例如,谁实际上会偿还贷款)。这类标签往往无法获得,或者本身就反映了模型试图纠正的历史偏见 [2]。其次,满足这些群体层面的统计标准,并不保证任何一个具体的人都能得到公平对待。最后,多种公平性标准往往无法同时满足,而强制施加这些约束可能会降低模型的总体准确率,形成直接的“公平性与准确率”权衡,需要谨慎处理 [3]。

参考来源

参考来源

试一试

检验你的理解

某个城市用 AI 预测哪些餐厅可能违反卫生规定。要符合**机会均等**,必须满足什么条件?

查看文章解释

答案: 在*确实存在*违规行为的餐厅中,无论位于哪个街区,AI 将其标记出来的比例都相同。

机会均等关注的是,确保“真阳性”(正确识别违规行为)在所有群体(街区)中的比例相同。它确保那些*应当*被识别出来的餐厅,都能以相同的比例被识别出来。

在什么情况下,选择更严格的**均等化赔率**指标,比只采用机会均等更重要?

查看文章解释

答案: AI 标记需要接受机场额外安检的旅客时。

均等化赔率同时考虑假阳性和假阴性。在机场安检中,假阳性(标记一名没有安全风险的旅客)的代价很高,因此,让这一错误率在各群体之间保持均衡至关重要,不能只关注假阴性率。

一个招聘团队最担心的是,不公平地拒绝来自代表性不足群体的合格候选人。哪项公平性指标直接回应了这一首要顾虑?

查看文章解释

答案: 机会均等

机会均等明确要求各群体的真阳性率相同。这直接意味着,各群体中符合条件的候选人都应有相同的机会被正确识别出来,避免被遗漏(即假阴性)。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。