思维模型

无知公平

无知公平是一种认为算法只要不使用种族或性别等受保护属性就公平的做法,却忽略了相关数据中可能隐藏的偏见。

探索一下

判断对错:一个人工智能招聘系统只考虑教育背景和工作经历,明确忽略种族和性别,就一定是公平的。

测测你的直觉

一起来看看,为什么仅仅忽略敏感属性还不足以实现公平。

理解概念

理解概念

无知公平是一种错误观念:认为算法只要不明确使用种族或性别等受保护属性,就是公平的。这种想法并不成立,因为邮政编码、学校名称等其他数据可以间接代表这些特征,重现同样的偏见。例如,招聘算法即使不使用种族信息,只使用学校名称,也可能歧视某些种族群体,因为有些学校的学生主要来自特定社区。这种做法让人误以为算法公平,却让歧视在不知不觉中继续存在。

想一想:还有哪些看似中立的数据,可能藏着人们的敏感信息?

详细讲解

详细讲解

无知公平是算法伦理中最常见、也最危险的误解之一。这种做法认为,只要从数据集中删除受保护属性,如种族、性别、年龄和残障状况,就能自动得到公平的算法。但它忽略了现实数据中复杂的关联。例如,在许多国家,邮政编码与种族、社会经济地位高度相关,毕业年份则可能与年龄相关。即使是浏览记录或应用使用习惯这类看似无害的数据,也可能透露受保护的个人特征。

这种做法之所以失效,原因在于代理变量和统计依赖关系。代理变量就是能间接反映另一项特征的数据。当算法从历史数据中学习规律时,也会学到这些规律中包含的社会偏见。即使没有明确的受保护属性,系统仍然可能学会组合使用一些中立特征,实际上重现歧视性结果。例如,亚马逊的一款实验性招聘工具虽然没有明确把性别作为输入,却会降低包含“女子”一词的简历评分,比如写有“女子国际象棋俱乐部队长”的简历 [1]。

影响也不限于招聘。在医疗领域,一些算法用医疗支出来代替健康需求,因而系统性地低估黑人患者的需求。这是因为长期以来,制度性障碍让黑人患者更难获得医疗服务,实际使用医疗服务也更少 [2]。同样,使用历史逮捕数据的预测性警务系统,会把过多的执法重点放在原本就有大量警力的社区,形成不断加剧种族差距的反馈循环。这些例子说明,无知公平不仅无法实现公平,还可能主动强化并延续已有的不平等,同时让系统实施者有理由否认其中的歧视。

研究依据

研究依据

无知公平是算法公平领域最早、也最天真的方法之一。在研究者发现它的根本缺陷之前,早期机器学习文献就已对这种方法作出形式化表述。它源于对反歧视法律和统计依赖关系的双重误解,认为只要在形式上排除受保护属性,就足以防止歧视性结果。

  • Barocas 与 Selbst(2016):指出即使没有明确使用受保护属性,算法在重现已有的不平等模式时,也可能因造成差别影响(对不同群体产生不成比例的不利影响)而违反反歧视法律 [1]。
  • Noble(2018):展示了搜索算法如何从带有偏见的训练数据中学到关联,在没有明确按种族分类的情况下,仍然强化刻板印象,让有色人种社区受到排斥 [2]。
  • Dwork 等人(2012):提出了超越排除属性这一做法的算法公平正式定义,强调判断公平时需要考虑实际结果,而不能只看输入 [3]。

适用局限

适用局限

除了程序公平之外,无知公平几乎无法满足任何关于算法公平的正式定义。它无法解决历史遗留的不平等、统计依赖关系,以及让偏见不断延续的反馈循环。在医疗、刑事司法和就业等影响重大的领域,这种做法尤其容易失效,因为这些领域存在大量代理变量,歧视造成的代价也很严重。此外,这种方法会让实施者产生虚假的安心感,使他们对存在根本缺陷的系统抱有缺乏依据的信心,同时降低他们采取更有力的公平干预措施的意愿,进而可能让结果变得更糟。

参考来源

参考来源

试一试

检验你的理解

一家银行开发了一套信用评分算法,不使用种族信息,却使用邮政编码。为什么这仍然可能导致歧视性结果?

查看文章解释

答案: 因为邮政编码与种族和社会经济地位相关

这个例子说明,由于历史上的居住隔离和经济不平等,看似中立的数据(邮政编码)可能成为受保护特征(种族)的代理变量。算法即使不明确使用种族信息,仍然会产生歧视,这正是无知公平失效的原因。

与依赖无知公平相比,哪种做法能更好地解决算法公平问题?

查看文章解释

答案: 测试并衡量不同人口群体的实际结果

这种以结果为依据的公平方法,会检查不同人口群体是否获得相似的结果,而不是因为排除了某些输入就认定算法公平。它直接检验系统在实际使用中是否产生公平的结果。

判断对错:无知公平意味着,只要算法在决策过程中不明确使用受保护属性,它就是公平的。

查看文章解释

答案: 错

这个说法是错的,因为无知公平忽略了其他数据可能充当受保护属性的代理变量,重现歧视性结果。真正的公平需要检查不同群体的实际结果,并采取有力的公平干预措施,而不能只排除某些属性。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。