算法偏见

当计算机系统的输出造成或加剧不公平的结果，比如歧视某个群体时，就出现了算法偏见。这往往是因为训练系统所用的数据反映了人类已有的偏见。比如，一家公司的历史招聘数据显示，它过去主要招聘男性，那么用这些数据训练的人工智能就可能学会不公平地偏向男性求职者，即使数据中没有明确提到性别。系统只是学会了过去的模式，其中也包括那些不公平的模式。

想一想：用来对我作出决定的数据中，可能隐藏着哪些历史偏见？

算法偏见通常不是因为程序员故意写了带有歧视性的代码。更多时候，偏见是通过输入系统的数据悄悄混进来的。如果历史数据反映了社会中的不平等，算法就会学着复制、甚至放大这些不平等，把相关关系误当成因果关系。

这可能在现实中造成严重后果。想象一个贷款审批算法，它的训练数据来自一家曾实行“红线政策”、对某些社区采取歧视性信贷做法的银行。算法可能会把某些邮政编码与较高风险联系起来，仅仅因为申请人住在哪里，就不公平地拒绝原本符合条件的人，让他们继续陷在经济困境的循环中。

医疗领域也有类似的例子：一个用于预测患者健康风险的算法，可能用过去的医疗支出来间接衡量病情。研究发现，这种做法会系统性地让黑人患者处于不利地位。由于系统性因素，在医疗需求相同的情况下，黑人患者过去的医疗支出更少。于是，算法可能错误地把他们判断为比实际更健康，导致他们无法获得必要的医疗照护项目服务 [7]。

你需要记住的是，“数据驱动”并不自动意味着“客观”。我们必须认真审视自动化系统的数据来源、模型假设和现实影响，确保它促进公平，而不只是延续过去的效率标准。

关于算法偏见的研究，也常被称为算法公平性研究，关注偏见的来源、影响以及缓解策略。研究者区分了不同类型的偏见，比如历史偏见、测量偏见和代表性偏见，并提出了“公平”的数学定义。这些定义有时会相互冲突，让人难以取舍。

• Barocas 和 Selbst（2016）指出，即使开发者没有任何歧视意图，算法偏见仍可能造成歧视性结果，在法律上被认定为“差别影响”，也就是表面中立的做法对某些群体造成不利影响。[1]
• Kleinberg 等人（2016）和 Chouldechova（2017）表明，当不同群体中某种结果的基础发生率不同，通常不可能同时满足校准（预测值均等）和群体间错误率相等这两个条件。[2, 6] [2]
• Buolamwini 和 Gebru（2018）揭示了商业人脸识别系统在准确率上的显著差异：系统对深肤色女性的表现远差于浅肤色男性。这凸显了训练数据中不同群体的代表性存在偏差的问题。[3]
• Obermeyer 等人（2019）发现，一种广泛使用的商业健康风险预测算法，会系统性地让黑人患者处于不利地位。它用过去的医疗费用来间接衡量医疗需求，导致它低估了黑人患者的病情严重程度，即使他们与白人患者的病情同样严重。[7]

如何定义和衡量“公平”是一大难题。目前有二十多种不同的数学定义，而且它们经常相互冲突。按一种标准看，对某个群体公平的做法，换一种标准看可能就不公平了。此外，消除算法偏见不只是技术问题，还需要深入了解相关领域，并解决数据所反映的社会不平等根源。仅仅从数据中删除种族、性别等受法律保护的属性，往往没有效果，因为邮政编码等其他变量可能成为这些属性的强有力替代指标。