算法偏见的来源

人工智能（AI）系统可能因为学习时使用的例子、自身的设计，或人们使用它的方式，产生不公平的结果。一个数据集即使准确记录了过去的决策，也可能把不公平的对待带入新系统。

检查一下：选一个自动化决策，看看它的数据包含了哪些人，以及它用来衡量成功的指标实际衡量的是什么。

机器学习就是从例子中学习规律。不公平的结果可能来自这些例子、算法设计中的选择，以及系统与用户之间的互动。这篇综述介绍了这些相互关联的来源，而没有把不公平仅仅归结为数据问题。[1] 历史偏差指的是，即使数据收集准确反映了现实，已有的社会不平等仍会进入数据。以一个假设的招聘案例为例：假设审查已经确认，过去的招聘决策曾因性别而拒绝同等资质的女性。一个经过训练、模仿这些决策的系统，就可能重复这种对待方式。仅仅发现女性只占过去录用人数的百分之十五，本身并不能证明存在歧视，也不能解释其原因。

测量偏差是指，选取或测量的信息没能恰当地反映你想了解的概念。代理指标是一种间接衡量方式，用来代替我们真正想了解的东西。设想一个假设的医疗系统，用医疗支出来代表健康需求。如果病情同样严重的患者获得医疗服务的机会不同，他们的支出就可能因此不同；这时，优先考虑支出较高的患者，就可能让获得医疗服务机会较少的患者处于不利地位。这说明了一种可能的机制，并不是所提供节选已经证实的医疗研究发现。

代表性偏差是指，收集到的例子遗漏了目标人群中的某些群体，或这些群体的例子占比不足。总体准确率把所有人的结果合在一起，因此可能掩盖系统在某个子群体上的较差表现。子群体就是目标人群中的某一部分人。在一个假设的人脸识别测试中，一个通过人脸图像识别身份的系统，可能总体得分更高，但在某个代表性不足的群体上得分更低。如果你选择它，而没有选择另一个在该群体上表现更好的系统，就意味着你优先考虑了总体表现，而非子群体表现；仅凭数据集的大小，无法确定是否存在这种取舍。

再看一个假设的设计选择：筛选贷款申请的系统可能只以提高判断正确的总次数为优化目标，即使它在不同群体中出错的情况并不均衡。分别比较符合条件却被漏掉的申请，以及被错误批准的申请，可以揭示这种取舍。这个例子说明的是如何选择优化目标，并不是对某个已投入使用的系统的研究发现。

当系统的输出影响了未来决策所使用的数据时，就会形成反馈循环。综述用搜索排名来说明这一点：把一个结果排在靠前的位置，可能吸引更多点击；再用这些点击来排列之后的搜索结果，就可能让它持续获得更多展示。因此，点击既反映了用户兴趣，也反映了结果被展示的机会。[1]

在实践中，你可以检查数据的代表性，核实测量指标和已记录决策的含义，比较相关群体中的错误情况，并在系统投入使用后持续观察结果。这些检查需要先明确目标人群，并说明希望实现怎样的公平。各群体数量均衡并不能保证公平：即使各群体的代表性相同，聚合偏差仍可能存在，也就是根据合并后的人群数据，对个人得出误导性的结论。[1]

• 综述框架：2022年1月修订的预印本区分了源于数据的偏差和源于算法的偏差。它还描述了连接数据、算法和用户互动的反馈循环。这是对相关文献的概念性梳理，并不意味着研究发现每个系统都遵循同样的因果路径。[1]
• 综述总结的实证证据：针对 IJB-A 和 Adience 人脸分析数据集的研究发现，其中的受试者大多肤色较浅。节选还解释，同时考察肤色和性别，可以揭示按更宽泛的群体汇总结果时被掩盖的表现差异。[1]
• 平衡数据在概念上的局限：关于聚合偏差的讨论解释了，即使不同群体在训练数据中的代表性相同，忽略群体之间的相关差异，仍可能让模型不适合某些群体。因此，各群体数量相同，并不能证明模型适合每个人。[1]

所提供的节选并未证实那些假设的招聘或医疗案例是真实的研究发现。仅凭观察到的招聘比例，无法确定是否存在歧视，也无法确定其原因。节选也不支持这样一条普遍规则：合成数据或群体数量均衡的数据比历史数据更公平。文中建议的检查是基于综述分类提出的实践指导，并非已经证实有效的解决办法；节选内容并不完整，无法支持超出所提供文本范围的研究结论。