思维模型

长期公平性影响

算法决策如何通过反馈循环,在长期中影响公平性,放大、累积或可能减少社会中的偏见。

探索一下

一座城市部署了一套人工智能系统,用来预测哪些社区需要警察巡逻。系统根据当前的犯罪数据进行校准,以便更高效地分配巡逻力量。几年后,某些社区的巡逻明显增多,其他地区的警力则有所减少。以下哪个因素最可能解释这种变化?

理解算法影响的一个关键洞见

了解算法如何随着时间推移,创造出自己所预测的现实。

理解概念

理解概念

长期公平性影响,指的是算法决策如何通过反馈循环,在数月或数年间塑造社会。当人工智能根据数据做出决策时,比如预测信贷风险或分配资源,这些决策会带来新的结果,成为未来的训练数据,可能放大已有的偏见,也可能产生全新的偏见。你可以把它想成一种自我实现的预言:如果算法预测某个社区风险较高,并向那里投入更多资源,它可能恰好发现自己预测的情况,因为它已经改变了当地的条件。不过,研究表明,算法系统可以通过反复互动,逐渐影响人的判断。

想一想:当你看到人工智能的建议时,你会考虑它可能如何塑造你未来的选择吗?

详细讲解

详细讲解

长期公平性影响如何产生

长期公平性影响通过一种叫作“施为性”的过程产生,也就是算法的预测改变了它原本要观察的现实。静态公平性指标只评估算法在某个时间点的表现,而长期分析会考虑决策如何在整个系统中持续产生连锁影响。用历史招聘数据训练的算法,可能会推荐与过去录用者相似的候选人,进而影响求职者群体的构成,形成反馈循环,让原有模式延续多年。

三种核心机制

反馈循环是研究最多的机制。研究表明,当人们反复与带有偏见的人工智能系统互动时,他们也会学到这些偏见,变得更有偏见。研究还指出,人工智能系统放大偏见的方式,可能与人与人互动时有所不同。这种影响会不断累积:每次互动都让行为发生一点变化,经过数月或数年,就会出现可以测量的转变。

不公的累积,指的是算法根据反映历史歧视的数据来对待人们。例如,过去的住房歧视和居住隔离会被编码进基于位置的算法,因为先前的歧视使邮政编码与种族之间存在关联。这样一来,算法即使不直接使用种族数据,也能延续群体之间的差距(《斯坦福哲学百科全书》,2024;Heidari 等,2019)。

特征隔离,指的是算法为了最大限度提高预测准确率,改变了人们的行为。例如,在招聘中,反复进行算法筛选,可能改变哪些人会来申请,或人们愿意投入多少努力,进而逐渐改变求职者的资质分布。这会造成新的不平等:从统计指标看似乎“公平”,却源于算法自身的影响。

实际应用中的启示

部署算法的组织应该持续监测结果,而不只是在部署时评估。这包括跟踪不同群体的决策结果模式是否发生变化、反馈循环是否可能放大偏见,以及系统是否正在改变人们的行为,从而造成新的差距。一些研究者提出了“动态公平性”指标,将决策如何改变相关人群纳入考量。

研究依据

研究依据

长期公平性超越了传统的算法公平性指标,分析决策系统如何随时间推移改变结果。这一领域源于人们对静态指标局限的认识:静态指标会漏掉一些关键影响。算法最初可能满足所有标准公平性要求,却在几年内通过反馈机制造成严重差距。

近期研究指出了长期影响中的三种关键模式:偏见放大,即算法利用训练数据中的噪声,将已有偏见放大到超过人类的程度;施为性,即预测改变了它所描述的社会现实;以及策略性应对,即人们根据算法的激励调整行为,却因此削弱了原本希望实现的公平目标。

Glickman 与 Sharot(2024):人与人工智能之间的反馈循环会改变人的判断,其方式与人与人之间的互动不同。研究发现,人工智能系统对训练数据中微小偏见的放大程度高于人类,而当人们与这些带有偏见的系统互动时,他们自身的偏见也会增加。这种影响会在多次试验中累积,偏见随着反复互动不断增加。[2]

Gohar 等(2024):这篇综合性综述将“长期公平性”视为一种独立的研究范式,并指出其特有挑战,包括对时间动态建模、考虑策略性行为,以及设计能改善结果的干预措施,而不只是满足静态的数学标准,因为这些标准可能随着时间推移,让现实中的公平状况变得更糟。[3]

《斯坦福哲学百科全书》指出,算法公平性的讨论往往侧重数学指标,却忽略了“情境中的”公平性,也就是算法在现实部署中如何与历史不公、社会结构和时间动态相互作用。[4]

适用局限

适用局限

关于长期公平性影响的研究仍受到几个因素的限制。首先,实证验证很困难:大多数研究使用模拟或受控实验,而现实中的长期影响会在数十年间逐步显现,涉及复杂的社会系统和许多混杂变量。其次,衡量也有难度:要定义长期的公平结果,就必须对什么算改善、什么算恶化做出价值判断。第三,这一领域缺少标准化的评估流程,因此很难比较不同方法,也很难判断干预措施是否真的有帮助。第四,一些研究者认为,关注长期影响可能会被用来为短期伤害辩护;另一些人则反驳说,忽视长期影响本身也是一种伤害。最后,研究者仍在争论:算法主要是在放大社会已有的偏见,还是在创造新的不平等?答案很可能因情境而异,但目前仍难以找到普遍适用的原则。

参考来源

参考来源

试一试

检验你的理解

某个招聘算法使用公司过去十年的数据进行训练,不同人口群体的录用率相同。部署五年后,新录用员工中的女性占比,相对于合格求职者中的女性占比,已显著下降。哪种机制最能解释这一变化?

查看文章解释

答案: 人们逐渐摸清系统偏好,反馈循环因此改变了求职者群体的构成

这体现了反馈循环带来的长期公平性影响。即使算法最初的结果是公平的,它的决策也会影响哪些人来申请:一些女性可能在遭到拒绝或听说某些录用模式后不再申请,而男性则可能受到鼓励。算法的预测参与塑造了它所观察到的现实,这种现象叫作施为性。这也解释了为什么只在部署时评估算法,会漏掉关键的长期影响。

根据 Glickman 和 Sharot(2024)的研究,带有偏见的人工智能系统,比带有偏见的人更容易加重人的偏见。造成这种差异的主要原因是什么?

查看文章解释

答案: 人工智能系统能发现并利用含有噪声的数据中那些被人忽略的细微模式

Glickman 和 Sharot 的研究发现,人工智能系统放大微小偏见的方式与人类不同;人与人互动的对照并未出现同样的放大现象。人工智能系统利用计算能力寻找能提高预测准确率的模式,即使这些模式反映的是噪声或微小偏见。随后,人们会从人工智能始终一致、表现得很有把握的判断中学习,而且往往认为人工智能比人类信息来源更具权威性,这会加快他们接受其偏见的速度。

一家银行使用基于位置的数据,而非种族数据,来做贷款决策。在控制收入因素后,算法显示不同种族群体的贷款批准率在统计上相同。最可能出现哪种长期公平性问题?

查看文章解释

答案: 位置数据中保留的历史红线歧视信息,会造成种族差距,并让差距代代累积

这体现了代理变量造成的不公累积。历史上的红线歧视和住房歧视,使位置与种族之间存在关联。即使不使用种族数据,使用位置的算法仍可能延续种族差距,因为训练数据反映了不公平的分布。随着时间推移,贷款决策会影响财富积累和社区稳定,这些差距也会不断累积,造成新的不平等。它们在统计上看似“公平”,却源于算法延续下来的历史不公。

继续探索

为眼前的选择,再找一个有用的想法。

Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。