黑箱问题

当人工智能系统做出的决策连开发它的人都无法完全理解或解释时，就出现了黑箱问题。你可以把它想成一位能力很强的员工：总能给出精彩的答案，却说不清自己是怎么想的。大多数现代人工智能系统使用的数学模式太复杂，人脑难以一步步追踪，因此几乎无法审查它们的决策是否公平、正确。 想一想：如果人工智能拒绝了你的贷款申请，或者为你推荐了一种治疗方案，你难道不应该能了解原因吗？

系统为什么会变成黑箱

现代人工智能系统通常使用深度神经网络，其中包含数百万甚至数十亿个相互关联的参数。这些系统通过处理海量训练数据来学习模式，在反复试错中调整内部权重。最终形成的决策路径非常复杂，就连开发系统的研究人员，也无法准确追踪某个具体输出究竟是如何产生的。

性能与透明度之间的取舍

这不只是学术上的担忧，它也影响着人们的实际生活。在医疗领域，人工智能识别医学影像中的癌症，可能比人类医生更准确。但如果它无法解释自己发现了哪些模式，医生就很难信任它的建议。在刑事司法领域，风险评估工具可能影响量刑决定，而被告却无法质疑这些决定背后的推理。能力最强的模型往往会牺牲可解释性来换取更强的能力。

解释为什么重要

缺少透明度，我们就无法发现人工智能系统何时存在偏见，或者何时因错误的假设而做出错误判断。招聘算法可能因为学会了将邮政编码与社会经济地位联系起来，而拒绝合格的求职者。信用评分系统可能根据与种族相关的替代变量拒绝贷款。了解决策原因不只是为了满足好奇心，也是追究责任、排查问题，以及确保人工智能系统符合人类价值观的必要条件。

研究人员正在做什么

研究人员正在开发可解释人工智能技术，例如注意力机制，用来展示模型关注了哪些输入；特征重要性分析，用来识别哪些因素最重要；以及局部可解释模型，用来在某个具体决策附近近似呈现复杂系统的行为。有些人认为，即使准确率稍低，也应该优先选择本身就容易解释的模型。另一些人则相信，我们可以开发出工具，在保留强大黑箱模型能力的同时，解释它们如何做出决策。

随着深度学习在2010年代兴起，黑箱问题受到广泛关注。不过，它的根源可以追溯到更早关于计算不透明性的哲学讨论。核心难题在于：系统在技术上可以是透明的，也就是代码和权重都能查看；但在认识上仍然是不透明的，也就是人类无法理解它。

• Arrieta等人（2020）：对可解释人工智能（XAI）方法进行了全面分类，将其分为事前方法（在设计上就具备可解释性）和事后方法（在决策做出后提供解释），并指出，没有任何一种方法能解决所有透明度难题。[1]

• Pasquale（2015）：认为金融、治理和医疗领域的黑箱算法造成了三种不透明性：有意的不透明（商业秘密）、技术上的不透明（复杂程度超出人类理解能力），以及制度上的不透明（系统如何部署缺乏透明度）。[2]

• Rudin（2019）：表明在许多高风险应用中，可解释模型的性能可以达到甚至超过黑箱模型，从而质疑了准确率与可解释性之间必然需要取舍的观点。[3]

• Burrell（2016）：提出“认识论不透明性”这一概念，指计算过程超出了人类追踪和理解它的认知能力，并指出这与单纯保密有所不同。[4]

黑箱问题没有简单的解决办法。事后解释可能误导人：简化后的解释未必准确反映实际推理过程，却会让人产生已经理解了的错觉。有些研究人员认为，“解释”本身可能就不是合适的思考角度；我们应该转而关注决策能否被审查、能否受到质疑，以及能否发现并纠正错误。不同决策对透明度的要求也不同：电影推荐系统所需的审查程度，低于医疗诊断工具。欧盟《通用数据保护条例》（GDPR）中针对自动化决策的“获得解释的权利”，在法律上仍有争议，在许多情况下也尚未在技术上实现。