模型可解释性方法

模型可解释性方法是一组揭示人工智能如何作出决策的工具，就像翻译员，把复杂的数学运算转化成人能理解的清楚理由。这些技术会探查常被称为“黑箱”的算法，展示哪些因素影响了预测，比如说明一笔贷款被拒，主要是因为收入，而不是邮政编码。当你能看懂人工智能的判断依据，就能发现错误、核查公平性，并决定是否信任这个系统。 请注意：无法解释的决策，也就无法问责。

可解释性方法有两条路径：从一开始就设计透明的模型，或者探查已有的不透明模型，了解它们的行为。全局方法解释模型整体如何运作，比如在所有预测中，哪些特征最重要；局部方法则解释单次决策，比如为什么你的这份信贷申请获批或被拒。

常见方法包括 LIME 和 SHAP。LIME 会轻微调整输入数据，观察预测如何变化，再据此建立简化的近似模型；SHAP 则给每个输入特征打分，表示它对某次预测的贡献。特征重要性可视化会展示模型最看重哪些变量，而反事实解释会指出，要让决策结果反转，最少需要作出哪些改变。比如：“你的收入需要再增加 5000 美元，才能符合申请条件。”

在医疗领域，可解释性能让医生核查，人工智能标记患者时，依据的是合理的风险因素，还是没有实际意义的模式。在贷款领域，监管机构可以检查，种族等禁止使用的因素是否通过与其相关的变量，间接影响了结果。在招聘领域，求职者可以了解自己为什么被筛掉，并获得能据此采取行动的反馈。

凡事都有代价：与复杂的深度学习系统相比，更简单、可解释的模型往往会牺牲一些准确率。但对于影响重大的决策，透明度可能比性能更重要。你需要权衡的是：接受平均表现略好一些的黑箱预测，还是选择一个我们能够追问、质疑和改进的系统。

可解释性研究涵盖了多种分类体系，其中一项区分是内在可解释模型与事后解释方法：前者在设计上就是透明的，比如决策树；后者则用于解释已经训练好的模型。研究显示，准确率与可解释性往往难以兼顾：Rudin（2019）主张，在影响重大的决策中，应直接使用可解释模型，而不是为黑箱模型提供解释，因为可解释模型既能取得有竞争力的表现，又能从设计上保持透明 [1]。Ribeiro 及其同事于 2016 年提出 LIME，通过扰动输入并观察输出变化，用局部线性近似来解释单次预测 [2]。Lundberg 和 Lee 于 2017 年开发的 SHAP 提供了一个基于博弈论的统一框架，将预测结果归因于各个输入特征，并保证其满足一致性性质 [3]。Miller（2019）强调，有效的解释必须考虑人与人沟通的特点，根据用户真正需要了解的内容来组织，而不是在技术细节上面面俱到 [4]。

• Arrieta（2020）：这篇综述梳理了可解释人工智能（XAI）的主要分类体系与挑战，发现没有一种方法适用于所有领域，具体选择取决于用户的专业知识和决策情境 [5]。
• Doshi-Velez 和 Kim（2017）：提出根据任务表现来评估可解释性，衡量解释是否真的帮助人作出了更好的决策 [6]。
• Molnar（2024）：这本全面的开源参考书展示了，通过广义加性模型等模型实现的内在可解释性，在可靠性上往往优于事后解释 [7]。

可解释性没有通用的衡量标准：数据科学家觉得清楚的解释，领域专家可能反而看不懂。事后解释也可能误导人：LIME 的近似模型未必能忠实反映真实模型，而对于复杂系统，计算 SHAP 值可能需要很高的计算成本。有人认为，可解释性只是我们真正想要的信任、公平和问责的替代指标。解释还可能让人产生不应有的信心，过度信任系统。此外，完全可解释的模型在能捕捉哪些模式上，可能存在固有限制；而对某些问题来说，准确率哪怕只提高一点都极其重要，这种限制就可能让模型无法充分发挥性能。最后，可解释的模型并不保证公平：看得见的歧视，依然是歧视。