布里尔评分

布里尔评分把你预测的概率和实际结果作比较，衡量你的概率预测有多准。你可以把它想成预测的“诚实度检测器”：如果你说某件事有百分之九十的可能发生，而且说对了，就会得到奖励；但如果说错了，受到的惩罚就会比只说百分之六十时重得多。所以，两个人都预测下雨概率为百分之七十，即使一个做了深入研究，另一个只是猜测，他们的得分也会完全相同，因为评分只看最终给出的概率，不看你想得有多仔细。 试试这样：记住，两个人可以选出同一个数字，拿到完全相同的分数；一个可能研究了好几个小时，另一个可能只是随便猜猜，数学计算看到的只有最终的概率。

布里尔评分的计算方法是：求出你预测的概率与实际结果之间的差，将这个差平方，再对所有预测取平均值；事件发生记为一，未发生记为零。完美的得分是零，表示每次预测都与实际结果完全吻合。最糟糕的得分是一，表示你每次都满怀信心，却全都错了。现实中的大多数预测得分都介于两者之间。

如果你说发生概率是百分之九十五，结果却没发生，那么百分之九十五与零的差平方后，扣分为0.9025。如果你当初谦虚一点，只说百分之五十五，同样预测错了，扣分就只有0.3025。这种设计有意奖励恰到好处的不确定性：证据充分时，你可以相应地更有信心；证据不足时，就相应地更谨慎。

想象一个医疗诊断场景：一位医生预测，患者有百分之八十的可能患有链球菌性咽喉炎。如果检测结果为阳性，就将百分之八十与一的差平方，这次预测的布里尔评分为0.04。如果检测结果为阴性，就将百分之八十与零的差平方，扣分为0.64。现在假设医生当初说的是百分之四十，仍倾向于认为是链球菌感染，但更加不确定。此时，如果诊断错了，将百分之四十与零的差平方，扣分就只有0.16。这个评分体系不关心医生是否安排了额外检查，只关心从实际结果来看，最终给出的概率是否过于自信。

这揭示了一个关键点：布里尔评分衡量的是概率是否校准，也就是报出的概率与实际情况是否相符，而不是你收集了多少信息。两位评论员都可以预测某位候选人有百分之六十五的概率赢得选举；即使一个花了几个月分析民调数据，另一个只是抛了枚硬币，他们的得分也完全相同。这并不是缺陷，恰恰是布里尔评分能够用来比较不同领域、不同方法的预测表现的原因。

布里尔评分由格伦·威尔逊·布里尔于1950年提出，用于衡量概率预测的均方误差，也就是预测概率与实际结果之差的平方的平均值。从气象学到机器学习，许多领域都广泛使用它来评估预测的校准程度。

• Brier（1950）：提出这一评分规则，用于评估天气预报员的预测表现 [1]。

术语解释：校准是指你给出的概率与长期观察到的发生频率相符，例如，当你说概率为80%时，有80%的情况预测正确。适当评分规则是指，如果你给出的预测偏离了自己真正相信的概率，就无法改善预期得分。

布里尔评分对误差的处理是对称的：预测错误时过于自信，与预测正确时信心不足，受到的惩罚相同。在不同错误的后果并不对等的领域，这可能无法反映现实中的后果，例如在医疗诊断中，假阴性的代价高于假阳性。此外，布里尔评分只评估单个事件的预测，不评估涵盖多个结果的完整概率分布。