布里尔评分

布里尔评分是一套给概率预测打分的方法。你可以把它看成预测者的罚分：分数越低越好，奖励的是既预测正确，又有把握。如果预测者很有把握地说某件事会发生，而它确实发生了，罚分就很少；但如果很有把握地说某件事会发生，它却没有发生，罚分就会很高。例如，实际下雨时，预测降雨概率为90%的天气应用，会比只预测60%的应用得分更好。长期来看，这些分数的平均值能显示，谁的预测真正最准确，给出的概率也最贴近实际。

试试这样：我在新闻或工作中听到的概率估计，与实际发生的情况有多吻合？

布里尔评分通过计算预测概率与实际结果之间差值的平方，再取平均，来精确评估概率预测。它奖励准确性和校准程度，也就是预测者给出的概率在长期来看与实际情况有多吻合。

单次预测的计算方法很直接。首先，如果事件发生，就把结果记为1；如果没有发生，就记为0。然后，用预测概率减去实际结果，再把差值平方。完美的得分是0，比如预测某件事有100%的概率发生，而它确实发生了。最差的得分是1，比如预测某件事有100%的概率发生，它却没有发生。

来看一个例子。项目经理预测项目有80%的概率成功，结果项目确实成功了，记为1。预测概率0.8与实际结果1之间的差是负0.2，平方后得到的布里尔评分为0.04，罚分很少。如果项目失败，结果就记为0，差值会是0.8，平方后得分为0.64。因为预测者很有把握却判断错了，罚分就高得多。

评估一位预测者时，你不能只看一次预测，而要计算他在许多不同预测中的布里尔评分平均值。平均分持续较低的预测者，比平均分较高的预测者更可靠。从评估医疗诊断模型，到衡量地缘政治风险分析师的表现，都能用到这种方法。

例如，一家医院可以用布里尔评分比较两个预测患病概率的人工智能系统。通过跟踪它们在数千名患者身上的评分，医院可以判断哪个系统能为医生提供更可靠的概率，进而帮助医生做出更好的治疗决策。

对于单个二元事件，也就是只有发生和未发生两种结果的事件，布里尔评分的正式定义为 (p − o)²，其中p是预测概率，o是实际结果：事件发生时为1，否则为0。它属于“适当评分规则”，这类指标旨在鼓励人们诚实、准确地报告概率 [1]。适当评分规则之所以成为现代预测评估的基础，有以下几个原因：

• 它们确保预测者只有如实报告自己对事件发生概率的判断，才能获得对自己而言最优的期望得分，从而防止策略性猜测或刻意留有余地 [3]。（2007年）
• 它们提供了一种标准化方法，用于比较不同模型或人类预测者在同一组问题上的表现。从气象学到专家预测竞赛，都能看到这种方法的应用 [2]。（2015年）

布里尔评分并不总是容易直观理解。单独看0.15这个分数，意义不大；它更适合用来比较预测者，或跟踪表现随时间的变化。一个关键局限是，它对事件的基础发生率（也称“气候态”）很敏感。对于非常罕见或非常常见的事件，预测者只要始终报出基础发生率，例如1%，就可能获得看起来不错的低分，却几乎没有展现实际预测能力 [4]。因此，用布里尔评分比较预测者在同一组事件上的表现时，最能获得有用的信息，因为他们的分数包含相同的基础发生率成分 [5]。更深入的分析常会把分数分解为可靠性、分辨力和不确定性几个部分，以便更清楚地辨别预测者的能力 [4]。