思维模型
聚合数据的稳健性
探讨为何平均值和群体数据比构成它们的单个数据点更稳定、更不易极端化。
探索一下
一家新餐厅在大众点评上有500条评价,稳稳地保持着4.5星高分。今天,一位顾客留下了一条尖刻的1星差评。你预测餐厅的总评分会发生什么变化?
预测这条新评价的影响:
我们来探索为什么大群体如此稳定。
理解概念
理解概念
聚合数据很稳健,因为它能稀释极端值。单个数据点再夸张,也很难撼动一大群数据的平均值。就像一家餐厅在大众点评上有500条评价,稳稳地保持着4.5星高分,一条1星差评几乎不会影响总分——新评价被之前的500条评价“淹没”了。这说明,群体的整体表现往往比任何个体都更温和、更稳定。
注意这个:即使发生重大事件,一个国家的平均预期寿命变化也非常缓慢。
详细讲解
详细讲解
聚合数据的稳健性本质上是个简单的数学问题:每个新数据点只是众多声音中的一个。现有数据组越大,任何单个新声音的权重就越小。极端事件会被大多数人的“正常表现”有效缓冲。
这种现象随处可见。在金融领域,单只股票可能波动剧烈,一天内暴涨暴跌。但像标普500这样的多元化指数基金,聚合了500家公司的表现,走势就缓慢得多、可预测得多。一家公司的巨大成功会被其他公司的平平表现或失败所平衡。
在政治领域,全国性的民意调查比单个小城镇的调查稳定得多。小城镇的民意可能因地方问题而剧烈波动,但当它与数千个其他城镇的数据聚合时,这种剧烈变化就成了大海中的一朵小浪花。
这就是为什么只关注单个生动的数据点可能具有误导性。一则关于特定犯罪事件的惊人新闻,并不一定意味着城市的总体犯罪率(一个大型聚合数据)发生了变化。聚合数据的稳定性提供了更可靠(尽管不那么刺激)的现实图景。
研究依据
研究依据
聚合数据的稳健性是基本统计规律的直接结果。随着我们收集更多数据,这些数据的平均值会成为对真实总体平均值更稳定、更可靠的估计。这种效应不仅是有趣的怪象;它还是保险、民意调查和科学测量的基础,使我们能够通过观察部分来对整体做出惊人准确的预测。
适用局限
适用局限
这一原理主要适用于数据点相互独立的情况。如果数据点高度相关(例如,同一行业的所有公司因同一冲击而倒闭),聚合数据就不会那么稳健。此外,像“平均收入”这样的聚合数据可能隐藏极端不平等;一个国家可能有中等的平均值,同时拥有大量非常贫穷和非常富裕的人。聚合数据揭示了集中趋势,但掩盖了分布的形状。
参考来源
参考来源
- [1] 统计思维与艺术:统计学入门Benjamin Yakir(本杰明·亚基尔) - 2016
- [2] 概率论与数理统计课程 - 北京大学数学学院北京大学
- [3] 思考,快与慢Daniel Kahneman(丹尼尔·卡尼曼) - 2012
试一试
检验你的理解
一个城市想要评估整体空气质量。哪种方法能提供最“稳健”且稳定的测量结果?
查看文章解释
答案: 取全市50个传感器一整月的读数平均值。
对大量数据点(50个传感器)在长时间(一个月)内取平均值,能平滑极端的局部事件,提供更稳定、更具代表性的整体图景。
一位拥有百万粉丝的B站UP主发布了一个视频,但第一个小时的播放量异常低。为什么现在宣布这个视频“凉了”还为时过早?
查看文章解释
答案: 最终播放量是大型聚合数据,所以早期数据对最终结果影响很小。
最终播放量是许多天内数百万次观看的聚合数据。第一小时播放缓慢只是小样本,会被更大、更稳定的总量吸收,因此很难预测最终结果。
在一家大公司里,一名员工表现极差,而另一名员工创造了月度业绩纪录。这最有可能导致公司整体月均业绩……
查看文章解释
答案: 变化很小。
在像公司整体业绩这样的大型聚合数据中,个人的极端高低表现会被其他人的中等表现稀释。两个极端往往会相互抵消,使平均值保持惊人的稳定。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。