思维模型
异常识别
通过将观察结果与经过验证的基线进行比较,系统地区分有意义的偏差和随机噪声。
探索一下
识别真正的异常,不能只凭直觉。你需要按逻辑一步步判断,才能避免误报。如果你怀疑一个系统出了故障,首先必须做什么?
选择第一步
来看看为什么第一步这么重要。
理解概念
理解概念
识别异常,就是找出明显偏离既定标准或基线的事件或数据点。先了解“正常”是什么样,你就能避免误报——比如,先知道自己平时的静息心率,就不会因为心率暂时升高而慌张。先建立基线,你才能分清哪些是有意义的信号,哪些只是随机噪声。 请检查:选一个你正在追踪的指标,今天就明确它具体的“正常”范围。
详细讲解
详细讲解
要可靠地识别异常,你需要有条理地观察,而不是看到单个事件就立即作出反应。这个过程依靠一个反复比较的循环,依次包括输入、基线核对、偏差分析和输出。
首先,建立可靠的基线。只有先明确定义什么是正常,你才能发现异常值。在网络安全中,这意味着掌握用户通常的登录时间;在制造业中,这意味着知道机器正常运转时的确切振动频率。
其次,设定容许偏差的阈值。并非每次偏离都值得关注。网站流量下降百分之一,可能只是噪声;下降百分之十五,则是一个信号。你需要划定一个“不必关注的范围”,忽略其中的轻微波动,避免因警报过多而感到疲惫。
第三,结合具体情境理解偏差。一旦偏差超出阈值,就要核实外部条件。热浪期间冰淇淋销量突然猛增,并不算异常,而是相关现象。真正的异常往往没有明显的外部诱因,因此需要通过溯因推理,也就是从观察到的现象寻找可能的解释,找出隐藏的原因。
研究依据
研究依据
适用局限
适用局限
在“基线”不断变化的动态环境中,严格的异常检测可能会失效,这类数据称为非平稳数据。过度依赖历史基线,可能导致“正常性偏差”:忽略前所未有的威胁,因为它们不符合已知的异常模式,例如黑天鹅事件。
参考来源
参考来源
- [1] 信号检测论与心理物理学Green, D. M., & Swets, J. A. - 1966
- [2] 工业产品质量的经济控制Shewhart, W. A. - 1931
- [3] 噪声:人类判断的缺陷Kahneman, D., Sibony, O., & Sunstein, C. R. - 2021
- [4] 异常值分析Aggarwal, C. C. - 2017
试一试
检验你的理解
你经营着一家咖啡店,想判断今天的销售额是否异常偏低。接下来应该立即做什么?
查看文章解释
答案: 把今天的销售额与以往每周同一天的平均销售额作比较
要识别异常,你必须将当前数据与相关基线比较,也就是以往每周同一天的平均销售额,而不是直接作出反应。
以下哪种情况最能说明没有先建立基线?
查看文章解释
答案: 房主看到 200 美元的取暖账单就慌了,却没有查看去年冬季的收费标准
房主只看到了一个金额就作出反应,却不知道这个金额对当前季节来说是否真的异常,也就是缺少相关的基线背景。
在识别异常的过程中,“阈值”的主要作用是什么?
查看文章解释
答案: 区分轻微的随机噪声和显著偏差
阈值设定了一个明确界限,只有越过这个界限,数据点才会被标记出来。这样可以避免对自然波动(噪声)反应过度。
继续探索
为眼前的选择,再找一个有用的想法。
Reframo 的全部已发布文章均可免费阅读。准备好后,随时继续探索。