数据分析终极一问：指标波动多大才算是异常？

导读：

先举个例子，体温37.4度vs体温36.5度，只有2.5%的波动，可如果有人在测温点被发现体温37.4度，估计马上就被拉走做核酸。为啥？因为人们不是怕2.5%的波动，而是怕新冠！

所以：指标波动不可怕，指标波动代表的业务场景才可怕！脱离业务场景谈指标波动就是耍流氓。

在各种业务指标中，数据往往不是静止不变的，尤其是当一些核心的指标发生了变化、波动时，就需要判断这样的波动是否属于异常的情况。那么波动了多大才能算是异常？本文将结合一些实际业务场景，来说明数据波动的异常判别方法。

指标数据波动，是各种业务场景下都会遇见的情况，如每日GMV、每日订单量等，都是在不断变化的。大多数情况下，变化是“正常”的波动，但有一些波动，源于突然发生的外部原因或其他未被预期的因素，导致其表现出不同于正常模式的异常状态。若能准确地识别异常波动，从而做出波动预警，并及时应对，就能一定程度上保证所关心的业务场景系统的整体稳定性。 

数据波动绕不开时间特性。业务中最常遇到的就是今天的指标是什么样子？过去几天是什么趋势？未来一段时间会怎么样的变化？数据+时间构成了波动的两个基本属性。

根据时间的不同特征，常见的波动类型有：

一次性波动：偶发的、突然性的波动。一般是由于短期、突发的事件而影响的指标的波动，比如说某头部主播在某次直播里上了严选的商品、某明星的同款商品在严选有库存等，就会造成订单量临时性的超出预期的上涨。

这样的波动影响时间短，往往几天的时间便会恢复正常波动。举个单量的例子，在大促期间都是单量的爆发期，大促即为一次“偶发事件”，此时单量的波动即为一次性波动。其具有如下的特征图：

周期性波动：这种波动和时间节点强相关，且经常以周或者季、年为循环节点。如羽绒服秋冬季节卖的比较好，到了春天销量就下降，夏天几乎没有销量，且每年几乎都是这样。

持续性波动：从某一时间开始，指标一直呈现上涨/下降趋势。如从今年4月开始，浴室香氛品类的销售量一直呈现上涨趋势，这就属于持续性波动。而持续性波动背后的原因往往是更深刻的，如订单结构的变化、环境因素的影响，从而出现了这种持续性趋势。

那么什么样的波动可以看作是“异常”呢？异常识别也可以认为是异常检测。这里主要从绝对值预警、相对值预警两个方面来说明。

2.1 绝对值预警

绝对值预警，即是通过设定一定的阈值，当指标低于/高于阈值的时候，就认为此时指标波动为异常，并进行预警。

举个例子，严选作为一个品牌，毛利是其核心的一个指标。对毛利可设置绝对值预警：当毛利为负时，就认为此时是异常的情况，需要探究其发生的原因，并解释这种异常的波动。通过对毛利的绝对值预警，严选及时发现了部分用户利用咖啡机进行薅羊毛、从而导致咖啡机毛利为负的行为，并完善了规则减少了严选的损失。

不仅可以设置低于某一个定值，也可以当指标高于某一定值的时候进行预警，比如在供应链中，某个大仓的分仓比高于40%，就会导致仓库负荷过重从而影响生产。

绝对值预警往往是一次性的波动，这样的异常判定比较简单，只需要设定对应的阈值即可。而阈值的设定可以根据具体的业务的不同和规则而变化。

目前在有数BI中可以直接设置绝对值预警：

2.2 相对值预警

然而实际业务中，绝对的阈值只能提供一个“底线”。除了一些非常确定性的业务场景外，在其他情况下，过高的“底线”就会导致误报，过低的“底线”可能会漏掉很多需要预警的情况。于是作为绝对值预警的补充，相对值预警可以根据历史数据及波动情况，来判断当前的波动是否为异常。

（1）同比环比

同比环比是业务场景中比较常用的一种异常检测方式，利用当前时间周期与前一个时间周期（同比）和过去的同一个时间周期（同比）比较，超过一定的阈值即认为该点是异常的。实际中常用周/日环比、年同比来进行比较。

如上图，(1)的数据为所要判断的值。当(1)的数值为百分比时，如来源于主站订单的比例，则同比环比一般为：

    环比：(1)-(2) pt

    同比：(1)-(3) pt

而当(1)的数值为非百分比时，如来源于主站的订单数量时：

    环比：((1)-(2))/(2) %

    同比：((1)-(3))/(3) %

根据值得正负来判断是上涨还是下降。通过与上周/昨天和去年同期的数据表现进行对比，计算波动值，再将波动值和阈值进行对比，从而得到当前时刻数值是否在正常的波动中（阈值的设定方法在后面介绍）。

如在上述的周期性波动的例子中，在11月环比波动都会较大，这时设置同比波动预警会比设置环比波动预警更为合理。于是在波动判别中，需要注意业务实际背景。

（2）周期平滑

同比/环比仅使用1~2个时间点