为什么发生异常都是点或者段异常然后又恢复正常,故障不应该一直故障下去,然后后续的数值都是异常的吗
你说的对,出错之后的数据都是错的,不过对解决问题有帮助的是首次出错的地方。为了保障后续不会持续出现错误数据,有的程序和软件在首次检测到错误的时候会重置(reset)一些参数
故障又好了呗。不一定是故障,可能只是不稳定状态。
异常检测方法
1)直接检测:针对点异常,直接定位离群点,也称离群值检测。
2)间接检测:上下文或集合异常先转化成点异常,然后再求解。
3)时间跨度检测: ARIMA, 回归模型,LSTM等,核心思想:模型学习一段历史数据,再预测, 比对真实值与预测值的偏差判断是否异常。预测类算法在股市交易、量化金融领域有着广泛应用。
4)序列跨度检测:许多传感器应用程序产生的时间序列通常彼此紧密相关。如在一个传感器上的鸟叫通常也会被附近的传感器记录下来。此时可使用一个序列预测另一个序列。与此类预期预测的偏差可以报告为异常值,如隐式马尔科夫链HMM等。
非数值变量:如 categorical, text, mixed data 的处理转化
分布概率转化:变量不再默认服从特定分布(如高斯),而单独根据具体数据集定义概率分布,按乘积方式与数值变量组合以创建单个多元分布。
不知道