一、基本原理
- 異常檢測（Anomaly Detection或Outlier Detection）指的是通過數(shù)據(jù)挖掘手段識別數(shù)據(jù)中的“異常點(diǎn)”，如網(wǎng)絡(luò)通信領(lǐng)域發(fā)現(xiàn)異常信息流。
二、可用方法
-
常見的算法：
- 概率與極值分析（假設(shè)數(shù)據(jù)分布并找到超過中心特定范圍的數(shù)據(jù)）
- 線性模型（如PCA計算重構(gòu)誤差或者分析協(xié)方差矩陣的）
- 相似度模型（如ABOD，LOF、LOCI、LOOP和kNN等）
- 決策樹集成（Isolation Forest、Feature Bagging）
- 基于SVM的方法如One-class SVM
- 基于神經(jīng)網(wǎng)絡(luò)的算法（用auto-encoder計算重構(gòu)誤差）
-
基于統(tǒng)計學(xué)的方法
- 3σ準(zhǔn)則
- Grubb's test
-
基于距離的檢測
- KNN
- 夾角（余弦）
- LOF
- COF
-
線性模型
- PCA
-
非線性模式
- RNNs（Replicator Neural Networks)
iForest 算法
三、可用的工具，調(diào)研試驗(yàn)中：
- Stats&Bots：https://blog.statsbot.co/time-series-anomaly-detection-algorithms-1cef5519aef2
- 時序DB Prometheus: https://prometheus.io/
搭配 Grafana框架： https://grafana.com/ - weka工具，自帶機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)
