參考datawhale開源組織:https://github.com/datawhalechina/team-learning-data-mining/blob/master/AnomalyDetection/%E4%B8%80%E3%80%81%E6%A6%82%E8%BF%B0.md
1 什么是異常檢測？
異常檢測（Outlier Detection），顧名思義，是識別與正常數(shù)據(jù)不同的數(shù)據(jù)，與預(yù)期行為差異大的數(shù)據(jù)。
識別如信用卡欺詐，工業(yè)生產(chǎn)異常，網(wǎng)絡(luò)流里的異常（網(wǎng)絡(luò)侵入）等問題，針對的是少數(shù)的事件。
異常檢測: 數(shù)據(jù)不平衡下的分類問題
1.1 異常的類別
點異常： 指的是少數(shù)個體實例是異常的，大多數(shù)個體實例是正常的，例如正常人與病人的健康指標；
上下文異常：又稱上下文異常，指的是在特定情境下個體實例是異常的，在其他情境下都是正常的，例如在特定時間下的溫度突然上升或下降，在特定場景中的快速信用卡交易；
群體異常：指的是在群體集合中的個體實例出現(xiàn)異常的情況，而該個體實例自身可能不是異常，例如社交網(wǎng)絡(luò)中虛假賬號形成的集合作為群體異常子集，但子集中的個體節(jié)點可能與真實賬號一樣正常。
1.2 異常檢測任務(wù)分類
有監(jiān)督：訓(xùn)練集的正例和反例均有標簽
無監(jiān)督：訓(xùn)練集無標簽
半監(jiān)督：在訓(xùn)練集中只有單一類別（正常實例）的實例，沒有異常實例參與訓(xùn)練
1.3 異常檢測場景
故障檢測
物聯(lián)網(wǎng)異常檢測
欺詐檢測
工業(yè)異常檢測
時間序列異常檢測
視頻異常檢測
日志異常檢測
醫(yī)療日常檢測
網(wǎng)絡(luò)入侵檢測
2、異常檢測常用方法
2.1 傳統(tǒng)方法
2.1.1 基于統(tǒng)計學(xué)的方法
統(tǒng)計學(xué)方法對數(shù)據(jù)的正常性做出假定。它們假定正常的數(shù)據(jù)對象由一個統(tǒng)計模型產(chǎn)生，而不遵守該模型的數(shù)據(jù)是異常點。統(tǒng)計學(xué)方法的有效性高度依賴于對給定數(shù)據(jù)所做的統(tǒng)計模型假定是否成立。
異常檢測的統(tǒng)計學(xué)方法的一般思想是：學(xué)習一個擬合給定數(shù)據(jù)集的生成模型，然后識別該模型低概率區(qū)域中的對象，把它們作為異常點。
即利用統(tǒng)計學(xué)方法建立一個模型，然后考慮對象有多大可能符合該模型。
2.1.2 線性模型
典型的如PCA方法，Principle Component Analysis是主成分分析，簡稱PCA。它的應(yīng)用場景是對數(shù)據(jù)集進行降維。降維后的數(shù)據(jù)能夠最大程度地保留原始數(shù)據(jù)的特征（以數(shù)據(jù)協(xié)方差為衡量標準）。
PCA的原理是通過構(gòu)造一個新的特征空間，把原數(shù)據(jù)映射到這個新的低維空間里。PCA可以提高數(shù)據(jù)的計算性能，并且緩解"高維災(zāi)難"。
2.1.3 基于相似度的方法
這類算法適用于數(shù)據(jù)點的聚集程度高、離群點較少的情況。同時，因為相似度算法通常需要對每一個數(shù)據(jù)分別進行相應(yīng)計算，所以這類算法通常計算量大，不太適用于數(shù)據(jù)量大、維度高的數(shù)據(jù)。
??基于相似度的檢測方法大致可以分為三類：
基于集群（簇）的檢測，如DBSCAN等聚類算法。
??聚類算法是將數(shù)據(jù)點劃分為一個個相對密集的“簇”，而那些不能被歸為某個簇的點，則被視作離群點。這類算法對簇個數(shù)的選擇高度敏感，數(shù)量選擇不當可能造成較多正常值被劃為離群點或成小簇的離群點被歸為正常。因此對于每一個數(shù)據(jù)集需要設(shè)置特定的參數(shù)，才可以保證聚類的效果，在數(shù)據(jù)集之間的通用性較差。聚類的主要目的通常是為了尋找成簇的數(shù)據(jù)，而將異常值和噪聲一同作為無價值的數(shù)據(jù)而忽略或丟棄，在專門的異常點檢測中使用較少。
??聚類算法的優(yōu)缺點：
（1）能夠較好發(fā)現(xiàn)小簇的異常；
（2）通常用于簇的發(fā)現(xiàn)，而對異常值采取丟棄處理，對異常值的處理不夠友好；
（3）產(chǎn)生的離群點集和它們的得分可能非常依賴所用的簇的個數(shù)和數(shù)據(jù)中離群點的存在性；
（4）聚類算法產(chǎn)生的簇的質(zhì)量對該算法產(chǎn)生的離群點的質(zhì)量影響非常大。
基于距離的度量，如k近鄰算法。
??k近鄰算法的基本思路是對每一個點，計算其與最近k個相鄰點的距離，通過距離的大小來判斷它是否為離群點。在這里，離群距離大小對k的取值高度敏感。如果k太?。ɡ?），則少量的鄰近離群點可能導(dǎo)致較低的離群點得分；如果k太大，則點數(shù)少于k的簇中所有的對象可能都成了離群點。為了使模型更加穩(wěn)定，距離值的計算通常使用k個最近鄰的平均距離。
??k近鄰算法的優(yōu)缺點：
（1）簡單；
（2）基于鄰近度的方法需要O(m2)時間，大數(shù)據(jù)集不適用；
（3）對參數(shù)的選擇敏感；
（4）不能處理具有不同密度區(qū)域的數(shù)據(jù)集，因為它使用全局閾值，不能考慮這種密度的變化。
基于密度的度量，如LOF（局部離群因子）算法。
??局部離群因子（LOF）算法與k近鄰類似，不同的是它以相對于其鄰居的局部密度偏差而不是距離來進行度量。它將相鄰點之間的距離進一步轉(zhuǎn)化為“鄰域”，從而得到鄰域中點的數(shù)量（即密度），認為密度遠低于其鄰居的樣本為異常值。
LOF（局部離群因子）算法的優(yōu)缺點：
（1）給出了對離群度的定量度量；
（2）能夠很好地處理不同密度區(qū)域的數(shù)據(jù)；
（3）對參數(shù)的選擇敏感。
2.2 集成方法
集成是提高數(shù)據(jù)挖掘算法精度的常用方法。集成方法將多個算法或多個基檢測器的輸出結(jié)合起來。其基本思想是一些算法在某些子集上表現(xiàn)很好，一些算法在其他子集上表現(xiàn)很好，然后集成起來使得輸出更加魯棒。集成方法與基于子空間方法有著天然的相似性，子空間與不同的點集相關(guān)，而集成方法使用基檢測器來探索不同維度的子集，將這些基學(xué)習器集合起來。
常用的集成方法有Feature bagging，孤立森林等。
**feature bagging **：
與bagging法類似，只是對象是feature。
孤立森林：
孤立森林假設(shè)我們用一個隨機超平面來切割數(shù)據(jù)空間，切一次可以生成兩個子空間。然后我們繼續(xù)用隨機超平面來切割每個子空間并循環(huán)，直到每個子空間只有一個數(shù)據(jù)點為止。直觀上來講，那些具有高密度的簇需要被切很多次才會將其分離，而那些低密度的點很快就被單獨分配到一個子空間了。孤立森林認為這些很快被孤立的點就是異常點。
用四個樣本做簡單直觀的理解，d是最早被孤立出來的，所以d最有可能是異常。
2.3 機器學(xué)習
在有標簽的情況下，可以使用樹模型（gbdt,xgboost等）進行分類，缺點是異常檢測場景下數(shù)據(jù)標簽是不均衡的，但是利用機器學(xué)習算法的好處是可以構(gòu)造不同特征。
3、異常檢測常用開源庫
Scikit-learn：
Scikit-learn是一個Python語言的開源機器學(xué)習庫。它具有各種分類，回歸和聚類算法。也包含了一些異常檢測算法，例如LOF和孤立森林。
官網(wǎng)：https://scikit-learn.org/stable/
PyOD
*Python Outlier Detection（PyOD）**是當下最流行的Python異常檢測工具庫，其主要亮點包括：
包括近20種常見的異常檢測算法，比如經(jīng)典的LOF/LOCI/ABOD以及最新的深度學(xué)習如對抗生成模型（GAN）和集成異常檢測（outlier ensemble）
支持不同版本的Python：包括2.7和3.5+；支持多種操作系統(tǒng)：windows，macOS和Linux
簡單易用且一致的API，只需要幾行代碼就可以完成異常檢測，方便評估大量算法
使用JIT和并行化（parallelization）進行優(yōu)化，加速算法運行及擴展性（scalability），可以處理大量數(shù)據(jù)
? ——https://zhuanlan.zhihu.com/p/58313521
對于PyOD簡單的嘗試
from __future__ import division
from __future__ import print_function
import os
import sys
sys.path.append(
os.path.abspath(os.path.join(os.path.dirname("__file__"), '..')))
from pyod.models.lof import LOF
from pyod.utils.data import generate_data
from pyod.utils.data import evaluate_print
from pyod.utils.example import visualize
if __name__ == "__main__":
contamination = 0.1
n_train = 200
n_test = 100
X_train, y_train, X_test, y_test = \
generate_data(n_train=n_train,
n_test=n_test,
n_features=2,
contamination=contamination,
random_state=42)
clf_name = 'LOF'
clf = LOF()
clf.fit(X_train)
y_train_pred = clf.labels_
y_train_scores = clf.decision_scores_
y_test_pred = clf.predict(X_test)
y_test_scores = clf.decision_function(X_test)
print("\nOn Training Data:")
evaluate_print(clf_name, y_train, y_train_scores)
print("\nOn Test Data:")
evaluate_print(clf_name, y_test, y_test_scores)
visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
y_test_pred, show_figure=True, save_figure=False)
