文獻來源：
Pang, Guansong, et al. "Deep learning for anomaly detection: A review." ACM Computing Surveys (CSUR) 54.2 (2021): 1-38.
主題：基于深度方法的異常檢測綜述
摘要：異常檢測的任務(wù)類型，問題復(fù)雜度，主要挑戰(zhàn)?？偨Y(jié)主流方法的假設(shè)，優(yōu)缺點，場景。提出未來的研究方向。
任務(wù)類別
單點檢測、條件異常檢測、群異常檢測
問題復(fù)雜度
- 異常樣本的未知性，無限可能。
- 異常類的異質(zhì)問題
- 異常樣本的極度不平衡
主要挑戰(zhàn)
- 異常樣本的低召回率
- 高維和非獨立（概率依賴）數(shù)據(jù)
- 樣本的利用效率：無監(jiān)督、半監(jiān)督、弱監(jiān)督學習方式
- 正常樣本受噪聲污染情況下的魯棒學習
- 復(fù)雜樣本的檢測，包括條件異常、群異常以及多源的異質(zhì)異常
- 異常檢測結(jié)果的解釋性
深度方法對比傳統(tǒng)方法
方法分類
-
大小類
image.png -
大類框架
image.png
方法1：深度學習僅用于特征提取
假設(shè)：深度模型提取的特征保持了樣本類別間的判別信息，有助于異常樣本的檢測。
基本方法：特征提取與異常檢測解耦且異常檢測特征提取沒有約束。兩個方法提取特征：1）使用預(yù)訓練模型。2）使用自編碼器AE。
優(yōu)點：1）存在大量預(yù)訓練模型可用。2）深度降維特征優(yōu)于線性降維特征。3）由于解耦，有大量特征提取模型和異常檢測模型方便快速應(yīng)用。
缺點：1）由于解耦，往往不能獲得最優(yōu)檢測結(jié)果。2）異常檢測受限于現(xiàn)有的預(yù)訓練模型。
挑戰(zhàn)目標：CH1，CH2
方法2 正常類的特征提取
分2類：1）使用一般方法的特征提取，即沒有異常樣本指導和約束情況下的特征提取。方法：AE、GAN、預(yù)測模型、自監(jiān)督。2）結(jié)合常用的異常度量進行特征學習。方法：距離度量、one-class、聚類。
方法2.1.1 基于AE的通用特征提取
假設(shè)：正常樣本可以更好的重構(gòu)。
方法：使用AE訓練，使用重構(gòu)誤差作為異常分數(shù)。
優(yōu)點：1）不同類型的數(shù)據(jù)通用；2）有多個AE變種可用。
缺點：1）模型易受噪聲影響產(chǎn)生偏見；2）AE針對降維和壓縮等任務(wù)，沒有對異常檢測進行優(yōu)化。
挑戰(zhàn)：CH1，CH4
方法2.1.2 基于GAN的通用特征判別
假設(shè)：正常樣本相對于異常樣本更容易生成。
方法：先獲得GAN的生成器G和判別器D。使用待測樣本逆向計算出對應(yīng)特征z。通過L(x,G(z))和D中中間層的特征提取h(G(z))計算的L(h(x),h(G(z))作為異常分數(shù)。
優(yōu)點：1）GAN生成的圖像更接近現(xiàn)實樣本。2）存在大量類型的GAN可用。
缺點：1）GAN由于模式坍塌的問題難以訓練。2）GAN難以解決復(fù)雜樣本的生成。3）GAN任務(wù)目標與異常檢測不一致，容易次優(yōu)。
挑戰(zhàn)：CH1，CH2
方法2.1.3 基于預(yù)測模型的特征判別
一般用于視頻的異常檢測，由前t個幀預(yù)測第t+1個幀，根據(jù)預(yù)測結(jié)果的差異性進行異常檢測。
假設(shè)：正常樣本在視覺維度上比異常樣本更容易預(yù)測。
優(yōu)點：1）有眾多的時間序列技術(shù)可以結(jié)合。2）能夠?qū)W習不同類型的時空依賴數(shù)據(jù)。
缺點：1）只能用于序列數(shù)據(jù)。2）計算代價高。3）目標并非異常檢測，結(jié)果容易次優(yōu)。
挑戰(zhàn)：CH1，CH2，CH5
方法2.1.4 自監(jiān)督學習
假設(shè)：正常樣本的自監(jiān)督分類結(jié)果比異常樣本一致。
優(yōu)點：1）能夠應(yīng)用在無監(jiān)督和半監(jiān)督場景中。2）異常評分的基礎(chǔ)是梯度大小的一些內(nèi)在特性及其更新。
缺點：1）自監(jiān)督變換形式依賴于數(shù)據(jù)類型。2）結(jié)果次優(yōu)，理由同上。
挑戰(zhàn)：CH1，CH2，CH4
方法2.2.1 基于距離度量
假設(shè)：正常樣本距離小
方法：在目標函數(shù)中結(jié)合距離目標對深度網(wǎng)絡(luò)進行約束。
優(yōu)點：1）理論基礎(chǔ)研究豐富。2）結(jié)合深度網(wǎng)絡(luò)后，工作在低維上。3）可以靈活定義學習目標和過程。
缺點：1）距離結(jié)合進學習的過程難以處理。2）距離度量在異常檢測上的固有弱點。
挑戰(zhàn)：CH1，2，3，4
方法2.2.2 One-Class方法
假設(shè)：所有正常的實例都來自一個單一的(抽象的)類，并可以被一個緊湊的模型總結(jié)出來，而異常并不符合這個模型
基本方法：深度模型提取特征，OCSVM，SVDD處理單類分類
優(yōu)點：1）有理論基礎(chǔ)支撐。2）深度模型與One-class模型聯(lián)合學習更優(yōu)化的特征。3）避免人工選擇核函數(shù)。
缺點：1）難以有效學習復(fù)雜分布的正常數(shù)據(jù)。2）檢測性能依賴于單類分類模型。
挑戰(zhàn)： CH1，2，3
2.2.3 聚類度量
假設(shè)：正常樣本更容易聚集
基本方法：通過計算待測樣本與偽標簽的損失，以及非聚類的損失，如重構(gòu)損失等來判別異常。
優(yōu)點：1）有關(guān)已有的聚類研究的支撐。2）深度模型在檢測復(fù)雜樣本上優(yōu)于傳統(tǒng)模型。
缺點：1）檢測性能受聚類結(jié)果的限制。2）容易受噪聲影響。
挑戰(zhàn)：CH1，2，4
3 方法
端到端的方法：1）排序模型，2）先驗驅(qū)動模型，3）softmax似然模型，4）端到端的單類模型。
3.1 排序模型
假設(shè)：存在一個可觀察的順序變量，它捕獲一些數(shù)據(jù)異常
略
3.2 先驗驅(qū)動模型
假設(shè)：賦予模型的先驗?zāi)軌蛴行Р蹲降秸Ｅc異常數(shù)據(jù)的特征。
提到的文獻是關(guān)于強化學習應(yīng)用場景，略。
3.3 softmax似然模型
假設(shè)：正常樣本更加頻繁的發(fā)生。
略
3.4 端到端的one-class模型
假設(shè)：1）可以有效地合成接近異常的數(shù)據(jù)實例。2）所有正常的實例都可以用一個判別器單類模型來概括。
方法：這是一類使用GAN的判別器作為one-class的基本模型。
優(yōu)點：1）端到端的方式。2）對抗技術(shù)的支撐。
缺點：1）受GAN性能的限制。2）半監(jiān)督場景的限制。
挑戰(zhàn)：CH1，2
代表算法
代碼
數(shù)據(jù)集
未來研究方向
- 探索新的，更有效的異常度量信號
- 建立從有限標記異常到未知異常的檢測模型，即泛化到異質(zhì)的異常。
- 利用大規(guī)模的正常樣本進行學習，從正常樣本中遷移微調(diào)。
- 復(fù)雜異常的檢測，多模態(tài)的異質(zhì)異常檢測。
- 異常判別的可解釋性
- 新場景：OOD檢測；好奇心學習；非獨立同分布場景。
