論文原文：
Evaluating the Robustness of Neural Networks: An Extreme Value Theory Approach
簡介:
本文主要提出了一種 不依賴于特定攻擊 (attack-agnostic) 的衡量模型魯棒性的一種方法。作者稱之為 CLEVER (Cross Lipschitz Extreme Value for nEtwork Robustness). 該方法特點如下:
- attack-agnostic
- 計算量合理，可應(yīng)用于大型深度學(xué)習(xí)網(wǎng)絡(luò)如 ImageNet
- 有比較強(qiáng)大的理論支持
- 利用local Lipschitz constant 來估計最短對抗距離的下邊界，并以此作為模型魯棒性的衡量。
關(guān)鍵部分：
利用 local Lipschitz constant 來估計最短對抗距離下邊界。并給出了理論證明。
利用 Extreme Value Theory 來估計需要求的 local Lipschitz constant，從而能夠高效的估計 L，并且可以使用估計得到的最短對抗距離作為模型魯棒性的度量。
一般來說，我們可以用BP算法計算偏導(dǎo)，但是要求利普希茨常數(shù)，我們要求半徑為R的求體內(nèi)的最大值。在低維的情況下，我們可以遍歷半徑為R球體內(nèi)的所有點，找到其中的最大值，但是當(dāng)緯度升高，計算量呈指數(shù)級增長，該方式就會變得不可計算。 論文中應(yīng)用 EXTREME VALUE THEORY 來估計高維情況下的局部利普希茨常數(shù)。 極值理論保證了隨機(jī)變量的最大值只能遵循三個極值分布中的一個，這對估計 L很有用，可以大幅減小遍歷范圍。
