Is Robustness the Cost of Accuracy 讀書(shū)報(bào)告
論文鏈接：https://arxiv.org/abs/1808.01688v1
源代碼地址：https://github.com/huanzhang12/Adversarial_Survey
簡(jiǎn)介
在圖像分類領(lǐng)域，深度學(xué)習(xí)模型已經(jīng)得到了廣泛的應(yīng)用，并且取得了卓越的性能。分類的準(zhǔn)確度長(zhǎng)期以來(lái)都是評(píng)價(jià)圖像分類模型性能的最核心甚至唯一標(biāo)準(zhǔn)。但最近研究表明，即使是充分訓(xùn)練好的深度神經(jīng)網(wǎng)絡(luò)模型也很容易被對(duì)抗攻擊算法攻破。所以模型的魯棒性應(yīng)該作為除了準(zhǔn)確率之外的另一個(gè)重要的指標(biāo)
由此就有一個(gè)重要的命題被提出了：模型的準(zhǔn)確性和魯棒性之間是否存在關(guān)聯(lián)？會(huì)有什么樣的關(guān)聯(lián)？這也是本論文重點(diǎn)關(guān)注的問(wèn)題。
研究?jī)?nèi)容
論文中選取了基于 ImageNet 的 18 個(gè)模型進(jìn)行具體的實(shí)驗(yàn)，用于評(píng)估這些模型的魯棒性以及與準(zhǔn)確率之間的關(guān)系。
模型魯棒性的評(píng)估
為了合理的衡量模型的魯棒性，總體上使用兩種方式來(lái)進(jìn)行評(píng)估。
- adversarial attacks
- attack-agnostic approaches
第一種方式就是選取某種特定的對(duì)抗攻擊方式，如 FGSM, C&W 等，對(duì)模型進(jìn)行攻擊，然后找出其最小的攻擊擾動(dòng)大小，從而計(jì)算得到最小的對(duì)抗距離。這種方法是對(duì)模型魯棒性的上邊界的估計(jì)。
第二種方法采用一種更加泛化的方式對(duì)模型本身的魯棒性進(jìn)行評(píng)估，而不依賴于特定攻擊。本文中使用的就是 CLEVER score。該方法基于局部利普希茲常數(shù)和極值定理對(duì)模型魯棒性下邊界進(jìn)行估計(jì)。
魯棒性評(píng)估的相關(guān)指標(biāo)
- Attack success rate 攻擊成功率
- Distortion 攻擊擾動(dòng)大小
- CLEVER score
- Transferability 攻擊的遷移性
這里具體闡述一下論文中這些指標(biāo)的測(cè)量方式。
首先攻擊成功率是通過(guò)利用多種對(duì)抗攻擊方式，并且限制攻擊中擾動(dòng)參數(shù)的大小來(lái)實(shí)現(xiàn)的。比如使用 FGSM，顯示其擾動(dòng)大小參數(shù)為 0.1 0.2 0.5 從而可以分別得到不同擾動(dòng)范圍下的攻擊成功率。
攻擊擾動(dòng)大小指的就是成功實(shí)現(xiàn)某一攻擊所需要的擾動(dòng)的大小。其中使用 l2 和 l-infinite 參數(shù)作為距離的衡量。在擾動(dòng)大小評(píng)估中，使得對(duì)抗攻擊能夠 100% 成功，并且通過(guò)二分搜索的方法找到最小的擾動(dòng)參數(shù)的限制。
而對(duì)于對(duì)抗樣本的遷移性的，文中使用各模型生成的對(duì)抗樣本去分別攻擊其他模型從而得到每一種模型對(duì)于遷移攻擊的抵抗性和適應(yīng)能力。
實(shí)驗(yàn)結(jié)果
這里截取部分代表性的圖表展示。包括攻擊成功率，攻擊擾動(dòng)大小，以及模型遷移性的一些分析。
結(jié)論
通過(guò)對(duì)這18個(gè)模型的大量實(shí)驗(yàn)和分析，可以得到以下幾個(gè)重要結(jié)論：
- 生成對(duì)抗樣本的擾動(dòng)大小與模型分類錯(cuò)誤率的對(duì)數(shù)值呈線性關(guān)系。由此可以說(shuō)明模型的魯棒性是提升模型性能時(shí)必須加以考量的一個(gè)指標(biāo)。
- 模型結(jié)構(gòu)比模型的大小對(duì)魯棒性的影響更大
- 論文研究了對(duì)抗樣本的遷移性，發(fā)現(xiàn) VGG 生成的對(duì)抗樣本的遷移性較好，而其他的模型生成的對(duì)抗樣本基本只適用于同類的網(wǎng)絡(luò)。
總結(jié)
本文最大的貢獻(xiàn)應(yīng)該是對(duì)大量的DNN模型做了大量的實(shí)驗(yàn)，并且對(duì)準(zhǔn)確率和魯棒性之間的關(guān)系進(jìn)行了探究，這是之前未曾有人做過(guò)的。
