定制化對(duì)抗訓(xùn)練Customized Adversarial Training

CAT: Customized Adversarial Training for Improved Robustness
Minhao Cheng, Qi Lei, Pin-Yu Chen, Inderjit Dhillon, Cho-Jui Hsieh
arXiv preprint arXiv:2002.06789

作者提出定制化對(duì)抗訓(xùn)練（Customized Adversarial Training, CAT），通過解決\epsilon和one-hot的問題改善對(duì)抗訓(xùn)練。

  • Auto-tuning \epsilon for adversarial training
    \epsilon的問題：不應(yīng)該為每個(gè)樣本分配相同的較大的\epsilon。一些樣本與決策邊界非常近，他們應(yīng)該使用較小的\epsilon，否則對(duì)抗訓(xùn)練將放棄這些樣本。
    解決方案：在訓(xùn)練過程中為每個(gè)樣本x_i分配一個(gè)合適的?_i
    \epsilon_{i}=\underset{\epsilon}{\operatorname{argmin}}\left\{\max _{\boldsymbol{x}_{i}^{\prime} \in \mathcal{B}\left(\boldsymbol{x}_{i}, \epsilon\right)} f_{\theta}\left(\boldsymbol{x}_{i}^{\prime}\right) \neq y_{i}\right\}
  • Adaptive label uncertainty for adversarial training
    One-hot的問題：對(duì)抗訓(xùn)練的損失促使預(yù)測(cè)匹配one-hot label（例如，二分類的[1, 0]）。如果一個(gè)樣本被擾動(dòng)，則預(yù)測(cè)不應(yīng)該保持one-hot。例如，如果一個(gè)樣本被干擾到?jīng)Q策邊界上，那么預(yù)測(cè)應(yīng)該為[0.5, 0.5]，而不是[1, 0]。
    解決方案：adaptive label smoothing。給定one-hot標(biāo)簽y，對(duì)其做平滑
    \tilde{y}=(1-\alpha) y+\alpha u
    其中，\alpha \in[0,1]。設(shè)\alpha=c*\epsilon_i，u=Dirichlet(1)，則
    \tilde{y}_{i}=\left(1-c \epsilon_{i}\right) y_{i}+c \epsilon_{i} Dirichlet (1)
  • the final objective function
    \min _{\theta} \frac{1}{n} \sum_{i=1}^{n} \max _{\boldsymbol{x}_{i}^{\prime} \in \mathcal{B}\left(\boldsymbol{x}_{i}, \epsilon_{i}\right)} \ell\left(f_{\theta}\left(\boldsymbol{x}_{i}^{\prime}\right), \tilde{y}_{i}\right)
    s.t. \epsilon_{i}=\underset{\boldsymbol{\epsilon}}{\operatorname{argmin}}\left\{\max _{\boldsymbol{x}_{i}^{\prime} \in \mathcal{B}\left(\boldsymbol{x}_{i}, \epsilon\right)} f_{\theta}\left(\boldsymbol{x}_{i}^{\prime}\right) \neq y_{i}\right\}
  • CAT algorithm
    CAT algorithm
最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

友情鏈接更多精彩內(nèi)容