Deep learning：四十八(Contractive AutoEncoder簡(jiǎn)單理解)
Contractive autoencoder是autoencoder的一個(gè)變種，其實(shí)就是在autoencoder上加入了一個(gè)規(guī)則項(xiàng)，它簡(jiǎn)稱CAE（對(duì)應(yīng)中文翻譯為？）。通常情況下，對(duì)權(quán)值進(jìn)行懲罰后的autoencoder數(shù)學(xué)表達(dá)形式為：
這是直接對(duì)W的值進(jìn)行懲罰的，而今天要講的CAE其數(shù)學(xué)表達(dá)式同樣非常簡(jiǎn)單，如下：
其中的
然后求和，更具體的數(shù)學(xué)表達(dá)式為：
關(guān)于雅克比矩陣的介紹可參考雅克比矩陣&行列式——單純的矩陣和算子，關(guān)于F范數(shù)可參考我前面的博文Sparse coding中關(guān)于矩陣的范數(shù)求導(dǎo)中的內(nèi)容。
有了loss函數(shù)的表達(dá)式，采用常見(jiàn)的mini-batch隨機(jī)梯度下降法訓(xùn)練即可。
關(guān)于為什么contrative autoencoder效果這么好？paper中作者解釋了好幾頁(yè)，好吧，我真沒(méi)完全明白，希望懂的朋友能簡(jiǎn)單通俗的介紹下。下面是讀完文章中的一些理解：
好的特征表示大致有2個(gè)衡量標(biāo)準(zhǔn)：1. 可以很好的重構(gòu)出輸入數(shù)據(jù); 2.對(duì)輸入數(shù)據(jù)一定程度下的擾動(dòng)具有不變形。普通的autoencoder和sparse autoencoder主要是符合第一個(gè)標(biāo)準(zhǔn)。而deniose autoencoder和contractive autoencoder則主要體現(xiàn)在第二個(gè)。而作為分類任務(wù)來(lái)說(shuō)，第二個(gè)標(biāo)準(zhǔn)顯得更重要。
雅克比矩陣包含數(shù)據(jù)在各種方向上的信息，可以對(duì)雅克比矩陣進(jìn)行奇異值分解，同時(shí)畫出奇異值數(shù)目和奇異值的曲線圖，大的奇異值對(duì)應(yīng)著學(xué)習(xí)到的局部方向可允許的變化量，并且曲線越抖越好（這個(gè)圖沒(méi)看明白，所以這里的解釋基本上是直接翻譯原文中某些觀點(diǎn)）。
另一個(gè)曲線圖是contractive ratio圖，contractive ratio定義為：原空間中2個(gè)樣本直接的距離比上特征空間（指映射后的空間）中對(duì)應(yīng)2個(gè)樣本點(diǎn)之間的距離。某個(gè)點(diǎn)x處局部映射的contraction值是指該點(diǎn)處雅克比矩陣的F范數(shù)。按照作者的觀點(diǎn)，contractive ration曲線呈上升趨勢(shì)的話更好（why？），而CAE剛好符合。
總之Contractive autoencoder主要是抑制訓(xùn)練樣本（處在低維流形曲面上）在所有方向上的擾動(dòng)。
CAE的代碼可參考：pylearn2/cA.py
參考資料：
Contractive auto-encoders: Explicit invariance during feature extraction，Salah Rifai，Pascal Vincent，Xavier Muller，Xavier Glorot，Yoshua Bengio
