今天讓我們來(lái)看一下深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)里邊的自編碼.

其實(shí)自編碼嚴(yán)格來(lái)說(shuō)不能算作是深度學(xué)習(xí)的內(nèi)容,我們?cè)谥暗臋C(jī)器學(xué)習(xí)算法中也了解到自編碼,并且我們會(huì)通過(guò)一個(gè)簡(jiǎn)單的例子來(lái)去說(shuō)說(shuō)自編碼的理解.

首先，我們聽(tīng)到自編碼，一定會(huì)想到，AutoEncoder會(huì)是個(gè)什么碼呢？是條形碼，二維碼 NO.NO.NO，和他們都沒(méi)有關(guān)系，其實(shí)自編碼是一種神經(jīng)網(wǎng)絡(luò)形式.

現(xiàn)在我們先構(gòu)架一個(gè)神經(jīng)網(wǎng)絡(luò)模型，這個(gè)模型是收集一張圖片，接受這個(gè)圖片后，神經(jīng)網(wǎng)絡(luò)給這個(gè)圖片壓縮，最后再?gòu)膲嚎s的圖片中還原，是不是感覺(jué)有點(diǎn)抽象，其實(shí)我也覺(jué)得這樣的解釋不太恰當(dāng)，那就讓我們更加的具體一點(diǎn)來(lái)深入了解下這個(gè)自編碼。

現(xiàn)在假設(shè)我們剛才構(gòu)建的模型是這個(gè)樣子，我們可以從圖片中看出來(lái)，我們剛才上傳給自編碼模型的圖片實(shí)質(zhì)上是經(jīng)過(guò)壓縮以后再進(jìn)行解壓的一個(gè)過(guò)程。當(dāng)壓縮的時(shí)候，原有的圖片的質(zhì)量被縮減(降維)，解壓的時(shí)候，用信息量小卻包含了所有信息的文件來(lái)恢復(fù)出原來(lái)的圖片(還原)。

那么，為什么要這么做呢？當(dāng)神經(jīng)網(wǎng)絡(luò)要輸入大量的信息，比如高清圖片的時(shí)候，輸入的圖像數(shù)量可以達(dá)到上千萬(wàn)，要神經(jīng)網(wǎng)絡(luò)直接從輸入的數(shù)據(jù)量中進(jìn)行學(xué)習(xí)，是一件非常費(fèi)力不討好的工作，因此我們就想，為什么不壓縮一下呢？提取出原圖片中最具有代表性的信息，縮減輸入中的信息量，然后在把縮減過(guò)后的信息放入到神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)，這樣學(xué)習(xí)起來(lái)就變得輕松了，所以自編碼就是能在這個(gè)時(shí)候發(fā)揮作用，現(xiàn)在我們假設(shè)從上圖中的輸入層中的信息A解壓縮到隱含層中得到a,然后用隱含層的a和輸入層的A進(jìn)行對(duì)比，得到預(yù)測(cè)誤差，再進(jìn)行反向傳遞，然后逐步的提高自編碼的準(zhǔn)確率，訓(xùn)練一段時(shí)間后在中間隱含層獲得的一個(gè)部分的數(shù)據(jù)a就是源數(shù)據(jù)的精髓，可以從上面那個(gè)模型看出，從頭到尾，我們只用到了這個(gè)輸入的信息A，并沒(méi)有用到數(shù)據(jù)A所對(duì)應(yīng)的數(shù)據(jù)標(biāo)簽，所以我們這時(shí)候可以得出結(jié)論，自編碼是一種非監(jiān)督學(xué)習(xí)，通常我們?cè)谑褂米跃幋a的時(shí)候通常只會(huì)使用自編碼的前半部分，這個(gè)部分也叫作EnCode,編碼器，編碼器可以得到源數(shù)據(jù)的精髓,如下圖所示:

然后我們只需要在創(chuàng)建一個(gè)小的神經(jīng)網(wǎng)絡(luò)模型再去學(xué)習(xí)這個(gè)精髓中的數(shù)據(jù)，不僅可以減少神經(jīng)網(wǎng)絡(luò)的負(fù)擔(dān)，并且同樣可以達(dá)到一個(gè)很好的效果。

同樣的如果我們通過(guò)自編碼整理數(shù)據(jù)，他能從各種數(shù)據(jù)中篩選總結(jié)出各種數(shù)據(jù)的特征，如果把這個(gè)圖片的類型特征都整理好放到一個(gè)圖片上，那么數(shù)據(jù)類型都可以很好的用源數(shù)據(jù)的類型區(qū)分出來(lái)，如果你了解PCA主成分分析，自編碼的功能和他類似，甚至在某些部分超出了PCA,換句話說(shuō)，自編碼可以和PCA一樣可以給特殊屬性降維.

而下一篇文章,我們來(lái)說(shuō)一說(shuō)稀疏自編碼,當(dāng)我們給隱藏神經(jīng)元加入稀疏性限制，那么自編碼神經(jīng)網(wǎng)絡(luò)即使在隱藏神經(jīng)元數(shù)量較多的情況下仍然可以發(fā)現(xiàn)輸入數(shù)據(jù)中一些有趣的結(jié)構(gòu)。

祝大家五一快樂(lè),玩的開(kāi)心(*^▽^*)