《dlbook》深度學(xué)習(xí)系列——前言
本系列筆記主要針對(duì)Github 上這本有關(guān)深度學(xué)習(xí)的書——《deep learning book》相關(guān)的讀書筆記。針對(duì)當(dāng)前熱門的深度學(xué)習(xí)做一個(gè)基本的梳理，感興趣的朋友可以看看！
本書的章節(jié)安排結(jié)構(gòu)如下
人工智能
人工智能(AI) 是一個(gè)具有許多實(shí)際應(yīng)用和活躍研究課題的領(lǐng)域，并蓬勃發(fā)展著。我們指望通過(guò)智能軟件自動(dòng)化處理常規(guī)勞動(dòng)、理解語(yǔ)音或圖像、幫助醫(yī)學(xué)診斷和支持基礎(chǔ)科學(xué)研究。
機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)(Machine Learning) 是指AI系統(tǒng)具有自己獲取知識(shí)的能力，即從原始數(shù)據(jù)中提取模式的能力。
引入機(jī)器學(xué)習(xí)使計(jì)算機(jī)可以解決設(shè)計(jì)現(xiàn)實(shí)世界知識(shí)的問(wèn)題，并能做出看似“主觀”的決策。
常見(jiàn)的機(jī)器學(xué)習(xí)算法包括邏輯回歸(Logistics Regression) 、 樸素貝葉斯(Navie Bayes) 等... 這些機(jī)器學(xué)習(xí)算法的性能很大程度上依賴于給定數(shù)據(jù)的表示(Representation) 。
? 上圖就是一個(gè)簡(jiǎn)單的可視化例子，左圖是數(shù)據(jù)在笛卡爾坐標(biāo)系中的表示，右邊是數(shù)據(jù)在極坐標(biāo)中的表示。
? 但是我們很難知道應(yīng)該提取哪些特征。例如，我們編寫一個(gè)識(shí)別程序來(lái)檢測(cè)照片中的車輛，我們想用車輪的存在作為特征，不幸的是，我們很難準(zhǔn)確地從像素值的角度描述一個(gè)車輪看起來(lái)如何。車輪有簡(jiǎn)單的幾何形狀，但它的圖像可以因?yàn)榄h(huán)境變得很復(fù)雜，如落在車輪上的陰影、太陽(yáng)照亮的車輪金屬零件、汽車擋泥板或遮擋的前景物體等。
表示學(xué)習(xí)
? 解決這個(gè)問(wèn)題的一個(gè)途徑就是用機(jī)器學(xué)習(xí)來(lái)發(fā)現(xiàn)表示本身，而不僅僅把表示映射到輸出。這種學(xué)習(xí)方法被稱為表示學(xué)習(xí)(Representation Learning) 。學(xué)習(xí)到的往往獲得比手動(dòng)設(shè)計(jì)的表示更好的性能。并且它們只需最少的人工干預(yù), 就能讓AI系統(tǒng)迅速適應(yīng)新的任務(wù)。表示學(xué)習(xí)算法只需幾分鐘就可以為簡(jiǎn)單的任務(wù)發(fā)現(xiàn)一個(gè)很好的特征集，對(duì)于復(fù)雜任務(wù)則需要幾小時(shí)到幾個(gè)月。手動(dòng)為一個(gè)復(fù)雜的任務(wù)設(shè)計(jì)特征需要耗費(fèi)大量的人工時(shí)間和精力；甚至需要花費(fèi)整個(gè)社群研究人員幾十年時(shí)間。
自動(dòng)編碼器
? 一個(gè)典型的表示學(xué)習(xí)的例子就是自動(dòng)編碼器(autoencoder) 。自動(dòng)編碼器是組合了將輸入轉(zhuǎn)換到不同表示編碼器(encoder) 函數(shù)和將新的表示轉(zhuǎn)回原來(lái)形式的解碼器(decoder) 函數(shù)。
? 自動(dòng)編碼器的目標(biāo)是輸入經(jīng)過(guò)編碼器和解碼器之后盡可能多的保留信息，同時(shí)希望新的表示有各種好的屬性。 不同種類的自動(dòng)編碼器的目標(biāo)是實(shí)現(xiàn)不同種類的屬性。
下圖是一個(gè)自動(dòng)編碼器的示例：
如上圖，將input 輸入一個(gè)encoder 編碼器，就會(huì)得到一個(gè)code，這個(gè)code 就是輸入的一個(gè)表示，那么我們?cè)趺粗肋@個(gè)code 的表示就是輸入input 呢？這時(shí)候我們加一個(gè)decoder 解碼器，這時(shí)候解碼器就會(huì)輸出一個(gè)信息，那么如果這個(gè)輸出信息和一開始的輸入信號(hào)input很相似(理想情況一樣)，那么很明顯，我們就有理由相信這個(gè)code是input的一個(gè)靠譜的表示。所以通過(guò)調(diào)整encoder 和decoder 的參數(shù)，使得重構(gòu)誤差最小，這時(shí)我們就得到輸入信號(hào)input 的第一個(gè)表示了，也就是編碼code 。因?yàn)槭褂玫氖菬o(wú)標(biāo)簽數(shù)據(jù)學(xué)習(xí)，所以誤差的來(lái)源就是直接重構(gòu)后與原輸入相比得到。
? 然而現(xiàn)實(shí)世界中從原始數(shù)據(jù)中提取高層次、抽象的特征是非常困難的。 深度學(xué)習(xí)(Deep Learning)通過(guò)其他較簡(jiǎn)單的表示來(lái)表達(dá)復(fù)雜表示，解決了表示學(xué)習(xí)中核心問(wèn)題 。
深度學(xué)習(xí)
? 深度學(xué)習(xí)讓計(jì)算機(jī)通過(guò)較簡(jiǎn)單概念構(gòu)建復(fù)雜的概念。下圖顯示了深度學(xué)習(xí)系統(tǒng)通過(guò)組合較簡(jiǎn)單的概念，例如轉(zhuǎn)角和輪廓，轉(zhuǎn)而定義邊緣來(lái)表示圖像中一個(gè)人的概念。深度學(xué)習(xí)模型的典型例子是前饋深度網(wǎng)絡(luò)或多層感知機(jī)(MLP)。多層感知機(jī)僅僅是一個(gè)將一組輸入值映射到輸出的數(shù)學(xué)函數(shù)。該函數(shù)由許多較簡(jiǎn)單的函數(shù)組合而構(gòu)成。我們可以認(rèn)為每個(gè)應(yīng)用具有不同的數(shù)學(xué)函數(shù)，并為輸入提供新的表示。
學(xué)習(xí)數(shù)據(jù)的正確表示的想法是深度學(xué)習(xí)的一個(gè)觀點(diǎn)。另一個(gè)觀點(diǎn)是深度允許計(jì)算機(jī)學(xué)習(xí)一個(gè)多步驟的計(jì)算機(jī)程序。
上圖顯示了語(yǔ)言的選擇澤陽(yáng)給相同的兩個(gè)架構(gòu)兩個(gè)不同的衡量。
總結(jié)
總之，這本書的主題是——深度學(xué)習(xí)是AI的途徑之一。具體地講，它是機(jī)器學(xué)習(xí)地一種，一種允許計(jì)算機(jī)系統(tǒng)能從經(jīng)驗(yàn)和數(shù)據(jù)中得到提高地技術(shù)。
本書主張機(jī)器學(xué)習(xí)是構(gòu)建能在復(fù)雜實(shí)際環(huán)境下運(yùn)行的AI系統(tǒng)的唯一可行方法。深度學(xué)習(xí)是一種特定類型的機(jī)器學(xué)習(xí)，通過(guò)將世界表示為由較簡(jiǎn)單概念定義復(fù)雜概念，從一般抽象到高級(jí)抽象的嵌套概念體系獲得極大的能力和靈活性。
下圖說(shuō)明了這些不同地AI 學(xué)科之間地關(guān)系
下圖給出了每個(gè)學(xué)科如何工作地一個(gè)高層次原理
