深度學(xué)習(xí)是以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)的，神經(jīng)網(wǎng)絡(luò)是機器學(xué)習(xí)的一種算法。

關(guān)于機器學(xué)習(xí)中的神經(jīng)網(wǎng)絡(luò)：

機器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)1前向傳播

機器學(xué)習(xí)之神經(jīng)網(wǎng)絡(luò)2反向傳播

? ? 深度學(xué)習(xí)（DL）是機器學(xué)習(xí)中一種基于對數(shù)據(jù)進行表征學(xué)習(xí)的方法，是一種能夠模擬出人腦的神經(jīng)結(jié)構(gòu)的機器學(xué)習(xí)方法。深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。而人工神經(jīng)網(wǎng)絡(luò)ANN（ArTIficial Neural Network）是從信息處理角度對人腦神經(jīng)元網(wǎng)絡(luò)進行抽象，建立某種簡單模型，按不同的連接方式組成不同的網(wǎng)絡(luò)，簡稱為神經(jīng)網(wǎng)絡(luò)或類神經(jīng)網(wǎng)絡(luò)。因此，深度學(xué)習(xí)又叫深層神經(jīng)網(wǎng)絡(luò)DNN（Deep Neural Networks），是從之前的人工神經(jīng)網(wǎng)絡(luò)ANN模型發(fā)展而來的。

深度學(xué)習(xí)是機器學(xué)習(xí)研究中的一個新領(lǐng)域，其動機在于建立、模擬人腦進行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機制來解釋數(shù)據(jù)，比如圖像，聲音和文本等。深度學(xué)習(xí)，能讓計算機具有人一樣的智慧。

同機器學(xué)習(xí)方法一樣，深度機器學(xué)習(xí)方法也有監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之分．不同的學(xué)習(xí)框架下建立的學(xué)習(xí)模型很是不同．例如，卷積神經(jīng)網(wǎng)絡(luò)（ConvoluTIonalneural networks，簡稱CNNs）就是一種深度的監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型，而深度置信網(wǎng)（DeepBelief Nets，簡稱DBNs）就是一種無監(jiān)督學(xué)習(xí)下的機器學(xué)習(xí)模型。

討論深度學(xué)習(xí)，肯定會講到“深度（Depth）”一詞，“深度”即層數(shù)。從一個輸入中產(chǎn)生一個輸出所涉及的計算可以通過一個流向圖（flowgraph）來表示：流向圖是一種能夠表示計算的圖，在這種圖中每一個節(jié)點表示一個基本的計算以及一個計算的值，計算的結(jié)果被應(yīng)用到這個節(jié)點的子節(jié)點的值?？紤]這樣一個計算集合，它可以被允許在每一個節(jié)點和可能的圖結(jié)構(gòu)中，并定義了一個函數(shù)族。輸入節(jié)點沒有父節(jié)點，輸出節(jié)點沒有子節(jié)點。這種流向圖的一個特別屬性是深度（depth）：從一個輸入到一個輸出的最長路徑的長度。

深度超過8層的神經(jīng)網(wǎng)絡(luò)才叫深度學(xué)習(xí)。含多個隱層的多層學(xué)習(xí)模型是深度學(xué)習(xí)的架構(gòu)。深度學(xué)習(xí)可以通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。

深度學(xué)習(xí)的”深度“是指從”輸入層“到”輸出層“所經(jīng)歷層次的數(shù)目，即”隱藏層“的層數(shù)，層數(shù)越多，深度也越深。所以越是復(fù)雜的選擇問題，越需要深度的層次多。除了層數(shù)多外，每層”神經(jīng)元“－黃色小圓圈的數(shù)目也要多。例如，AlphaGo的策略網(wǎng)絡(luò)是13層，每一層的神經(jīng)元數(shù)量為192個。

深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)。

深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。深度學(xué)習(xí)強調(diào)了模型結(jié)構(gòu)的深度，突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。

深度學(xué)習(xí)是關(guān)于自動學(xué)習(xí)需要建模的數(shù)據(jù)潛在分布的多層表達的復(fù)雜算法。深度學(xué)習(xí)算法自動的提取分類需要的低層次或者高層次特征?？傊疃葘W(xué)習(xí)是用多層次的分析和計算手段，得到結(jié)果的一種方法。

深度學(xué)習(xí)的缺點：只能提供有限數(shù)據(jù)量的應(yīng)用場景下，深度學(xué)習(xí)算法不能夠?qū)?shù)據(jù)的規(guī)律進行無偏差的估計。為了達到很好的精度，需要大數(shù)據(jù)支撐。由于深度學(xué)習(xí)中圖模型的復(fù)雜化導(dǎo)致算法的時間復(fù)雜度急劇提升，為了保證算法的實時性，需要更高的并行編程技巧和更多更好的硬件支持。因此，只有一些經(jīng)濟實力比較強大的科研機構(gòu)或企業(yè)，才能夠用深度學(xué)習(xí)來做一些前沿而實用的應(yīng)用。

深度學(xué)習(xí)成功應(yīng)用于計算機視覺、語音識別、記憶網(wǎng)絡(luò)、自然語言處理等領(lǐng)域。