Basic concept:
Deep Learning is a new area of machine learning research, which has been introduced with the objective of moving machine learning closer to one of its original goals: artificial intelligence[1].
背景
在技術(shù)手段上，不僅依賴于云計算對于大數(shù)據(jù)的并行處理能力，還更依賴于算法。而這個算法就是Deep Learning，通過Deep Learning使得在處理“抽象概念”變得可能。其別名稱為：Unspervised Feature Learning。
2012年6月Stanford Prof. Andrew Ng通過（DNN，Deep Neural Networks）機器學(xué)習(xí)模型-其內(nèi)部大約有10億個節(jié)點-在語音識別和圖像處理等領(lǐng)域取得了巨大成功。他們的做法是通過把海量的數(shù)據(jù)投放到算法中，讓數(shù)據(jù)自己說話，系統(tǒng)會從數(shù)據(jù)中學(xué)習(xí)。系統(tǒng)能夠自動的領(lǐng)悟一些抽象的知識。抽象，迭代
2013年1月百度研究院成立，其下屬第一個成立的就是“深度學(xué)習(xí)研究院（IDL, Institute of Deep Learning）”。
數(shù)據(jù)資源+云計算（硬件）+算法（軟件） 數(shù)據(jù)池->特征提取表達->DL
學(xué)術(shù)觀點
- 多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；
- 深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wise pre-training）來有效克服，逐層初始化是通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。（多層的好處是可以用較少的參數(shù)表示復(fù)雜的函數(shù)）。
- 深度學(xué)習(xí)的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性。因此，“深度模型”是手段，“特征學(xué)習(xí)”是目的。
特征學(xué)習(xí)，將樣本在原空間的特征表示變換到另一個新特征空間，使分類或預(yù)測更容易。
Deep Learning可以看作是Neural Network的發(fā)展。它們之間很多相同的地方，但是也有很多不同的地方。兩者相同地方：
- 采用分層結(jié)構(gòu)，包括輸入層，隱層，輸出層組成的多層網(wǎng)絡(luò)；
- 只有鄰層節(jié)點之間有連接，同一層及跨層節(jié)點之間無連接；
- 每一個節(jié)點可以看作為一個logistic regression 模型；
Hinton、Bengio、Yann.lecun等提出了一個可行的Deep Learning框架。采用是一個layer-wise的訓(xùn)練機制，相比Back propagation其殘差傳至最前層已經(jīng)變得很小，出現(xiàn)了 gradient diffusion（梯度擴散）。
Contact : leland17
Wechat：le9dbadb
