1.cnn 卷積神經網絡(圖像識別領域算法，避免前期復雜預處理，直接輸入原始圖像)

卷積神經網絡是近年發(fā)展起來，并引起廣泛重視的一種高效識別方法。20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經元時發(fā)現其獨特的網絡結構可以有效地降低反饋神經網絡的復雜性，繼而提出了卷積神經網絡（Convolutional Neural Networks-簡稱CNN）。現在，CNN已經成為眾多科學領域的研究熱點之一，特別是在模式分類領域，由于該網絡避免了對圖像的復雜前期預處理，可以直接輸入原始圖像，因而得到了更為廣泛的應用。 K.Fukushima在1980年提出的新識別機是卷積神經網絡的第一個實現網絡。隨后，更多的科研工作者對該網絡進行了改進。其中，具有代表性的研究成果是Alexander和Taylor提出的“改進認知機”，該方法綜合了各種改進方法的優(yōu)點并避免了耗時的誤差反向傳播。

一般地，CNN的基本結構包括兩層，其一為特征提取層，每個神經元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關系也隨之確定下來；其二是特征映射層，網絡的每個計算層由多個特征映射組成，每個特征映射是一個平面，平面上所有神經元的權值相等。特征映射結構采用影響函數核小的sigmoid函數作為卷積網絡的激活函數，使得特征映射具有位移不變性。此外，由于一個映射面上的神經元共享權值，因而減少了網絡自由參數的個數。卷積神經網絡中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結構減小了特征分辨率。

CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形，該部分功能主要由池化層實現。由于CNN的特征檢測層通過訓練數據進行學習，所以在使用CNN時，避免了顯式的特征抽取，而隱式地從訓練數據中進行學習；再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優(yōu)勢。卷積神經網絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。

2.RNN（定向連接成環(huán)的循環(huán)神經網絡，,語音識別，翻譯，圖片描述等）

循環(huán)神經網絡，Recurrent Neural Network。一種節(jié)點定向連接成環(huán)的人工神經網絡。

這種網絡的內部狀態(tài)可以展示動態(tài)時序行為。不同于前饋神經網絡的是，RNN可以利用它內部的記憶來處理任意時序的輸入序列，這讓它可以更容易處理如不分段的手寫識別、語音識別等。

應用 RNN 在語音識別，語言建模，翻譯，圖片描述等問題上已經取得一定成功

3.LSTM（Long Short-Term Memory）（時間序列回歸的預測，語音翻譯等，點擊率預測，股票，音樂等

是長短期記憶網絡，是一種時間遞歸神經網絡，也是一種經過改造的RNN適合于處理和預測時間序列中間隔和延遲相對較長的重要事件。

LSTM 已經在科技領域有了多種應用?；?LSTM 的系統(tǒng)可以學習翻譯語言、控制機器人、圖像分析、文檔摘要、語音識別圖像識別、手寫識別、控制聊天機器人、預測疾病、點擊率和股票、合成音樂等等任務

STM區(qū)別于RNN的地方，主要就在于它在算法中加入了一個判斷信息有用與否的“處理器”，這個處理器作用的結構被稱為cell。

一個cell當中被放置了三扇門，分別叫做輸入門、遺忘門和輸出門。一個信息進入LSTM的網絡當中，可以根據規(guī)則來判斷是否有用。只有符合算法認證的信息才會留下，不符的信息則通過遺忘門被遺忘。

說起來無非就是一進二出的工作原理，卻可以在反復運算下解決神經網絡中長期存在的大問題。目前已經證明，LSTM是解決長序依賴問題的有效技術，并且這種技術的普適性非常高，導致帶來的可能性變化非常多。各研究者根據LSTM紛紛提出了自己的變量版本，這就讓LSTM可以處理千變萬化的垂直問題。