目錄鏈接：吳恩達Deep Learning學習筆記目錄

?1.deep learning 實用層面
?2.優(yōu)化算法
?3.超參數(shù)調(diào)整
?4.多分類問題

1. deep learning實用層面

? 1.1 Bias and Variance

??為了加速模型的構(gòu)建，提高模型性能，在訓練模型時，一般將數(shù)據(jù)data劃分為訓練集、驗證集、和測試集，訓練集用于訓練模型內(nèi)的參數(shù)，如W，b；但還有許多超參數(shù)（learning rate、網(wǎng)絡結(jié)構(gòu)參數(shù)，激活函數(shù)選擇，正則化參數(shù)等）是人為設定的，需要通過驗證集來對這些超參數(shù)進行優(yōu)化，測試集用于評估模型的泛化能力。
??對于training、validation、test的劃分比例，在小量數(shù)據(jù)集上（如10000），可能是6：2：2的比例，但在大規(guī)模的數(shù)據(jù)集下（如1 million），如果按照這個比例來劃分，validation、test的數(shù)量太大，對于訓練數(shù)據(jù)資源來說是一種浪費，可能我們的劃分比例會是95：4：1，劃分數(shù)據(jù)集時，各數(shù)據(jù)集應該是同分布的。
??什么是偏差（Bias）和方差（Variance）呢？假設數(shù)據(jù)集如下圖所示，a）通過邏輯回歸擬合得到一條直線將兩類數(shù)據(jù)分開，將有許多數(shù)據(jù)被分類錯誤，這時候稱為欠擬合（outfitting），對應高偏差，如果夸張一些，模型預測出的結(jié)果可能和瞎猜差不多（50%概率），模型并沒有進行充分的訓練，所學習到的信息有限；b）則是一種較為合適的分類結(jié)果（假設數(shù)據(jù)分類即是如此），僅有少量的誤差；c）當擬合曲線極其曲折時，雖然它將所有訓練數(shù)據(jù)都分類正確，（假設數(shù)據(jù)真實分布按照b劃分），但用新的數(shù)據(jù)去進行預測的時候，很可能得到錯誤的結(jié)果（如圖中綠x），此時成為過擬合（overfitting），對應高偏差；d）采用曲線函數(shù)或更高次的函數(shù)，可能會出現(xiàn)這種情況，它處于欠擬合狀態(tài)，但其又將圖中兩個數(shù)據(jù)擬合正確，將會使得模型的偏差和方差都很高。

? 1.2 Basic recipe for machine learing

如何優(yōu)化模型？
? ? ①通過一個baseline訓練結(jié)束后，獲取到training error，如果偏差過高甚至無法擬合training，解決的方法一般為增加NN的規(guī)模（有作用，一般而言，只要模型足夠復雜，通常可以很好的擬合training）、花費更多的時間來訓練模型（不一定有用）、或者選擇其他NN（不一定有用）；
? ?②當偏差降低到可以接收的范圍，獲取validation error，當方差過高時，一般選擇增加訓練數(shù)據(jù)量（比較難，數(shù)據(jù)獲取不易）、采用正則化項（regularization）、修改模型
? ?③重復①②直到找到一個低偏差、低方差的模型。
? ?balance bias and variance：在機器學習的早期階段，基本沒有什么方法，可以在影響方差時而不影響偏差，影響偏差時而不影響方差，而在deep learning中，人們不太考慮偏差、方差平衡問題，因為增加數(shù)據(jù)規(guī)模、增加模型復雜度，在適當?shù)恼齽t下通常可以構(gòu)建一個較好的模型，增加數(shù)據(jù)規(guī)模，可以在減小方差的同時，對偏差影響較小。

? 1.3 Regularization

??Logistics Regression：
??L2正則：

? 1.4 Why regularization reduces overfitting

? ① 當λ設置到足夠大時，W將會被”壓縮“到足夠小，使得某些權(quán)值w約等于0，使得某些單元的影響減小，理解為簡化了網(wǎng)絡結(jié)構(gòu)（實際上隱藏單元還在），從而減小方差；
? ②當λ設置太小時，正則項將不起作用，所以λ需要設置一個合適的值。

? 此外，另一種理解方式是，當λ設置到足夠大時，W很小，對于激活函數(shù)而言，Z將被限制到0附近，在這個區(qū)域內(nèi)，激活函數(shù)近似于線性，激活函數(shù)就失去了其本該有的性質(zhì)，神經(jīng)網(wǎng)絡退變接近logistics回歸，從而欠擬合。

? 1.5 Dropout regularization

? ?Dropout策略會在每一隱藏層設置單元被保留和丟棄的概率，然后消除到這些節(jié)點的連線，最后得到一個簡化后的神經(jīng)網(wǎng)絡，對于每個樣本，都采用同一個簡化后神經(jīng)網(wǎng)絡來訓練。

d3 = np.random.rand(a3.shape[0], a3.shape[1]) < keep_prob
a3 = np.multiply(a3, d3)
a3 /= keep_prob

? ?dropout能夠提升模型性能的原因是：
? ?①在訓練過程中，每次被隨機消除的神經(jīng)元，其權(quán)重不進行更新但保存，可以理解為通過訓練不同的子網(wǎng)絡來對結(jié)果進行投票（隨機森林？），提升網(wǎng)絡的泛化能力；
? ?②由于每次訓練被消除的神經(jīng)元是隨機的，最后的輸出結(jié)果將對各個神經(jīng)元依賴程度減小，將權(quán)重分配到各神經(jīng)元較為”均勻“（雞蛋不要放在一個籃子里），起到類似于L2正則的效果。
? ?其缺點是，①增加了超參數(shù)的搜索量（每一層的keep_prob都不同），②明確定義的代價函數(shù)每次迭代都是下降的，添加dropout后代價函數(shù)不能再被明確定義，因為每次訓練的網(wǎng)絡都是隨機的，每次代價函數(shù)都不一樣，代價函數(shù)很難被計算出來。所以，計算代價函數(shù)時需要關(guān)閉dropout，然后再打開dropout，以確保代價函數(shù)單調(diào)遞減。

? 1.6 Other regularization methods

? ?①數(shù)據(jù)增強（data argumentation）：對于圖片，可以進行水平翻轉(zhuǎn)，隨機翻轉(zhuǎn)后裁剪；對于字符識別，可以通過隨機扭曲、翻轉(zhuǎn)、變形等；
? ?②early_stopping：繪制迭代次數(shù)與（training error、validation error）間關(guān)系圖，對于validation error一開始是下降的，到某次迭代后開始上升，early_stopping就是在這個epoch停止迭代訓練（如early_stopping=100，如發(fā)現(xiàn)本次loss相比上一次未降低，則再迭代100次后停止）。一般而言，代價函數(shù)、w、b參數(shù)是通過訓練（SGD、Adam等）來優(yōu)化，而過擬合問題又是通過超參數(shù)搜索（正則化、數(shù)據(jù)增強等）來解決，再進行正交，而early_stopping在同時優(yōu)化loss和降低方差兩個問題，所以其缺點是，可能會導致停止優(yōu)化loss后，loss的值沒有達到期望范圍內(nèi)，而同時又不希望過擬合。

? 1.7 Normalizing

??當特征尺度相差過大時，量級較大的特征在訓練過程中可能對于參數(shù)的影響較大，從而影響預測結(jié)果，標準化可以消除尺度上的差異，使各特征對于參數(shù)的影響相近；Normalizeing還可以避免數(shù)值問題，加速網(wǎng)絡收斂，分析參見神經(jīng)網(wǎng)絡為什么要歸一化。
??z-score 標準化：x = (x-μ) / σ，第一步均值化，第二步方差歸一化，測試集歸一化時所使用得μ和σ應與訓練集相同，而不是在兩個集合上分別計算μ和σ。

? 1.8 Vanishing/exploding gradients

??如下圖，為一個深層神經(jīng)網(wǎng)絡，假設激活函數(shù)為g(z)=z，假設每一層W>1，此時預測結(jié)果呈指數(shù)級增長，而W<1時，預測結(jié)果呈指數(shù)級遞減，同理W的梯度也呈現(xiàn)相同的趨勢，導致梯度變得極大或極小，這被稱為梯度消失（彌散）和梯度爆炸，導致網(wǎng)絡難以收斂。參見梯度消失和梯度爆炸原因及其解決方案。

? 1.9 Weight initialization

??既然神經(jīng)網(wǎng)絡容易出現(xiàn)梯度消失和梯度爆炸問題，那么權(quán)重W的初始化顯得較為重要，否則可能導致無法收斂。為避免這個兩個問題，Xavier Glorot在論文中指出兩個經(jīng)驗性的準則：①每一層神經(jīng)元的激活值的均值要保持為0；②每一層激活值得方差保持不變（反向傳播，梯度值方差保持不變），則（激活函數(shù)為tanh）權(quán)值W^l要滿足：

? 1.10 Gradients checking

??（2）梯度檢驗

2. 優(yōu)化算法

?2.1 Mini-batch 梯度下降法

??機器學習是一個極其依賴經(jīng)驗的過程，需要多次的迭代，訓練多個模型才能找到合適的那一個。Deep leraning雖然可以用大量級數(shù)據(jù)來訓練，但其訓練速度很慢，優(yōu)化后的快速算法能夠大大提高效率。

for  t in range(5000):
      forword propagate on X{t} #X{t}指第t個mini-batch，此時同時處理1000個樣本
      compute cost J{t}
      backword propagate
      update gradients

??①當batch_size = m 時，即為Batch gradient，梯度下降時較為平滑，其缺點是每個epoch的時間過長；

?2.2 指數(shù)加權(quán)移動平均（EWMA）

??（1）指數(shù)加權(quán)移動平均（EWMA）

?2.3 Momentum梯度下降法

for t in range(num_mini_batch):
        compute dW,db # all samples in mini_batch
        Vdw = β Vdw + (1 - β) dW
        Vdb = β Vdb + (1 -β) db

        W = W - α Vdw
        b = b - α Vdb
""" 
注：此時以t做為時刻，即計算t時刻的梯度的EWMA值，而不是計算前幾層dw來計算當前層dw的EWMA值。
t:0-t,則dW：dW0，dW1，...，dWt，計算前幾次迭代的梯度的EWMA代替梯度來更新W
"""

??在平均過程中，縱軸上正負數(shù)相互抵消，所以平均數(shù)接近于0，減小了縱軸上的擺動；或者說，如果將梯度分開來看，在下降時，下降的方向分解到橫軸和縱軸，在縱軸上是相反方向，但在橫軸上是相同方向，計算當前迭代次數(shù)時的梯度下降方向時，將前幾次梯度下降乘上了不用同的權(quán)重參與到當前梯度計算，那么，此時的梯度在橫軸上將獲得前幾次梯度的下降累加，縱軸方向上的梯度出現(xiàn)了抵消，從而使得當前梯度擺動減小。
??一般而言β取0.9，就可以達到不錯的效果，而且在實際應用中不對公式進行偏差修正，因為10次迭代后，EWMA已經(jīng)過了初始階段，不再是一個具有偏差的值，而迭代次數(shù)往往大于10。有的文章里，將(1 - β)去掉，得到 Vdw = βVdw + dW，這樣的結(jié)果就是相當于Vdw縮小了(1 - β)倍，其缺點是，如果你調(diào)整了β，那么α也要被調(diào)整。

?2.4 RMSprop (root mean square prop)

for t in range(num_mini_batch):
        compute dW,db # all samples in mini_batch
        Sdw = β Sdw + (1 - β) (dW)^2
        Sdb = β Sdb + (1 -β) (db)^2

        W = W - α dw/(ε+√Sdw)
        b = b - α db/(ε+√Sdb)
"""√：表示開方"""

??RMSprop（綠線）與Momentum（紅線）的區(qū)別是，在計算EWMA值時將dW放大，計算EWMA值得結(jié)果就是，相對而言，在某個維度方向上的梯度dW較大時，說明此時擺動幅度較大，梯度更新時除以一個較大的值可以減緩這一維度梯度下降的幅度；而當某個維度梯度dW較小時，能基本保持其下降幅度，以此來消除擺動。此外，梯度更新時分母上增加ε是為了避免數(shù)值問題（Sdw出現(xiàn)0時）。

?2.5 Adam optimization

??Adam結(jié)合了Momentum和RMSprop

?2.6 Learning rate decay

?2.7 The problem of local optima

??在Deep learning早期，人們往往擔心，優(yōu)化算法會陷在極差的局部最優(yōu)解，但隨著研究的深入，人們對局部最優(yōu)解有了新的認識。

3. 超參數(shù)調(diào)整

?3.1 Hyperparameters

（1）超參數(shù)搜索策略
??超參數(shù)調(diào)整是Deep learning的難點之一，你需要調(diào)整大量的超參數(shù)，如learning_rate、Momentum的β，Adam的β₁ β₂ ε、網(wǎng)絡層數(shù)、單元數(shù)、learning_rate衰減參數(shù)、batch size等等。但其中一些參數(shù)相對而言會更為重要，比如learning_rate，其次batch size、β、單元數(shù)，再次網(wǎng)絡層數(shù)、learning_rate衰減參數(shù)。
??較早的參數(shù)調(diào)整中，使用的搜索方法是網(wǎng)格搜索，當參數(shù)量很少的時，這個方法很實用。但在Deep learning中，一般在參數(shù)范圍內(nèi)取隨機點，這樣做的原因是，你很難確定哪一些超參數(shù)會比其他參數(shù)更重要。如下圖，總的搜索點都是25個，如果采用傳統(tǒng)的網(wǎng)格搜索，那么一個參數(shù)只搜索了5次獨立的值，而在隨機網(wǎng)格搜索中，一個每個參數(shù)維度都搜索了25次獨立的值，而此時計算量并未增加，這樣找到效果最好的值的概率似乎更大一些。

?3.2 Batch Normalization

（1）歸一化激活函數(shù)輸入值Z
??Batch Normalization能夠使得超參數(shù)搜索變得更加容易，使神經(jīng)網(wǎng)絡對超參數(shù)得選擇更加穩(wěn)定，超參數(shù)得范圍更大，效果更好，也會使得深層網(wǎng)絡得訓練更容易。
??對于單層網(wǎng)絡，進行歸一化X = (X - μ) / σ后，使得各個維度的數(shù)據(jù)量級相近，也就是是”扁平“的數(shù)據(jù)變得”圓潤“，這樣得好處是梯度下降算法表現(xiàn)更好，收斂速度更快。那么問題來了，對于深層網(wǎng)絡，僅僅將輸入數(shù)據(jù)X進行歸一化，那么，經(jīng)過多層傳導后輸出得A是否還是”圓潤“得呢？大概率會不再”圓潤“，那么對每一層輸出A都進行歸一化以加速訓練呢？實際上，在應用中通常是對Z進行歸一化，再輸入給激活函數(shù)（為啥是Z不是A，A不服氣）。

4. 多分類問題

?4.1 Softmax regression

??emm...閱圖理解。