正則化方法：防止過擬合、提高泛化能力
????????在訓(xùn)練數(shù)據(jù)不夠時，或 者overtraining時，常常會導(dǎo)致overfitting（過擬合）。其直觀的表現(xiàn)如下圖所示，隨著訓(xùn)練過程的進(jìn)行，模型復(fù)雜度增加，在training data上的error漸漸減小，但是在驗證集上的error卻反而漸漸增大——因為訓(xùn)練出來的網(wǎng)絡(luò)過擬合了訓(xùn)練集，對訓(xùn)練集外的數(shù)據(jù)卻不work。
????????為了防止overfitting，可以用的方法有很多，下文就將以此展開。有一個概念需要先說明，在機器學(xué)習(xí)算法中，我們常常將原始數(shù)據(jù)集分為三部分：training data、validation data，testing data。這個validation data是什么？它其實就是用來避免過擬合的，在訓(xùn)練過程中，我們通常用它來確定一些超參數(shù)（比如根據(jù)validation data上的accuracy來確定early stopping的epoch大小、根據(jù)validation data確定learning rate等等）。那為啥不直接在testing data上做這些呢？因為如果在testing data做這些，那么隨著訓(xùn)練的進(jìn)行，我們的網(wǎng)絡(luò)實際上就是在一點一點地overfitting我們的testing data，導(dǎo)致最后得到的testing accuracy沒有任何參考意義。因此，training data的作用是計算梯度更新權(quán)重，validation data如上所述，testing data則給出一個accuracy以判斷網(wǎng)絡(luò)的好壞。
避免過擬合的方法有很多：early stopping、數(shù)據(jù)集擴增（Data augmentation）、正則化（Regularization）包括L1、L2（L2 regularization也叫weight decay），dropout。
L2、 regularization（權(quán)重衰減）
????????C0代表原始的代價函數(shù)，后面那一項就是L2正則化項，它是這樣來的：所有參數(shù)w的平方的和，除以訓(xùn)練集的樣本大小n。λ就是正則項系數(shù)，權(quán)衡正則項與C0項的比重。另外還有一個系數(shù)1/2，1/2經(jīng)常會看到，主要是為了后面求導(dǎo)的結(jié)果方便，后面那一項求導(dǎo)會產(chǎn)生一個2，與1/2相乘剛好湊整。
L2正則化項避免overfitting
????????對比上面w的更新公式，可以發(fā)現(xiàn)后面那一項變了，變成所有導(dǎo)數(shù)加和，乘以η再除以m，m是一個mini-batch中樣本的個數(shù)。
????????過擬合的時候，擬合函數(shù)的系數(shù)往往非常大，為什么？如下圖所示，過擬合，就是擬合函數(shù)需要顧忌每一個點，最終形成的擬合函數(shù)波動很大。在某些很小的區(qū)間里，函數(shù)值的變化很劇烈。這就意味著函數(shù)在某些小區(qū)間里的導(dǎo)數(shù)值（絕對值）非常大，由于自變量值可大可小，所以只有系數(shù)足夠大，才能保證導(dǎo)數(shù)值很大。
????????比原始的更新規(guī)則多出了η * λ * sgn(w)/n這一項。當(dāng)w為正時，更新后的w變小。當(dāng)w為負(fù)時，更新后的w變大——因此它的效果就是讓w往0靠，使網(wǎng)絡(luò)中的權(quán)重盡可能為0，也就相當(dāng)于減小了網(wǎng)絡(luò)復(fù)雜度，防止過擬合。
????????另外，上面沒有提到一個問題，當(dāng)w為0時怎么辦？當(dāng)w等于0時，|W|是不可導(dǎo)的，所以我們只能按照原始的未經(jīng)正則化的方法去更新w，這就相當(dāng)于去掉η*λ*sgn(w)/n這一項，所以我們可以規(guī)定sgn(0)=0，這樣就把w=0的情況也統(tǒng)一進(jìn)來了。（在編程的時候，令sgn(0)=0,sgn(w>0)=1,sgn(w<0)=-1）
Dropout
L1、L2正則化是通過修改代價函數(shù)來實現(xiàn)的，而Dropout則是通過修改神經(jīng)網(wǎng)絡(luò)本身來實現(xiàn)的，它是在訓(xùn)練網(wǎng)絡(luò)時用的一種技巧（trike）。它的流程如下：
????????保持輸入輸出層不變，按照BP算法更新上圖神經(jīng)網(wǎng)絡(luò)中的權(quán)值（虛線連接的單元不更新，因為它們被“臨時刪除”了）。
????????以上就是一次迭代的過程，在第二次迭代中，也用同樣的方法，只不過這次刪除的那一半隱層單元，跟上一次刪除掉的肯定是不一樣的，因為我們每一次迭代都是“隨機”地去刪掉一半。第三次、第四次……都是這樣，直至訓(xùn)練結(jié)束。
????????以上就是Dropout，它為什么有助于防止過擬合呢？可以簡單地這樣解釋，運用了dropout的訓(xùn)練過程，相當(dāng)于訓(xùn)練了很多個只有半數(shù)隱層單元的神經(jīng)網(wǎng)絡(luò)（后面簡稱為“半數(shù)網(wǎng)絡(luò)”），每一個這樣的半數(shù)網(wǎng)絡(luò)，都可以給出一個分類結(jié)果，這些結(jié)果有的是正確的，有的是錯誤的。隨著訓(xùn)練的進(jìn)行，大部分半數(shù)網(wǎng)絡(luò)都可以給出正確的分類結(jié)果，那么少數(shù)的錯誤分類結(jié)果就不會對最終結(jié)果造成大的影響。
數(shù)據(jù)集擴增（data augmentation）
有時候不是因為算法好贏了，而是因為擁有更多的數(shù)據(jù)才贏了?！?br>
不記得原話是哪位大牛說的了，hinton？從中可見訓(xùn)練數(shù)據(jù)有多么重要，特別是在深度學(xué)習(xí)方法中，更多的訓(xùn)練數(shù)據(jù)，意味著可以用更深的網(wǎng)絡(luò)，訓(xùn)練出更好的模型。
既然這樣，收集更多的數(shù)據(jù)不就行啦？如果能夠收集更多可以用的數(shù)據(jù)，當(dāng)然好。但是很多時候，收集更多的數(shù)據(jù)意味著需要耗費更多的人力物力，有弄過人工標(biāo)注的同學(xué)就知道，效率特別低，簡直是粗活。
所以，可以在原始數(shù)據(jù)上做些改動，得到更多的數(shù)據(jù)，以圖片數(shù)據(jù)集舉例，可以做各種變換，如：
將原始圖片旋轉(zhuǎn)一個小角度
添加隨機噪聲
一些有彈性的畸變（elastic distortions），論文《Best practices for convolutional neural networks applied to visual document analysis》對MNIST做了各種變種擴增。
截?。╟rop）原始圖片的一部分。比如DeepID中，從一副人臉圖中，截取出了100個小patch作為訓(xùn)練數(shù)據(jù)，極大地增加了數(shù)據(jù)集。感興趣的可以看《Deep learning face representation from predicting 10,000 classes》.
更多數(shù)據(jù)意味著什么？
用50000個MNIST的樣本訓(xùn)練SVM得出的accuracy94.48%，用5000個MNIST的樣本訓(xùn)練NN得出accuracy為93.24%，所以更多的數(shù)據(jù)可以使算法表現(xiàn)得更好。在機器學(xué)習(xí)中，算法本身并不能決出勝負(fù)，不能武斷地說這些算法誰優(yōu)誰劣，因為數(shù)據(jù)對算法性能的影響很大。
