Tensorflow超參數(shù)的選擇

從上個(gè)例子里,我們寫死了learning rate 以及 batch-size,在超參數(shù)的選擇過程中,還會涉及到其他參數(shù),比如正則項(xiàng)系數(shù),這里我們暫時(shí)不考慮其他.只是基于我們上個(gè)例子進(jìn)行討論.

1.learning rate的選擇
  1.1 learning rate面臨的問題很好理解.
  1.2 如何調(diào)整
  1.3 動態(tài)變化的learning rate
2.訓(xùn)練停止的時(shí)機(jī)
  2.1 early-stoping
  2.2 谷底策略
3.MIni-batch size的選擇
4.例子實(shí)踐
  4.1 learning rate
  4.2 mini-batch size
  4.3 谷底策略

1.learning rate的選擇

1.1 learning rate面臨的問題很好理解.

如果太小,梯度下降就太慢了,要花比較久才能到達(dá)谷底.但是有利于尋找某個(gè)局部最優(yōu).
如果太大,又容易邁過了谷底,在倆個(gè)山峰之間來回震蕩.無法形成收斂.

1.2 如何調(diào)整

在實(shí)踐中,一般都是通過不斷嘗試來調(diào)整.學(xué)習(xí)速率設(shè)置為0.01，然后觀察training cost的走向，如果cost在減小，那你可以逐步地調(diào)大學(xué)習(xí)速率，0.1，1.0….如果cost在增大，那就得減小學(xué)習(xí)速率，0.001，0.0001….經(jīng)過一番嘗試之后，你可以大概確定學(xué)習(xí)速率的合適的值.
這個(gè)地方你會發(fā)現(xiàn)我們并沒有使用validation set來進(jìn)行l(wèi)earning rate的選擇,而是使用了training set來評價(jià).
《Neural networks and deep learning》中對這個(gè)問題進(jìn)行了描述.
大意是使用哪種數(shù)據(jù)集合屬于個(gè)人偏好.其他超參數(shù)主要是為了提高test-set上的accuracy,對accuracy有直接的影響.
而learning rate對于accruracy卻是很間接.它的主要目的是控制梯度下降的步伐.

1.3 動態(tài)變化的learning rate

你應(yīng)該會想到如果在開始階段,使用某一個(gè)learning rate來進(jìn)行梯度下降,在逼近谷底的時(shí)候,不斷降低learning rate,這樣我們就可以盡可能地逼近谷底.同時(shí)又能比較快速下降.想想還是蠻激動的.

2.訓(xùn)練停止的時(shí)機(jī)

2.1 early-stoping

很合理的想法就是在梯度下降過程中,validation accuracy沒法提升的時(shí)候,就沒有必要再訓(xùn)練下去了.
這種思路合理嗎?接下來一倆個(gè)迭代沒有提升,是不是意味著以后都不會有提升?
正確的做法是，在訓(xùn)練的過程中，記錄最佳的validation accuracy，當(dāng)連續(xù)10次epoch（或者更多次）沒達(dá)到最佳a(bǔ)ccuracy時(shí)，你可以認(rèn)為“不再提高”.這個(gè)策略就叫“no-improvement-in-n”，n即epoch的次數(shù)，可以根據(jù)實(shí)際情況取10、20、30…
畢竟我們的認(rèn)知是有限的,而未知的世界是無限的,我們只能竭盡我們的視力去瞭望遠(yuǎn)方,做出判斷.

2.2 谷底策略

結(jié)合1.3的動態(tài)learning rate和2.1的eraly-stoping,我們在可以構(gòu)造一個(gè)自動的策略,而無需人工干預(yù).
假如對于“no-improvement-in-n”我們設(shè)置n=10,在跑了十次之后,validation accuracy還是沒有提升,這個(gè)時(shí)候我們把learning-rate砍掉一半,繼續(xù)執(zhí)行,這個(gè)思路類似于我們learning rate過大,導(dǎo)致邁過了谷底,在倆個(gè)山峰之間震蕩,我們通過縮小learning-rate來期望繼續(xù)往底部走.而當(dāng)learning-rate變成了原來的1/1024或者1/512我們再進(jìn)行真正的stop.

3.MIni-batch size的選擇

size的選擇過大過小都是有不足之處
size過大,權(quán)重的更新就不會很頻繁.導(dǎo)致優(yōu)化過程漫長
size過小,則無法充分利用矩陣、線性代數(shù)庫來進(jìn)行計(jì)算的加速,同時(shí)小批量的樣本數(shù)據(jù)無法準(zhǔn)確體現(xiàn)出整體的cost平均值,容易出現(xiàn)偏離.
整體來看應(yīng)該根據(jù)數(shù)據(jù)集的規(guī)模,硬件能力來選擇.這么說還是有點(diǎn)廣泛,有一種做法是通過橫軸為time,縱軸為 validation accuracy,然后通過多個(gè)圖,不同圖的batch-size不一樣來,來觀測比較哪個(gè)batch-size在同樣時(shí)間上準(zhǔn)確率抬升最快.這里的time說的是計(jì)算機(jī)的運(yùn)算時(shí)間開銷,而不是迭代次數(shù).

4.例子實(shí)踐

4.1 learning rate

我們通過x軸表示epoch的次數(shù),y軸表示cost
在上個(gè)例子代碼的基礎(chǔ)上我們進(jìn)行可視化觀測
主要思路就是在迭代的過程中,記錄下來對應(yīng)的cost,然后圖形化顯示.
具體代碼

4.2 mini-batch size

我們通過x軸表示時(shí)間開銷,y軸表示準(zhǔn)確率

4.3 谷底策略

Refer:
機(jī)器學(xué)習(xí)算法中如何選取超參數(shù)：學(xué)習(xí)速率、正則項(xiàng)系數(shù)、minibatch size
【Tensorflow】輔助工具篇——matplotlib介紹（上）
【Tensorflow】輔助工具篇——matplotlib介紹（下）