吳恩達(dá)的教程

機(jī)器學(xué)習(xí)訓(xùn)練要保證模型在訓(xùn)練集的準(zhǔn)確率高，即低bias（偏差）；同時(shí)也要保證驗(yàn)證集的準(zhǔn)確率，不產(chǎn)生過(guò)擬合現(xiàn)象，即保證低variance(方差) 。兩者可能互相制約，需要做tradeoff 。

在訓(xùn)練過(guò)程中，可以先針對(duì)bias做改進(jìn)，方法包括：選用更大的網(wǎng)絡(luò)，訓(xùn)練更長(zhǎng)時(shí)間，或者更換模型。

降低了bias后，如果variance不達(dá)標(biāo)，再針對(duì)variance做改進(jìn)。方法包括：提高數(shù)據(jù)量，使用正則化，更換模型（如神經(jīng)網(wǎng)絡(luò)）。

降低variance后，再觀察bias，如此往復(fù)，直到得到一個(gè)滿意的模型。

在深度學(xué)習(xí)里，只要保證層次夠深或者數(shù)據(jù)夠多，可以降低bias的同時(shí)不明顯提高variance ，或者降低variance 的同時(shí)不明顯提高bias。這也是深度學(xué)習(xí)對(duì)監(jiān)督學(xué)習(xí)大有裨益的一方面。