含義
Bias 和 Variance 是針對(duì)模型的泛化來(lái)講的。
首先如果我們能夠獲得所有可能的數(shù)據(jù)集合，并在這個(gè)數(shù)據(jù)集合上將 loss 最小化，這樣學(xué)習(xí)到的模型就可以稱(chēng)之為“真實(shí)模型”，當(dāng)然，我們是無(wú)論如何都不能獲得并訓(xùn)練所有可能的數(shù)據(jù)的，所以“真實(shí)模型”肯定存在，但無(wú)法獲得，我們的最終目標(biāo)就是去學(xué)習(xí)一個(gè)模型使其更加接近這個(gè)真實(shí)模型。而 Bias 和 Variance 分別從兩個(gè)方面來(lái)描述了我們學(xué)習(xí)到的模型與真實(shí)模型之間的差距。
原文地址 https://www.zhihu.com/question/27068705/answer/82132134
區(qū)別
image.png
- Bias是 “用所有可能的訓(xùn)練數(shù)據(jù)集訓(xùn)練出的所有模型的輸出的平均值” 與 “真實(shí)模型”的輸出值之間的差異。
- Variance 則是“不同的訓(xùn)練數(shù)據(jù)集訓(xùn)練出的模型”的輸出值之間的差異。
與欠擬合和過(guò)擬合的關(guān)系
一般來(lái)講，在訓(xùn)練的初期，訓(xùn)練集還沒(méi)有對(duì)模型產(chǎn)生影響，此時(shí)不同的訓(xùn)練集訓(xùn)練出的模型差異很小，即 Variance很小，但是模型學(xué)出的信息很少，所以 Bias 很大。
隨著訓(xùn)練過(guò)程的進(jìn)行，Bias 變小了，因?yàn)槲覀兊哪Ｐ妥兊谩奥斆鳌绷?，但是模型過(guò)度的學(xué)習(xí)了訓(xùn)練集本身的信息，導(dǎo)致不同的訓(xùn)練集的預(yù)測(cè)結(jié)果差距很大，即 Variance很大。
