最大似然函數(shù)的合理性

極大似然估計的思想是，被觀測到的數(shù)據(jù)，能夠以最大的概率代表總體的特征

image.png

image.png

MSE(Mean Square Error)均方誤差

假設(shè)模型為

image.png

則MSE為

image.png

模型推導(dǎo)

背后的假設(shè)

實(shí)際上在一定的假設(shè)下，我們可以使用最大化似然得到均方差損失的形式。假設(shè)模型預(yù)測與真實(shí)值之間的誤差服從標(biāo)準(zhǔn)高斯分布（μ=0,σ=1），則給定一個xi，模型輸出真實(shí)值 yi 的概率為

image.png

上式推導(dǎo)：
推導(dǎo)：Y=Y_pre+η(誤差/噪聲)
E(Y)=E(Y_pre+η)=Y_pre+E(η)=Y_pre
Var(Y)=Var(Y_pre+η)=0+Var(η)=1
所以Y~N(Y_pre,1)，即有上式的表達(dá)。

進(jìn)一步我們假設(shè)數(shù)據(jù)集中 N 個樣本點(diǎn)之間相互獨(dú)立，則給定所有 x，輸出所有真實(shí)值 y的概率，即似然概率，為所有p(yi|xi)的累乘

image.png

通常為了計算方便，我們通常最大化對數(shù)似然 Log-Likelihood

image.png

去掉無關(guān)項(xiàng)，然后轉(zhuǎn)化為最小化負(fù)對數(shù)似然 Negative Log-Likelihood

image.png

MAE推導(dǎo)與MAE類似（把誤差假設(shè)成拉普拉斯分布）

MSE和MAE背后的假設(shè)
????在一定的假設(shè)下，使用最大化似然得到均方差損失的形式。
????發(fā)現(xiàn)最大似然函數(shù)和損失函數(shù)在形式上具有同一性（大體上互為相反數(shù)），而最大似然函數(shù)表示值越大，當(dāng)前的模型表示的越準(zhǔn)。同樣，損失函數(shù)值越?。ü缴蠈?yīng)著最大似然你函數(shù)越大），表示當(dāng)前模型越準(zhǔn)。因此，當(dāng)假設(shè)成立時，損失函數(shù)使用均方差函數(shù)是一個很好的選擇。

參考 Picking Loss Functions - A comparison between MSE, Cross Entropy, and Hinge Loss – Rohan Varma – Software Engineer @ Facebook