機(jī)器學(xué)習(xí)-快速理解似然函數(shù)

嗯,今天在看《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》的Logistic回歸部分,代碼實(shí)現(xiàn)看的一頭霧水,原理也不太懂,各種查資料,其中有個(gè)關(guān)鍵的部分需要似然函數(shù)的相關(guān)知識(shí),無奈大學(xué)時(shí)候這部分就沒學(xué)懂過,幸虧在一篇博客(kevinGao - 博客園)上找到了講的非常不錯(cuò)的文章,雖然好像也是轉(zhuǎn)載自維基百科。那么就友情借鑒一下其內(nèi)容好了,真的一下就看懂了。


數(shù)理統(tǒng)計(jì)學(xué)中,似然函數(shù)是一種關(guān)于統(tǒng)計(jì)模型中的參數(shù)函數(shù),表示模型參數(shù)中的似然性。

似然函數(shù)在統(tǒng)計(jì)推斷中有重大作用,如在最大似然估計(jì)費(fèi)雪信息之中的應(yīng)用等等?!八迫恍浴迸c“或然性”或“概率”意思相近,都是指某種事件發(fā)生的可能性,但是在統(tǒng)計(jì)學(xué)中,“似然性”和“或然性”或“概率”又有明確的區(qū)分。

概率用于在已知一些參數(shù)的情況下,預(yù)測(cè)接下來的觀測(cè)所得到的結(jié)果,而

似然性 則是用于在已知某些觀測(cè)所得到的結(jié)果時(shí),對(duì)有關(guān)事物的性質(zhì)的參數(shù)進(jìn)行估計(jì)。

在這種意義上,似然函數(shù)可以理解為條件概率的逆反。

在已知某個(gè)參數(shù)B時(shí),事件A會(huì)發(fā)生的概率寫作

利用貝葉斯定理,

因此,我們可以反過來構(gòu)造表示似然性的方法:已知有事件A發(fā)生,運(yùn)用似然函數(shù)

,我們估計(jì)參數(shù)B的可能性。

形式上,似然函數(shù)也是一種條件概率函數(shù),但我們關(guān)注的變量改變了:

注意到這里并不要求似然函數(shù)滿足歸一性:

。一個(gè)似然函數(shù)乘以一個(gè)正的常數(shù)之后仍然是似然函數(shù)。對(duì)所有α > 0,都可以有似然函數(shù):

例子:

考慮投擲一枚硬幣的實(shí)驗(yàn)。通常來說,已知投出的硬幣正面朝上和反面朝上的概率各自是pH= 0.5,便可以知道投擲若干次后出現(xiàn)各種結(jié)果的可能性。比如說,投兩次都是正面朝上的概率是0.25。用條件概率表示,就是:

其中H表示正面朝上。

在統(tǒng)計(jì)學(xué)中,我們關(guān)心的是在已知一系列投擲的結(jié)果時(shí),關(guān)于硬幣投擲時(shí)正面朝上的可能性的信息。我們可以建立一個(gè)統(tǒng)計(jì)模型:假設(shè)硬幣投出時(shí)會(huì)有pH的概率正面朝上,而有1 ?pH的概率反面朝上。這時(shí),條件概率可以改寫成似然函數(shù):

也就是說,對(duì)于取定的似然函數(shù),在觀測(cè)到兩次投擲都是正面朝上時(shí),pH= 0.5的似然性是0.25(這并不表示當(dāng)觀測(cè)到兩次正面朝上時(shí)pH= 0.5的概率是0.25)。

如果考慮pH= 0.6,那么似然函數(shù)的值也會(huì)改變。

注意到似然函數(shù)的值變大了。這說明,如果參數(shù)pH的取值變成0.6的話,結(jié)果觀測(cè)到連續(xù)兩次正面朝上的概率要比假設(shè)pH= 0.5時(shí)更大。也就是說,參數(shù)pH取成0.6 要比取成0.5 更有說服力,更為“合理”??傊迫缓瘮?shù)的重要性不是它的具體取值,而是當(dāng)參數(shù)變化時(shí)函數(shù)到底變小還是變大。對(duì)同一個(gè)似然函數(shù),如果存在一個(gè)參數(shù)值,使得它的函數(shù)值達(dá)到最大的話,那么這個(gè)值就是最為“合理”的參數(shù)值。

在這個(gè)例子中,似然函數(shù)實(shí)際上等于:

, 其中

。

如果取pH= 1,那么似然函數(shù)達(dá)到最大值1。也就是說,當(dāng)連續(xù)觀測(cè)到兩次正面朝上時(shí),假設(shè)硬幣投擲時(shí)正面朝上的概率為1是最合理的。

類似地,如果觀測(cè)到的是三次投擲硬幣,頭兩次正面朝上,第三次反面朝上,那么似然函數(shù)將會(huì)是:

, 其中T表示反面朝上,

。

這時(shí)候,似然函數(shù)的最大值將會(huì)在

的時(shí)候取到。也就是說,當(dāng)觀測(cè)到三次投擲中前兩次正面朝上而后一次反面朝上時(shí),估計(jì)硬幣投擲時(shí)正面朝上的概率

是最合理的。

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容