轉(zhuǎn)自：https://blog.csdn.net/zengxiantao1994/article/details/72787849
貝葉斯決策
首先來(lái)看貝葉斯分類，我們都知道經(jīng)典的貝葉斯公式：
其中：p(w)：為先驗(yàn)概率，表示每種類別分布的概率；p(x | w)：類條件概率，表示在某種類別前提下，某事發(fā)生的概率；而p(w | x)為后驗(yàn)概率，表示某事發(fā)生了，并且它屬于某一類別的概率，有了這個(gè)后驗(yàn)概率，我們就可以對(duì)樣本進(jìn)行分類。后驗(yàn)概率越大，說(shuō)明某事物屬于這個(gè)類別的可能性越大，我們?cè)接欣碛砂阉鼩w到這個(gè)類別下。
我們來(lái)看一個(gè)直觀的例子：已知：在夏季，某公園男性穿涼鞋的概率為1/2，女性穿涼鞋的概率為2/3，并且該公園中男女比例通常為2:1，問(wèn)題：若你在公園中隨機(jī)遇到一個(gè)穿涼鞋的人，請(qǐng)問(wèn)他的性別為男性或女性的概率分別為多少？
從問(wèn)題看，就是上面講的，某事發(fā)生了，它屬于某一類別的概率是多少？即后驗(yàn)概率。
設(shè)：w1 = 男性 ；w2 = 女性；x = 穿涼鞋
由已知可得：
（若只考慮分類問(wèn)題，只需要比較后驗(yàn)概率的大小，的取值并不重要）。
由貝葉斯公式算出：
問(wèn)題引出
但是在實(shí)際問(wèn)題中并不都是這樣幸運(yùn)的，我們能獲得的數(shù)據(jù)可能只有有限數(shù)目的樣本數(shù)據(jù)，而先驗(yàn)概率p(wi)
和類條件概率(各類的總體分布) p(x | wi)都是未知的。根據(jù)僅有的樣本數(shù)據(jù)進(jìn)行分類時(shí)，一種可行的辦法是我們需要先對(duì)先驗(yàn)概率和類條件概率進(jìn)行估計(jì)，然后再套用貝葉斯分類器。
先驗(yàn)概率的估計(jì)較簡(jiǎn)單，1、每個(gè)樣本所屬的自然狀態(tài)都是已知的（有監(jiān)督學(xué)習(xí)）；2、依靠經(jīng)驗(yàn)；3、用訓(xùn)練樣本中各類出現(xiàn)的頻率估計(jì)。
類條件概率的估計(jì)（非常難），原因包括：概率密度函數(shù)包含了一個(gè)隨機(jī)變量的全部信息；樣本數(shù)據(jù)可能不多；特征向量x的維度可能很大等等。總之要直接估計(jì)類條件概率的密度函數(shù)很難。解決的辦法就是，把估計(jì)完全未知的概率密度 p(x | wi)轉(zhuǎn)化為估計(jì)參數(shù)。這里就將概率密度估計(jì)問(wèn)題轉(zhuǎn)化為參數(shù)估計(jì)問(wèn)題，極大似然估計(jì)就是一種參數(shù)估計(jì)方法。當(dāng)然了，概率密度函數(shù)的選取很重要，模型正確，在樣本區(qū)域無(wú)窮時(shí)，我們會(huì)得到較準(zhǔn)確的估計(jì)值，如果模型都錯(cuò)了，那估計(jì)半天的參數(shù)，肯定也沒(méi)啥意義了。
重要前提
上面說(shuō)到，參數(shù)估計(jì)問(wèn)題只是實(shí)際問(wèn)題求解過(guò)程中的一種簡(jiǎn)化方法（由于直接估計(jì)類條件概率密度函數(shù)很困難）。所以能夠使用極大似然估計(jì)方法的樣本必須需要滿足一些前提假設(shè)。
重要前提：訓(xùn)練樣本的分布能代表樣本的真實(shí)分布。每個(gè)樣本集中的樣本都是所謂獨(dú)立同分布的隨機(jī)變量 (iid條件)，且有充分的訓(xùn)練樣本。
極大似然估計(jì)
極大似然估計(jì)的原理，用一張圖片來(lái)說(shuō)明，如下圖所示：
總結(jié)起來(lái)，最大似然估計(jì)的目的就是：利用已知的樣本結(jié)果，反推最有可能（最大概率）導(dǎo)致這樣結(jié)果的參數(shù)值。
原理：極大似然估計(jì)是建立在極大似然原理的基礎(chǔ)上的一個(gè)統(tǒng)計(jì)方法，是概率論在統(tǒng)計(jì)學(xué)中的應(yīng)用。極大似然估計(jì)提供了一種給定觀察數(shù)據(jù)來(lái)評(píng)估模型參數(shù)的方法，即：“模型已定，參數(shù)未知”。通過(guò)若干次試驗(yàn)，觀察其結(jié)果，利用試驗(yàn)結(jié)果得到某個(gè)參數(shù)值能夠使樣本出現(xiàn)的概率為最大，則稱為極大似然估計(jì)。
由于樣本集中的樣本都是獨(dú)立同分布，可以只考慮一類樣本集D，來(lái)估計(jì)參數(shù)向量θ。記已知的樣本集為：
似然函數(shù)（linkehood function）：聯(lián)合概率密度函數(shù) p(D | θ) 稱為相對(duì)于 {x1, x2, x3,..., xN} 的θ的似然函數(shù)。
求解極大似然函數(shù)
ML估計(jì)：求使得出現(xiàn)該組樣本的概率最大的θ值。
1. 未知參數(shù)只有一個(gè)（θ為標(biāo)量）
在似然函數(shù)滿足連續(xù)、可微的正則條件下，極大似然估計(jì)量是下面微分方程的解：
2.未知參數(shù)有多個(gè)（θ為向量）
極大似然估計(jì)的例子
例1：設(shè)樣本服從正態(tài)分布，則似然函數(shù)為：
它的對(duì)數(shù)：
求導(dǎo)，得方程組：
聯(lián)合解得：
總結(jié)
求最大似然估計(jì)量[圖片上傳失敗...(image-8d0986-1536201351159)]
的一般步驟：
（1）寫出似然函數(shù)；
（2）對(duì)似然函數(shù)取對(duì)數(shù)，并整理；
（3）求導(dǎo)數(shù)；
（4）解似然方程。
最大似然估計(jì)的特點(diǎn)：
1.比其他估計(jì)方法更加簡(jiǎn)單；
2.收斂性：無(wú)偏或者漸近無(wú)偏，當(dāng)樣本數(shù)目增加時(shí)，收斂性質(zhì)會(huì)更好；
3.如果假設(shè)的類條件概率模型正確，則通常能獲得較好的結(jié)果。但如果假設(shè)模型出現(xiàn)偏差，將導(dǎo)致非常差的估計(jì)結(jié)果。
