極大似然估計是一種參數(shù)估計的方法（知模型求參數(shù)）。
先驗概率是 知因求果，后驗概率是 知果求因，極大似然是 知果求最可能的原因。
即它的核心思想是：找到參數(shù) θ 的一個估計值，使得當(dāng)前樣本出現(xiàn)的可能性最大。
例如，當(dāng)其他條件一樣時，抽煙者患肺癌的概率是不抽煙者的 5 倍，那么當(dāng)我們已知現(xiàn)在有個人是肺癌患者，問這個人是抽煙還是不抽煙？大多數(shù)人都會選擇抽煙，因為這個答案是“最有可能”得到“肺癌”這樣的結(jié)果。
為什么要有參數(shù)估計
當(dāng)模型已定，但是參數(shù)未知時。
例如我們知道全國人民的身高服從正態(tài)分布，這樣就可以通過采樣，觀察其結(jié)果，然后再用樣本數(shù)據(jù)的結(jié)果推出正態(tài)分布的均值與方差的大概率值，就可以得到全國人民的身高分布的函數(shù)。
為什么要使似然函數(shù)取最大
極大似然估計是頻率學(xué)派最經(jīng)典的方法之一，認(rèn)為真實發(fā)生的結(jié)果的概率應(yīng)該是最大的，那么相應(yīng)的參數(shù)，也應(yīng)該是能讓這個狀態(tài)發(fā)生的概率最大的參數(shù)。
極大似然估計的計算過程
- 寫出似然函數(shù)
- 一般對似然函數(shù)取對數(shù)
因為 f(x_i|θ) 一般比較小，n 比較大，連乘容易造成浮點運算下溢。
- 求出使得對數(shù)似然函數(shù)取最大值的參數(shù)的值
對對數(shù)似然函數(shù)求導(dǎo)，令導(dǎo)數(shù)為0，得出似然方程，
求解似然方程，得到的參數(shù)就是對概率模型中參數(shù)值的極大似然估計。
例子
假如一個罐子里有黑白兩種顏色的球，數(shù)目和比例都不知道。
假設(shè)進(jìn)行一百次有放回地隨機(jī)采樣，每次取一個球，有七十次是白球。
問題是要求得罐中白球和黑球的比例？
假設(shè)罐中白球的比例是 p，那么黑球的比例就是 1?p。
那么似然函數(shù)：
接下來對似然函數(shù)對數(shù)化：
然后求似然方程：
最后求得 p=0.7
