極大似然估計（Maximum Likelihood Estimation，簡稱MLE）是統(tǒng)計學(xué)中用于估計模型參數(shù)的一種方法。它通過尋找能夠使得觀測數(shù)據(jù)出現(xiàn)概率（似然函數(shù)）最大的參數(shù)值來估計未知參數(shù)。

引用場景

1. 參數(shù)估計：當(dāng)需要從樣本數(shù)據(jù)中估計概率分布的參數(shù)時，如正態(tài)分布的均值和方差。
2. 統(tǒng)計模型：在復(fù)雜的統(tǒng)計模型中，如線性回歸、邏輯回歸等，MLE可以用來估計模型的系數(shù)。
3. 比較模型：當(dāng)需要比較多個模型對數(shù)據(jù)的擬合程度時，可以使用MLE來確定哪個模型的參數(shù)估計使得似然函數(shù)值最大。
4. 缺失數(shù)據(jù)：在數(shù)據(jù)存在缺失的情況下，MLE可以用來估計完整數(shù)據(jù)的概率分布。
5. 生物統(tǒng)計學(xué)：在生物統(tǒng)計學(xué)中，MLE常用于估計生存分析、流行病學(xué)和其他生物醫(yī)學(xué)研究中的參數(shù)。

實現(xiàn)步驟

1. 建立似然函數(shù)：

   • 似然函數(shù)是給定參數(shù)下觀測數(shù)據(jù)的概率。對于一個簡單的例子，假設(shè)我們有一組獨立同分布的觀測數(shù)據(jù) ( X = {x_1, x_2, ..., x_n} )，每個觀測值 ( x_i ) 來自某個概率分布，該分布的參數(shù)為 ( \theta )。似然函數(shù) ( L(\theta) ) 表示為所有觀測值的聯(lián)合概率：
     [
     L(\theta; x_1, ..., x_n) = f(x_1; \theta) \cdot f(x_2; \theta) \cdot ... \cdot f(x_n; \theta)
     ]
     其中 ( f(x_i; \theta) ) 是概率密度函數(shù)或概率質(zhì)量函數(shù)。

2. 最大化似然函數(shù)：

   • 找到參數(shù) ( \theta ) 的值，使得 ( L(\theta) ) 最大化。這通常涉及到對 ( L(\theta) ) 取對數(shù)（稱為對數(shù)似然函數(shù)），然后使用優(yōu)化算法（如牛頓-拉夫森方法、梯度下降法等）來求解 ( \theta ) 的值。

3. 求解最優(yōu)化問題：

   • 對數(shù)似然函數(shù)通常更容易處理，因為它將乘積轉(zhuǎn)換為求和，并且可以將似然函數(shù)的非線性性質(zhì)線性化。求解 ( \theta ) 的值可以通過以下步驟：
     • 對 ( \ln L(\theta) ) 關(guān)于 ( \theta ) 求導(dǎo)數(shù)，設(shè)置導(dǎo)數(shù)等于0，找到極值點。
     • 求解得到的方程，得到 ( \theta ) 的估計值。

4. 驗證估計結(jié)果：

   • 估計得到的參數(shù)值需要通過一些檢驗方法來驗證其合理性，如似然比檢驗、Wald檢驗或得分檢驗。

例子

假設(shè)我們有一組觀測數(shù)據(jù)，它們來自正態(tài)分布，我們想要估計這個分布的均值 ( \mu ) 和方差 ( \sigma^2 )。

1. 建立似然函數(shù)：

   • 對于正態(tài)分布，概率密度函數(shù)為 ( f(x; \mu, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} e^{{-\frac{(x-\mu)}2}{2\sigma^2}} )。
   • 似然函數(shù) ( L(\mu, \sigma^2) ) 為所有觀測值的密度函數(shù)的乘積。

2. 最大化似然函數(shù)：

   • 對 ( L(\mu, \sigma^2) ) 取對數(shù)，得到對數(shù)似然函數(shù)。
   • 對 ( \ln L(\mu, \sigma^2) ) 分別對 ( \mu ) 和 ( \sigma^2 ) 求偏導(dǎo)數(shù)，并設(shè)置為0，解得 ( \mu ) 和 ( \sigma^2 ) 的估計值。

3. 求解最優(yōu)化問題：

   • 通過求解方程組，我們可以得到 ( \mu ) 和 ( \sigma^2 ) 的MLE估計值。

極大似然估計是一種非常強(qiáng)大的參數(shù)估計方法，它不僅限于正態(tài)分布，而且可以應(yīng)用于任何概率分布的參數(shù)估計。