最大似然估計(jì)是利用已知的樣本的結(jié)果，在使用某個(gè)模型的基礎(chǔ)上，反推最有可能導(dǎo)致這樣結(jié)果的模型參數(shù)值。

深入淺出最大似然估計(jì)

例子1：抽球

舉個(gè)通俗的例子：假設(shè)一個(gè)袋子裝有白球與紅球，比例未知，現(xiàn)在抽取10次（每次抽完都放回，保證事件獨(dú)立性），假設(shè)抽到了7次白球和3次紅球，在此數(shù)據(jù)樣本條件下，可以采用最大似然估計(jì)法求解袋子中白球的比例（最大似然估計(jì)是一種“模型已定，參數(shù)未知”的方法）。當(dāng)然，這種數(shù)據(jù)情況下很明顯，白球的比例是70%，但如何通過理論的方法得到這個(gè)答案呢？一些復(fù)雜的條件下，是很難通過直觀的方式獲得答案的，這時(shí)候理論分析就尤為重要了，這也是學(xué)者們?yōu)楹我岢鲎畲笏迫还烙?jì)的原因。我們可以定義從袋子中抽取白球和紅球的概率如下：

x1為第一次采樣，x2為第二次采樣，f為模型, theta為模型參數(shù)

其中theta是未知的，因此，我們定義似然L為：

L為似然的符號(hào)

兩邊取ln，取ln是為了將右邊的乘號(hào)變?yōu)榧犹?hào)，方便求導(dǎo)。

兩邊取ln的結(jié)果，左邊的通常稱之為對(duì)數(shù)似然。

這是平均對(duì)數(shù)似然

最大似然估計(jì)的過程，就是找一個(gè)合適的theta，使得平均對(duì)數(shù)似然的值為最大。因此，可以得到以下公式：

最大似然估計(jì)的公式

這里討論的是2次采樣的情況，當(dāng)然也可以拓展到多次采樣的情況：

最大似然估計(jì)的公式（n次采樣）

我們定義M為模型（也就是之前公式中的f），表示抽到白球的概率為theta，而抽到紅球的概率為(1-theta)，因此10次抽取抽到白球7次的概率可以表示為：

10次抽取抽到白球7次的概率

將其描述為平均似然可得：

10次抽取抽到白球7次的平均對(duì)數(shù)似然，抽球的情況比較簡(jiǎn)單，可以直接用平均似然來求解

那么最大似然就是找到一個(gè)合適的theta，獲得最大的平均似然。因此我們可以對(duì)平均似然的公式對(duì)theta求導(dǎo)，并另導(dǎo)數(shù)為0。

求導(dǎo)過程

由此可得，當(dāng)抽取白球的概率為0.7時(shí)，最可能產(chǎn)生10次抽取抽到白球7次的事件。

例子2：正態(tài)分布

假如有一組采樣值（x1,...,xn），我們知道其服從正態(tài)分布，且標(biāo)準(zhǔn)差已知。當(dāng)這個(gè)正態(tài)分布的期望為多少時(shí)，產(chǎn)生這個(gè)采樣數(shù)據(jù)的概率為最大？

這個(gè)例子中正態(tài)分布就是模型M，而期望就是前文提到的theta。

似然

正態(tài)分布的公式，當(dāng)?shù)谝粎?shù)（期望）為0，第二參數(shù)（方差）為1時(shí)，分布為標(biāo)準(zhǔn)正態(tài)分布

似然值

對(duì)上式求導(dǎo)可得

綜上所述，可得求解最大似然估計(jì)的一般過程為：

1. 寫出似然函數(shù)；

2. 如果無法直接求導(dǎo)的話，對(duì)似然函數(shù)取對(duì)數(shù)；

3. 求導(dǎo)數(shù) ；

4. 求解模型中參數(shù)的最優(yōu)值。