2.3.4 高斯分布的最大似然估計(jì)

給定一個(gè)數(shù)據(jù)集X=(x_1,x_2,...x_N)^T，其中觀測\{x_n\}嘉定是獨(dú)立從多元高斯分布中抽取的，那我們可以用最大似然來估計(jì)分布的參數(shù)\mu和\Sigma
高斯分布公式
N(x|\mu,\Sigma) = \frac{1}{(2\pi)^\frac{D}{2}}\frac{1}{|\Sigma|^\frac{1}{2}}\exp\{-\frac{1}{2}(x-\mu)^T\Sigma^{-1}\}
對數(shù)似然函數(shù)為
\ln p(X|\mu,\Sigma) = -\frac{ND}{2}\ln(2\pi)-\frac{N}{2}\ln|\Sigma|-\frac{1}{2}\sum^{N}_{n=1}(x_n-\mu)^T\Sigma^{-1}(x_n-\mu)

似然函數(shù)對數(shù)據(jù)集的依賴體現(xiàn)在x_n和x_nx_n^T，對\mu進(jìn)行求導(dǎo)，應(yīng)用二次型求導(dǎo)公式
\frac{\delta}{\delta X}X^TAX = 2AX
我們有
\frac{\delta}{\delta \mu}\ln p(X|\mu,\Sigma) =\sum^N_{n=1}\Sigma^{-1}(x_n-\mu)
令導(dǎo)數(shù)為零，求出均值
\mu_{ML}=\frac{1}{N}\sum^{N}_{n=1}x_n
也就是數(shù)據(jù)點(diǎn)的觀測集合均值

可以看出\mu_{ML}的求解與\Sigma_{ML}無關(guān)，因此我們可以使用\mu_{ML}來求解\Sigma_{ML}
\Sigma_{ML}=\frac{1}{N}\sum^{N}_{n=1}(x_n-\mu_{ML})(x_n-\mu_{ML})^T
結(jié)果為
E[\mu_{ML}]=\mu\\ E[\Sigma_{ML}]=\frac{N-1}{N}\Sigma

對于書中有這么一段話：

我們看到對于均值的最大似然估計(jì)的期望等于實(shí)際的均值。然而，對于協(xié)方差的最大似然估計(jì)的期望小于真正的值，因此是有偏的。我們可以定義一個(gè)不同的估計(jì)值\Sigma來修正這個(gè)誤差

根據(jù)https://www.matongxue.com/madocs/607.html給出的解答，可以得到關(guān)于協(xié)方差的公式
\Sigma = \frac{1}{N-1}\sum^{N}_{n=1}(x_n-\mu_{ML})(x_n-\mu_{ML})^T
另外關(guān)于無偏估計(jì)量 https://blog.csdn.net/ccnt_2012/article/details/82715415

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容