97 婷婷se丁香,中文字幕Av不卡,日韩伊人女同视频

本章存疑
2.3.4討論了高斯分布的最大似然估計(jì)，現(xiàn)在來(lái)討論一個(gè)更一般的話題：最?似然的順序估計(jì)。

順序的?法允許每次處理?個(gè)數(shù)據(jù)點(diǎn)，然后丟棄這個(gè)點(diǎn)。這對(duì)于在線應(yīng)?很重要。并且當(dāng)數(shù)據(jù)集相當(dāng)?以?于?次處理所有數(shù)據(jù)點(diǎn)不可?的情況下，順序?法也很重要。

考慮均值的最大似然估計(jì)結(jié)果 $\mu_{ML}$ ，當(dāng)他依賴于第 $N$ 次觀察時(shí)，記作 $\mu_{ML}^{(N)}$ ，有
$\mu_{ML}^{(N)}=\frac{1}{N}\sum^N_{n=1}x_n\\=\frac{1}{N}x_N+\frac{1}{N}\sum^{N-1}_{n=1}x_n\\=\frac{1}{N}x_N+\frac{N-1}{N}\mu_{ML}^{(N-1)}\\=\mu_{ML}^{N-1}+\frac{1}{N}(x_N-\mu_{ML}^{(N-1)})$
在觀測(cè)到 $N-1$ 的數(shù)據(jù)點(diǎn)時(shí)，我們已經(jīng)得到了 $\mu_{ML}^{(N-1)}$ 了，當(dāng)觀測(cè)到 $x_N$ 時(shí)我們就可以得到一個(gè)修正的估計(jì) $\mu_{ML}^{(N)}$ ，隨著 $N$ 的增加，后續(xù)數(shù)據(jù)點(diǎn)的貢獻(xiàn)也會(huì)變小。

以上的公式是根據(jù)高斯分布的最大似然估計(jì)公式推導(dǎo)得到的，為了尋找一個(gè)更加通用的順序?qū)W習(xí)方法，這里就引出Robbins-Monro算法。

Robbins-Monro算法：考慮?對(duì)隨機(jī)變量 $θ$ 和 $z$ ，它們由?個(gè)聯(lián)合概率分布 $p(z, θ)$ 所控制。給出特定 $θ$ ，變量z的條件期望由以下的函數(shù) $f(θ)$ 確定：
$f(θ) = E[z|θ]=\int zp(z|θ)dz$
這個(gè)公式看前面兩部分就夠了，可以理解為 $f(x)=y$ ，但是這個(gè)函數(shù)的求解要通過(guò)多次采樣回歸得到，意思就是當(dāng) $θ$ 為某取值的時(shí)候， $z$ 會(huì)有概率 $p(z|θ)$ 的可能取某值，這是因?yàn)橛幸欢ǖ脑肼暩蓴_(如下圖)而導(dǎo)致 $f(θ)$ 不存在一個(gè)閉式解 $z$ 。

通過(guò)這種?式定義的函數(shù)被稱(chēng)為回歸函數(shù)，我們的?標(biāo)是尋找根 $θ^?$ 使得 $f(θ^?)=0$ 。

如果我們有觀測(cè) $z$ 和 $θ$ 的?個(gè)?數(shù)據(jù)集，那么我們可以直接對(duì)回歸函數(shù)建模，得到根的?個(gè)估計(jì)。

如果我們每次觀測(cè)到?個(gè)z的值，我們想找到?個(gè)對(duì)應(yīng)的順序估計(jì)?法來(lái)找到 $θ^?$ ，解決這種問(wèn)題的通用方法如下：
首先我們假定z的條件方差是有窮的：
$E[(z-f)|θ] < \infty$
同時(shí)我們也假設(shè)當(dāng) $θ>θ^*$ 時(shí) $f(θ)>0$ ，當(dāng) $θ<θ^*$ 時(shí) $f(θ)<0$ ，Robbins-Monro給出了一個(gè)根 $θ^*$ 順序估計(jì)的公式

$θ^{(N)}=θ^{(N-1)}-\alpha_{N-1}z(θ^{(N-1)})\\$
這個(gè)公式給出的順序估計(jì)確實(shí)以概率為1收斂于根

其中 $z(θ^{(N)})$ 是當(dāng) $θ$ 取值為 $θ^{(N)}$ 是 $z$ 的觀測(cè)值，系數(shù) $\alpha_N$ 表示一個(gè)滿足一下條件的正數(shù)數(shù)列：

$\lim_{N\rightarrow\infty}\alpha_N=0\\ \sum_{N=1}^{\infty}\alpha_N=\infty\\ \sum_{N=1}^{\infty}\alpha_N^2<\infty\\ PS:\frac{1}{N}就是一個(gè)滿足條件的正數(shù)數(shù)列$
以上三個(gè)條件： 條件一確保后續(xù)的修正幅度會(huì)變小，條件二確保算法不會(huì)收斂不到根，條件三保證累積的噪聲具有一個(gè)有限的方差，收斂不會(huì)失敗

現(xiàn)在用Robbins-Monro來(lái)順序估計(jì) $θ_{ML}$

根據(jù)定義（上一章），最大似然解 $θ_{ML}$ 是負(fù)對(duì)數(shù)似然函數(shù)的一個(gè)駐點(diǎn)，因此有
$\frac{\delta}{\delta θ}\{\frac{1}{N}\sum_{n=1}^{N}-\ln p(x_n|θ)\}|_{θ_{ML}}=0$
取 $N\rightarrow \infty$ ，有
$\lim_{N\rightarrow\infty}\frac{1}{N}\sum^{N}_{n=1}\frac{\delta}{\delta θ}\ln p(x_n|θ)=E_x[-\frac{\delta}{\delta θ}\ln p(x|θ)]$
等式右邊，我們應(yīng)用Robbins-Monro方法，形式為
$θ^{(N)}=θ^{(N-1)}-\alpha_{N-1}\frac{\delta}{\delta θ^{(N-1)}}[-\ln p(x_N|θ^{(N-1)})]$
$θ^{(N)}$ 就是高斯分布均值 $\mu_{ML}^{(N)}$ 的估計(jì)

隨機(jī)變量 $z$ 的形式為
$z= -\frac{\delta}{\delta_{ML}}\ln p(x|\mu_{ML},\sigma^2)=-\frac{1}{\sigma^2}(x-\mu_{ML})$
$z$ 的分布是一個(gè)高斯分布，均值為 $-\frac{1}{\sigma^2}(x-\mu_{ML})$ ，如下圖。

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

2.3.5 順序估計(jì)

2.3.5 順序估計(jì)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

2.3.5 順序估計(jì)

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av