參數(shù)值的信息量

? 令x代表隨機(jī)變量X的觀測(cè)值，香農(nóng)信息論告訴我們：該觀測(cè)值的信息量為-\log P（X=x）。然而，在統(tǒng)計(jì)學(xué)中概率分布往往是未知的，特別地，當(dāng)分布含未知參數(shù)\theta 時(shí)，不同的參數(shù)值\theta_{0}就對(duì)應(yīng)著x有不同的條件概率P（X=x| \theta =\theta_{0} ），從而意味著不同的信息量。我們很自然地想到，可以給參數(shù)值設(shè)定一個(gè)具體信息量來(lái)反映這種差別。

? 但是，上述方法不適用于處理參數(shù)值\theta ：首先，它不是可觀測(cè)量，即便我們用貝葉斯觀點(diǎn)賦予它一個(gè)分布，如何避免主觀偏倚仍是問(wèn)題。其次，使用正規(guī)模型時(shí)，可計(jì)算的點(diǎn)估計(jì)量和參數(shù)值服從的分布往往是大相徑庭的。如果使用參數(shù)值的分布來(lái)定義信息量，那將與實(shí)際可行的統(tǒng)計(jì)推斷流程背道而馳。區(qū)別參數(shù)值和對(duì)其的點(diǎn)估計(jì)，是搞清問(wèn)題的關(guān)鍵。

? 在推定\theta 值前，我們用先驗(yàn)分布Pr（\theta ）表示其不確定狀況，由貝葉斯公式可得到P（X=x）=E_{ Pr(\theta)} P（X=x| \theta ）。從而得出“推定前”信息量I_{0} =-\log P（X=x）。

? 推定過(guò)程實(shí)際上就是用基于觀測(cè)值的點(diǎn)估計(jì)m(x)去代換上文中的\theta_{0}，從而得出條件概率（非貝葉斯派稱其為似然）P（X=x| \theta =m（x） ）。當(dāng)似然較大時(shí)它給出更小的信息量。然而，新的概率分布需要更換新的編碼來(lái)適應(yīng)，所以此時(shí)除了記錄觀測(cè)值外，還需要額外信息來(lái)記錄點(diǎn)估計(jì)m（x），它的值指明了更換到哪一個(gè)條件分布?？傊?/p>

? 在推定\theta 值后，我們記錄兩部分信息：前者是點(diǎn)估計(jì)m(x)，其信息量為-\log P（m(X)=m(x)）。式中概率同樣可用貝葉斯公式求得：P（m(X)=m(x)）=E_{ Pr(\theta)} P（m(X)=m(x)| \theta ）。后者是觀測(cè)值的新編碼，其長(zhǎng)度為-\log P（X=x| \theta =m（x） ）。兩者的總和即是“推定后”信息量I。

? 推定前后信息量之差:I-I_{0} =\log \frac{P（X=x）}{P（m(X)=m(x))P（X=x| \theta =m（x） ）}

可定義為參數(shù)值的信息量。我們可以利用其數(shù)值作為選取點(diǎn)估計(jì)方法m( )和評(píng)價(jià)先驗(yàn)Pr（\theta ）的依據(jù)。

? 通常的統(tǒng)計(jì)決策論是用風(fēng)險(xiǎn)最小化（有時(shí)表述為效用最大化）來(lái)確定估計(jì)方法m( )的。在x，\theta 取值數(shù)均有限的特殊情形，m( )可表述為將X值域劃分為多個(gè)獨(dú)立子集的問(wèn)題，每一獨(dú)立子集對(duì)應(yīng)一個(gè)不同的估計(jì)值，適當(dāng)?shù)膭澐挚捎上铝械膬?yōu)化問(wèn)題解出：

m(x)=arg min\sum P（x，\theta ）L（m（x）,\theta ）

?式中L（m（x）,\theta ）是適當(dāng)?shù)膿p失函數(shù)，損失函數(shù)本身也要滿足一定的要求，它們是上述優(yōu)化問(wèn)題未列出的約束條件。一般情況下，該問(wèn)題是NP困難的，從而求出風(fēng)險(xiǎn)最小的m(x)消耗的計(jì)算時(shí)間，可能會(huì)隨取值數(shù)呈指數(shù)增長(zhǎng)（根據(jù)強(qiáng)指數(shù)時(shí)間假設(shè)SETH）。

? 然而，從另一個(gè)角度來(lái)考慮：動(dòng)用如此龐大的計(jì)算資源，是與參數(shù)值本身的信息量不相配的。我們提議這樣的原則：估計(jì)量的計(jì)算復(fù)雜度應(yīng)該與該估計(jì)量求得的信息量相適配（例如：相差不超過(guò)多項(xiàng)式函數(shù)）。

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容