最大熵

最大熵模型

  • definition
    假設(shè)滿足所有約束條件的模型集合為

C\equiv P\epsilon P|E_p(f_i)=E_{\hat{p}}(f)
定義在條件概率分布
P(X|Y)上的條件熵為 H(P)=-\sum_{x,y}\hat{P}(x)p(y|x)logP(Y|x)
最大熵的模型學(xué)習(xí)過程就是求解最大熵模型的過程，最大熵模型的學(xué)習(xí)可以形式化為約束最優(yōu)化問題。顧最大熵模型的學(xué)習(xí)等價(jià)于約束最優(yōu)化問題：
max(P\epsilon C) \ H(P)=-\sum_{x,y}\hat{P}(x)p(y|x)logP(Y|x)\\ s.t. \ E_p(f_i)=E_{\hat{p}}(f),i=1,2,3....n\\ \sum_{y}P(y|x)=1
利用拉格朗日對(duì)偶性實(shí)現(xiàn)將約束最優(yōu)化問題轉(zhuǎn)化為無約束優(yōu)化對(duì)偶問題,
所以引入拉格朗日乘子w0,w1,...wn
L(P,w)=-H(P)+w_0(1-\sum_{y}P(y|x))+\sum_{i=1}^{n}w_i(E_p(f_i)=E_{\hat{p}}(f))
簡單理解，就是將條件都加入到拉格朗日方程中，然后下面用求解對(duì)偶問題的方法，將變量進(jìn)行進(jìn)一步轉(zhuǎn)化，從而對(duì)問題的求解
所以針對(duì)條件熵的最大值，用上面的解法，課得出來
P_w(y|x)=\frac{1}{Z_w(x)}exp{[\sum_{i}^{n}w_if_i(x,y)]} \\其中Z_w(x)=\sum_{y}exp(w_if_i(x,y))

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容