在滿足約束條件的模型集合中選取熵最大的模型,即不確定最大熵模型。
最大熵模型就是要學(xué)習(xí)到合適的分布 P(y|x) ,使得條件熵 H(P) 的取值最大。在對(duì)訓(xùn)練數(shù)據(jù)集一無(wú)所知的情況下,最大熵模型認(rèn)為 P(y|x) 是符合均勻分布的。

image.png
在滿足約束條件的模型集合中選取熵最大的模型,即不確定最大熵模型。
最大熵模型就是要學(xué)習(xí)到合適的分布 P(y|x) ,使得條件熵 H(P) 的取值最大。在對(duì)訓(xùn)練數(shù)據(jù)集一無(wú)所知的情況下,最大熵模型認(rèn)為 P(y|x) 是符合均勻分布的。