p319 - p330
今天在寢室宅了一天
或者說玩了一天：）
晚上好運吧
進入第14章

第14章 概率圖模型

14.1 隱馬爾科夫模型

概率模型提出了一種描述框架，將學習任務歸結于計算變量的概率分布。

生成式vs判別式
生成式考慮的是建立聯(lián)合分布P（Y,R,O）
判別式考慮條件分布P（Y,R|O）

概率圖模型是一類用圖來表達變量相關關系的概率模型。
節(jié)點表示一個或一組隨機變量。
節(jié)點之間的邊表示變量間的概率相關關系，即“變量關系圖”。
根據邊的性質不同，分為兩類：
1）用DAG表示變量間的依賴關系，稱為有向圖或貝葉斯網
2）使用無向圖表示變量相關關系，稱為無向圖模型或馬爾科夫網。

隱馬爾科夫模型（HMM）是結構最簡單的貝葉斯網。有向圖模型、
狀態(tài)變量、觀測變量。
狀態(tài)轉移概率矩陣A，輸出觀測概率矩陣B，初始狀態(tài)概率π。

通過制定狀態(tài)空間、觀測空間、ABπ就能確定一個隱馬爾科夫模型。
產生觀測序列的過程：
1）選擇初始狀態(tài)。
2）選擇觀測變量取值。
3）選擇轉移
4）重復（1）-（3）

實際應用中關注三個基本問題：
1）給定模型，如何有效計算產生觀測序列的概率？即如何評估模型與觀測序列的匹配程度。
例：根據以往觀測序列計算當前時刻最有可能的觀測值。
2）給定模型與觀測序列，如何找到與觀測最匹配的狀態(tài)序列。
例：語音識別中根據觀測信號推測狀態(tài)序列（對應文字）
3）給定觀測序列，如何確定模型參數(shù)使出現(xiàn)此序列的概率最大。
例：人工指定模型參數(shù)不靠譜，怎么學出來最好的參數(shù)。

14.2 馬爾科夫隨機場

馬爾科夫隨機場（MRF）是典型的馬爾科夫網。

圖中每個節(jié)點表示一個或一組變量，節(jié)點之間的邊表示兩個變量之間的依賴關系。

馬爾科夫隨機場有一組勢函數(shù)，來定義概率分布函數(shù)。

馬爾科夫隨機場中，多個變量之間的聯(lián)合概率分布能基于團分解成多個因子的乘積，每個因子僅與一個團相關。
用團太多了，所以只用極大團。

對條件獨立性的定義：
見p32圖14.3 若從點集A到點集B中的結點必須經過點集C中的結點，則稱A和B被C分離，C稱為“分離集”。
對馬爾科夫隨機場有：全局馬爾科夫性，即給定兩個變量子集的分離集，則這兩個變量子集條件獨立。

由全局馬爾科夫性可獲得兩個推論：局部馬爾科夫性，成對馬爾可夫性。詳細見p324-325。

對于勢函數(shù)，非負且在所偏好的變量取值上有較大函數(shù)值。

14.3 條件隨機場

隱馬爾科夫與HMM都是生成式
條件隨機場（CRF）是一種判別式，計算的是條件概率。

若圖G中的每個變量yv都滿足馬爾科夫性，則（y,x）構成一個條件隨機場。

主要討論鏈式條件隨機場，結構見p326圖14.6

14.4 學習與推斷

“條件分布”、“邊際分布”

參數(shù)確定：稱為參數(shù)估計或參數(shù)學習。
通常使用極大似然估計或最大后驗概率估計。
若將參數(shù)視為待推測的變量，則參數(shù)估計很像“推斷”。

推斷問題的目標就是計算邊際概率與條件概率。

推斷方法大致分為兩類：精確推斷、近似推斷。