一、隱馬爾可夫模型的基本概念
1、隱馬爾可夫模型定義
隱馬爾可夫模型是關(guān)于時(shí)序的模型，
描述由一個(gè)隱藏的馬爾可夫鏈隨機(jī)生成不可觀測(cè)的狀態(tài)隨機(jī)序列， 再由各個(gè)狀態(tài)生成一個(gè)觀測(cè)而產(chǎn)生觀測(cè)隨機(jī)序列的過程，序列的每一個(gè)位置又可以看作是一個(gè)時(shí)刻。
組成：
- 初始概率分布
- 狀態(tài)轉(zhuǎn)移概率分布
-
觀測(cè)概率分布
image.png
隱馬爾可夫模型兩個(gè)基本假設(shè)：
image.png
2、觀測(cè)序列的生成過程
image.png
3、隱馬爾可夫模型的3個(gè)基本問題
（1）概率計(jì)算問題
image.png
（2）學(xué)習(xí)問題
image.png
（3）預(yù)測(cè)問題（解碼）
image.png
二、概率計(jì)算算法
1、直接計(jì)數(shù)法
image.png
最直接的方法：
image.png
image.png
復(fù)雜度（這種算法不可行）：
image.png
2、前向算法
前向概率
image.png
觀測(cè)序列概率的前向算法
image.png
image.png
復(fù)雜度：
image.png
image.png
3、后向算法
后向概率
image.png
觀測(cè)序列概率的后向算法
image.png
image.png
利用前向概率和后向概率的定義可以將觀測(cè)序列概率P(O|λ)統(tǒng)一寫成：
image.png
4、一些概率與期望值的計(jì)算
image.png
image.png
image.png
三、學(xué)習(xí)算法
-
監(jiān)督學(xué)習(xí)方法
假設(shè)訓(xùn)練數(shù)據(jù)是包括觀測(cè)序列O和對(duì)應(yīng)的狀態(tài)序列I
image.png
可以利用極大似然估計(jì)法來估計(jì)隱馬爾可夫模型參數(shù)。
- 非監(jiān)督學(xué)習(xí)方法：
計(jì)算訓(xùn)練數(shù)據(jù)只有S個(gè)長(zhǎng)度為T的觀測(cè)序{O1,O2,…Os}
采用Baum-Welch算法
1、監(jiān)督學(xué)習(xí)方法
已知：
image.png
（1）轉(zhuǎn)移概率的估計(jì)
image.png
（2）觀測(cè)概率的估計(jì)
image.png
（3）初始狀態(tài)概率的估計(jì)為S個(gè)樣本中初始狀態(tài)為qi的頻率
image.png
2、Baum-Welch算法
假定訓(xùn)練數(shù)據(jù)只包括{O1,O2,…Os}
求模型參數(shù) λ=(A,B,π)
實(shí)質(zhì)上是有隱變量的概率模型：EM算法
image.png
參數(shù)學(xué)習(xí)可由EM算法實(shí)現(xiàn)
（1）確定完全數(shù)據(jù)的對(duì)數(shù)似然函數(shù)
image.png
（2）EM算法的E步：求Q函數(shù)
image.png
（3）EM算法的M步：極大化函數(shù)求模型參數(shù)A,B,π
image.png
Baum-Welch算法
image.png
四、預(yù)測(cè)算法
1、近似算法
近似算法的想法：（得到的狀態(tài)有可能實(shí)際不發(fā)生）
image.png
2、維特比算法
用動(dòng)態(tài)規(guī)劃解概率最大路徑，一個(gè)路徑對(duì)應(yīng)一個(gè)狀態(tài)序列。
最優(yōu)路徑特性：
image.png
image.png
維特比算法
image.png
