一、HMM建模

圖1.1 HMM建模過(guò)程

HMM參數(shù)：

圖1.2 HMM參數(shù)

二、HMM的3個(gè)假設(shè)

（一）馬爾科夫假設(shè)

圖2.1 馬爾科夫假設(shè)

（二）觀測(cè)獨(dú)立性假設(shè)

圖2.2 觀測(cè)獨(dú)立性假設(shè)

（三）不變性假設(shè)

轉(zhuǎn)移矩陣 $A$ 不隨時(shí)間變化。

三、HMM的3個(gè)問(wèn)題

（一）概率計(jì)算／評(píng)估 ------ likelihood

給定模型參數(shù)以及觀測(cè)序列，求當(dāng)前模型參數(shù)下生成給定觀測(cè)序列的概率。

圖3.1 likelihood問(wèn)題

1、窮舉法

圖3.2 窮舉法

2、前向后向算法

為了降低窮舉法的計(jì)算復(fù)雜度。

圖3.3 前向后向算法1

注：在概率計(jì)算問(wèn)題中，無(wú)需用到后向概率。之所以計(jì)算后向概率，是為參數(shù)估計(jì)問(wèn)題服務(wù)。

圖3.4 前向后向算法2

3、維特比近似

與窮舉法、前向后向算法遍歷所有可能的狀態(tài)序列不同的是，維特比近似使用最大概率狀態(tài)序列代替所有可能的狀態(tài)序列進(jìn)行近似計(jì)算，具體算法參見(jiàn)（二）解碼問(wèn)題中的維特比算法。

圖3.5 維特比近似

（二）解碼／狀態(tài)分割 ------ decoding

給定模型參數(shù)以及觀測(cè)序列，求當(dāng)前模型參數(shù)下，給定觀測(cè)序列，使得觀測(cè)序列生成概率最大的狀態(tài)序列。

圖3.6 decoding問(wèn)題

1、近似算法

圖3.7 近似算法

2、維特比算法

圖3.8 維特比算法1

圖3.9 維特比算法2

圖3.10 維特比算法3

關(guān)于概率計(jì)算問(wèn)題中的維特比近似：

圖3.11 維特比算法4

注意：近似算法與維特比算法得到的狀態(tài)路徑常不同。

（三）參數(shù)估計(jì) ------ training

若觀測(cè)序列和狀態(tài)序列都已知，屬于監(jiān)督學(xué)習(xí)問(wèn)題，應(yīng)用MLE；
通常觀測(cè)序列已知，狀態(tài)序列未知，屬于無(wú)監(jiān)督學(xué)習(xí)問(wèn)題，應(yīng)用EM。

圖3.12 training問(wèn)題

首先得確定HMM拓?fù)浣Y(jié)構(gòu)：

圖3.13 HMM拓?fù)浣Y(jié)構(gòu)1

圖3.14 HMM拓?fù)浣Y(jié)構(gòu)2

圖3.15 HMM拓?fù)浣Y(jié)構(gòu)3

1、分段k-means／Viterbi訓(xùn)練

1）GSM-HMM

圖3.16 GSM-HMM

2）GMM-HMM

圖3.17 GMM-HMM1

分裂高斯：
（1）通過(guò)加上或減去小數(shù)字調(diào)整均值；
（2）將原高斯分量權(quán)重一分為二，分給生成的高斯分量。

圖3.18 分裂高斯

$N$ 個(gè)高斯分量變?yōu)?img class="math-inline" src="https://math.jianshu.com/math?formula=N%2B1" alt="N+1" mathimg="1">個(gè)高斯分量。

圖3.19 GMM-HMM2

圖3.20 GMM-HMM3

維特比訓(xùn)練將每個(gè)觀測(cè)值唯一地分配給一個(gè)狀態(tài)：

圖3.21 維特比訓(xùn)練

這只是一種估計(jì)，有可能會(huì)出錯(cuò)。

2、Baum Welch算法／前向后向算法

soft decision ------ 將每個(gè)觀測(cè)值以一定的概率分配給每個(gè)狀態(tài)。
1）GSM-HMM
E步：根據(jù)當(dāng)前參數(shù)，計(jì)算下面2個(gè)統(tǒng)計(jì)量。
$\gamma_t (j)$ ：在 $t$ 時(shí)刻占據(jù)狀態(tài) $j$ 的概率。