條件隨機(jī)場(chǎng)(Conditional Random Field,簡(jiǎn)稱CRF)是一種判別式無(wú)向圖模型,我們都知道,生成式模型直接對(duì)聯(lián)合分布進(jìn)行建模,而判別式模型則是對(duì)條件分布進(jìn)行建模,馬爾可夫隨機(jī)場(chǎng)是生成式模型,而條件隨機(jī)場(chǎng)是判別式模型。
條件隨機(jī)場(chǎng)試圖對(duì)多個(gè)變量在給定觀測(cè)值后的條件概率進(jìn)行建模,具體來(lái)說(shuō),若給定觀測(cè)序列x,以及標(biāo)記序列y,條件隨機(jī)場(chǎng)的目的就是構(gòu)建條件概率模型p(y|x),需注意的是,標(biāo)記變量y可以是結(jié)構(gòu)型變量,即其分量之間具有某種相關(guān)性,例如在自然語(yǔ)言的詞性標(biāo)注任務(wù)中,觀測(cè)數(shù)據(jù)為語(yǔ)句(即單詞序列)。標(biāo)記為相應(yīng)的詞性序列,具有線性序列結(jié)構(gòu),如下圖所示,輸出為樹(shù)形結(jié)構(gòu)的語(yǔ)法樹(shù):

我們根據(jù)馬爾可夫性,有如下的關(guān)系:

理論上說(shuō),圖G可以有任意的結(jié)構(gòu),只要能表示標(biāo)記變量之間的條件獨(dú)立性關(guān)系即可。但在實(shí)際應(yīng)用中,尤其對(duì)標(biāo)記序列建模時(shí),最常用的是下圖所示的鏈?zhǔn)浇Y(jié)構(gòu),即“鏈?zhǔn)綏l件隨機(jī)場(chǎng)”,這也是我們用到最多的條件隨機(jī)場(chǎng)類型:

與馬爾可夫隨機(jī)場(chǎng)類似,條件隨機(jī)場(chǎng)使用勢(shì)函數(shù)和圖結(jié)構(gòu)上的團(tuán)來(lái)定義條件概率P(y|x),給定觀測(cè)序列x,鏈?zhǔn)綏l件隨機(jī)場(chǎng)主要包含兩種關(guān)于標(biāo)記變量的團(tuán),即單個(gè)標(biāo)記變量yi,以及相鄰的標(biāo)記變量{yi-1,yi},選擇合適的勢(shì)函數(shù),可以得到下面的條件概率定義,在條件隨機(jī)場(chǎng)中,通過(guò)選用指數(shù)勢(shì)函數(shù)并引入特征函數(shù),條件概率被定義為:

