大師兄的貝葉斯網(wǎng)絡(luò)學(xué)習(xí)筆記（四十）：貝葉斯網(wǎng)絡(luò)（十四）

八、結(jié)構(gòu)學(xué)習(xí)

1. 似然函數(shù)與模型選擇

• 參數(shù)學(xué)習(xí)假設(shè)已知變量間的定性關(guān)系，通過數(shù)據(jù)分析揭示變量間的定量關(guān)系。
• 結(jié)構(gòu)學(xué)習(xí)則是要同時揭示變量間的定性和定量關(guān)系。一般分兩步討論：

• 模型選擇(model selection)：用什么樣的準(zhǔn)則來評判不同模型結(jié)構(gòu)之優(yōu)劣。
• 模型優(yōu)化(model optimization)：把最優(yōu)的模型結(jié)構(gòu)找出來。

1. 似然函數(shù)與模型選擇

• 設(shè)為一組隨機(jī)變量，是關(guān)于這些變量的一組數(shù)據(jù)，這里關(guān)心的是如何找出一個相對于D在某意義下最優(yōu)的貝葉斯網(wǎng)絡(luò)。
• 設(shè)G是一個以為節(jié)點的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)。
• G相對于數(shù)據(jù)D的優(yōu)劣可以用一個評分函數(shù)(scoring function)來度量：

• 最優(yōu)參數(shù)對數(shù)似然函數(shù)(parameter maximized loglikelihood function)是一個基于似然函數(shù)的評分準(zhǔn)則，簡稱優(yōu)參對數(shù)似然函數(shù)。
• 在貝葉斯框架下，推出另一個稱為評分的準(zhǔn)則。
• 在大樣本的前提下得到第三個準(zhǔn)則，即評分。

• 結(jié)構(gòu)G與相應(yīng)的參數(shù)集合組成貝葉斯網(wǎng)絡(luò)，這里給θ加下標(biāo)石因為不同的網(wǎng)絡(luò)結(jié)構(gòu)對應(yīng)不同的參數(shù)集合。
• 在貝葉斯網(wǎng)絡(luò)中，可以計算每一個樣本的概率，從而在I.I.d的假設(shè)下，可以計算。
• 在參數(shù)學(xué)習(xí)中，網(wǎng)絡(luò)結(jié)構(gòu)G已知，這就是參數(shù)向量的對數(shù)似然函數(shù)。
• 根據(jù)最大似然估計原則，相對于數(shù)據(jù)D最優(yōu)的參數(shù)值應(yīng)該使達(dá)到最大，即。
• 在結(jié)構(gòu)學(xué)習(xí)中，網(wǎng)絡(luò)結(jié)構(gòu)G和網(wǎng)絡(luò)參數(shù)都是需要確定的對象。
• 于是可以將視為二元組的對數(shù)似然函數(shù)，記為。
• 將最大似然函數(shù)估計原則加以推廣，得到如下原則：相對數(shù)據(jù)D最優(yōu)的貝葉斯網(wǎng)絡(luò)應(yīng)該是對數(shù)似然函數(shù)達(dá)到最大，即。
• 在概念上，尋找最優(yōu)貝葉斯網(wǎng)絡(luò)的2過程可以分成兩步：

• 第一步尋找最優(yōu)結(jié)構(gòu)
• 第二步優(yōu)化參數(shù)，為刻畫第一步所使用的準(zhǔn)則，對任一網(wǎng)絡(luò)結(jié)構(gòu)G，定義。

• 作為網(wǎng)絡(luò)結(jié)構(gòu)G的函數(shù)，稱為優(yōu)參對數(shù)似然函數(shù)。最優(yōu)結(jié)構(gòu)應(yīng)該使優(yōu)參對數(shù)似然函數(shù)達(dá)到最大，即，稱為最大優(yōu)慘似然準(zhǔn)則。