大師兄的貝葉斯網絡學習筆記（三十三）：貝葉斯網絡（七）
大師兄的貝葉斯網絡學習筆記（三十五）：貝葉斯網絡（九）

七、缺值數據最大似然估計

• 在分析缺值數據時，人們往往假設數據是隨機缺失（missing at random,MAR）的，即一個變量值的確實與它的實際取值無關，從而不能基于前者對后者做任何推測。

• 設D是一個樣本
• O是所有其值在D中已知變量的集合
• H是其值在D未知的一個變量

• 隨機缺失假設可表述為：。
• 隨機缺失假設有時不成立，這時可以引入一個輔助變量，

• 當H的取值被觀測到時，他的取值為“真”；
• 而當H值缺時，它的取值為“假”。

• 顯然的取值總是已知的，而且。
• 所以通過引入輔助變量，總可以保證隨機缺失假設成立。
• 引入意味著在建立貝葉斯網絡時需要把它考慮進去。
• 在完整數據情況下，最大似然估計可以用一個閉公式(closed formula)來計算。
• 但當數據有缺失時，不能按上面公式的形式分解，對數似然函數也沒有計算最大似然估計的閉公式。在實際中，人們通常使用迭代法對它進行近似。
• 最常用的迭代算法，即期望優(yōu)化(expectation maximization)算法，簡稱EM算法。