概率模型是概率分布$p(x|\theta)$的集合。我們并不知道具體參數(shù)$\theta$是什么，需要進(jìn)行推測。例如對于給定的數(shù)據(jù)$x$，我們想建立一個高斯分布模型$p(x|\theta), \theta = {\mu, \Sigma}$。注意這里隱含著一個重要的假設(shè)，即所有數(shù)據(jù)都是獨(dú)立同分布的（iid），即
$$
x_i \mathop{\sim}^{iid} p(x|\theta),\ i = 1, \ldots, n
$$
所有這些數(shù)據(jù)$x$的聯(lián)合概率分布可以寫為
$$
p(x_1,\ldots,x_n|\theta) = \prod_{i=1}^n p(x_i|\theta)
$$

求解的過程是要設(shè)計(jì)一個目標(biāo)函數(shù)。這個函數(shù)含有已知的數(shù)據(jù)和未知的變量，它會隱含地告訴我們什么樣的參數(shù)是好的參數(shù)。常見的求解概率模型的方法就是最大似然（即尋找可以將似然函數(shù)最大化的未知數(shù)），即對找出能使$p$最大的$\theta$。形式化地，最優(yōu)解$\hat{\theta}{\rm ML}$為
$$
\hat{\theta}{\rm ML} = \mathop{\rm arg}\max_\theta p(x_1, \ldots, x_n|\theta)
$$
這個$\theta$是下式的解析解
$$
\nabla_\theta \prod_{i=1}^n p(x_i|\theta) = 0
$$
即該$\theta$使得聯(lián)合概率分布的梯度為0

由于多項(xiàng)式乘法求導(dǎo)起來比較麻煩，可以使用“l(fā)og trick”做一個轉(zhuǎn)化。其原理在于，使得$f(x)$取得最大值的$\hat{x}$也能使$\log(f(x))$取得最大值。因此
$$
\hat{\theta}{\rm ML} = \mathop{\rm arg}\max\theta \prod_{i=1}^n p(x_i|\theta) = \mathop{\rm arg}\max_\theta \ln\left(\prod_{i=1}^n p(x_i|\theta)\right) = \mathop{\rm arg}\max_\theta \sum_{i=1}^n \ln p(x_i|\theta)
$$
即要求解下面的方程：
$$
\nabla_\theta \sum_{i=1}^n \ln p(x_i|\theta) = \sum_{i=1}^n \nabla_\theta \ln p(x_i | \theta) = 0
$$

求解方式有兩種

• 解析形式：通過一系列等式推導(dǎo)
• 數(shù)值形式：迭代求解，等待收斂。如果收斂到了一個局部最優(yōu)解，則只能看作是真正解的近似值

將最大似然用在求解多變量高斯分布上，有

1. 求解$\mu$
   \begin{aligned}
   0 &= \nabla_\mu \sum_{i=1}^n \ln \frac{1}{\sqrt{(2\pi)^d|\Sigma|}}\exp\left(-\frac{1}{2}(x_i - \mu)^T\Sigma{-1}(x_i - \mu)\right) \
   &= \nabla_\mu \sum_{i=1}^n -\ln \sqrt{(2\pi)^d|\Sigma|} + \ln \exp\left(-\frac{1}{2}(x_i - \mu)^T\Sigma{-1}(x_i - \mu)\right) \
   &= \nabla_\mu \sum_{i=1}^n -\frac{1}{2} \ln(2\pi)^d |\Sigma| - \frac{1}{2}(x_i - \mu)^T \Sigma^{-1} (x_i - \mu)
   \end{aligned}
   第一項(xiàng)不帶$\mu$，對$\mu$求導(dǎo)為0，所以只需要考慮第二項(xiàng)，即
   \begin{aligned}
   0 &= \frac{1}{2} \sum_{i=1}^n \nabla_\mu \left((x_i - \mu)^T \Sigma^{-1}(x_i - \mu)\right) \
   &= \frac{1}{2} \sum_{i=1}^n \nabla_\mu \left(x_i^T\Sigma{-1}x_i - x_i^T\Sigma{-1}\mu -\mu^T\Sigma{-1}x_i + \mu^T\Sigma{-1}\mu \right)
   \end{aligned}
   根據(jù)以下兩條列向量求導(dǎo)法則
   $$
   \frac{\partial {\mathbf a}^T{\mathbf x}}{\partial {\mathbf x}} = \frac{\partial {\mathbf x}^T{\mathbf a}}{\partial {\mathbf x}} = {\mathbf a} \
   \frac{\partial {\mathbf x}^T{\mathbf A}{\mathbf x}}{\partial{\mathbf x}} = 2{\mathbf A}{\mathbf x}\ \ ({\mathbf A}不是{\mathbf x}的函數(shù)且為對稱矩陣)
   $$
   上式可化簡為
   $$
   0 = \frac{1}{2}\sum_{i=1}^n -2\Sigma^{-1}x_i + 2\Sigma^{-1}\mu
   $$
   由于$\Sigma$是正定矩陣，因此
   $$
   \sum_{i=1}^n (x_i - \mu) = 0 \Rightarrow \hat{\mu}{\rm ML} = \frac{1}{n}\sum{i=1}^n x_i
   $$