2.3.8 周期變量

對于某些連續(xù)變量（比如周期變量），使用高斯分布建模并不合適。

為什么不合適？


考慮觀測數(shù)據(jù)集D=\{\theta_1,\theta_2,...,\theta_N\}的均值問題，首先假設\theta為弧度，很明顯平均值\frac{\theta_1+\theta_2+...+\theta_N}{N}強烈依賴坐標系（原點）的選取。為了找一個均值不變的度量，我們將觀測當做單位圓上的點，這樣就可以被描述成一個二維的單元向量x_1,x_2...x_n（取值區(qū)間在-1到1），求平均也就是
\hat x = \frac{1}{N}\sum^N_{n=1}x_n
根據(jù)該均值\hat x找到對應的角度\hat \theta，這個定義將會保證均值的位置與極坐標原點的選擇無關（？？？）。另外\hat x通常位于單位圓的內部。在笛卡爾坐標系下x_n=(cos\theta_n, sin\theta_n)，因此樣本均值的笛卡爾坐標\hat x = (\hat r cos\hat \theta, \hat r sin\hat \theta)，帶入上面的均值公式可得：
\hat x_1 = \hat r cos\hat \theta=\frac{1}{N}cos\theta_n, \hat x_2 = \hat r sin\hat \theta=\frac{1}{N}sin\theta_n,
使用公式tan\theta = \frac{sin\theta}{cos\theta}可以求出\hat \theta，也就是觀測數(shù)據(jù)集D=\{\theta_1,\theta_2,...,\theta_N\}的均值。
\hat \theta = tan^{-1}\{\frac{\sum_n sin\theta_n}{\sum_n cos\theta_n}\}

現(xiàn)在我們考慮高斯分布對于周期變量的一個推廣: von Mises 分布。
按照慣例我們考慮周期函數(shù)分布p(\theta)的周期為2\pi，滿足下面三個條件：
p(\theta)>0\\ \int^{2\pi}_0p(\theta)d\theta = 1\\ p(\theta+2\pi)=p(\theta)
我們可以很容易地得到一個類似高斯的分布,滿足這三個性質：兩個變量x=(x_1,x_2)的高斯分布,均值為\mu=(\mu_1,\mu_2),協(xié)方差矩陣為\Sigma=\sigma^2 I,其中I是個2×2的單位矩陣。因此
p(x_1,x_2)=\frac{1}{2\pi\sigma^2}exp\{-\frac{(x_1-\mu_1)^2+(x_2-\mu_2)^2}{2\sigma^2}\}
概率p(x)為常數(shù)的輪廓線是圓形,如圖所示。


該分布沿著一個固定半徑的圓周的值。如果我們將這個分布的形式從笛卡爾坐標系轉換到極坐標系，這樣的分布具有周期性。
x_1 = r cos\theta, x_2 = r sin\theta\\ \mu_1 = r_0 cos\theta_0, \mu_2 = r_0 sin\theta_0

替換到高斯分布的公式里面，考察指數(shù)項（只有指數(shù)項與
\theta
相關）：
-\frac{1}{2\sigma^2}\{(rcos\theta-r_0cos\theta_0)^2+(rsin\theta-r_0sin\theta)^2\}\\ =-\frac{1}{2\sigma^2}\{1+r_0^2-2r_0cos\theta cos\theta_0-2r_0sin\theta sin\theta_0\}\\ =\frac{r_0}{\sigma}cos(\theta-\theta_0)+C

定義
m = \frac{r_0}{\sigma^2}
，我們得到在單位圓
r=1
上的概率分布
p(\theta)
的表達式：
p(\theta|\theta_0,m)=\frac{1}{2\pi I_0(m)}\exp\{mcos(\theta-\theta_0)\}

這被稱為von Mises分布，或者環(huán)形正態(tài)分布( circular normal )。其中
\theta_0
對應分布的均值，m被稱為concentration參數(shù)，類似于高斯分布的精度，歸一化系數(shù)
I_0(m)
是零階修正的第一類 Bessel 函數(shù)（？？？）
I_0(m) = \frac{1}{2}\int^{2\pi}_0\exp\{mcos{2\theta}\}d\theta

對于大的m值，分布逼近高斯分布。

現(xiàn)在考慮von Mises 分布中參數(shù)m和\theta_0的最大似然估計，對數(shù)似然函數(shù)：
\ln p(D|\theta_0, m) = -N\ln(2\pi)-N\ln(I_0(m))+m\sum^N_{n=1}cos(\theta_n-\theta_0)

  1. 求\theta
    令關于\theta_0的導數(shù)為0：
    \sum^N_{n=1}sin(\theta_n-\theta_0)=0
    使用三角恒等式
    sin(A-B)=cosBsinA-cosAsinB
    我們有
    \theta_0^{ML}=tan^{-1}\{\frac{\sum_n sin\theta_n}{\sum_n cos\theta_n}\}
    這跟我們之前在二維笛卡爾空間的觀測下求取的均值\hat \theta = tan^{-1}\{\frac{\sum_n sin\theta_n}{\sum_n cos\theta_n}\}相同

  2. 求m
    這里沒看懂，直接貼圖


?著作權歸作者所有,轉載或內容合作請聯(lián)系作者
【社區(qū)內容提示】社區(qū)部分內容疑似由AI輔助生成，瀏覽時請結合常識與多方信息審慎甄別。
平臺聲明：文章內容（如有圖片或視頻亦包括在內）由作者上傳并發(fā)布，文章內容僅代表作者本人觀點，簡書系信息發(fā)布平臺，僅提供信息存儲服務。

相關閱讀更多精彩內容

友情鏈接更多精彩內容