起初看馬爾科夫過程是想找一些方法解決現(xiàn)有實驗中的一個問題，但考察下來感覺不適合，但也把學習的東西記下來。
馬爾科夫過程指的是一類隨機過程，該過程具有如下特性：在已知目前狀態(tài) (現(xiàn)在)的條件下，它未來的演變 (將來)不依賴于它以往的演變 ( 過去 ) 。在現(xiàn)實世界中，有很多過程都屬于馬爾可夫過程，例如布朗運動、謠言傳播、游樂園游玩人數(shù)等?；▍仓械囊恢幻鄯涞牟擅圻^程是馬爾可夫過程的一個形象化的例子。蜜蜂依照它瞬間的念頭從一朵花上飛到另一朵花上采蜜，因為蜜蜂是沒有記憶的，當現(xiàn)在所處的花朵位置已知時，它將來飛往何處和它以往呆過的花朵都無關。如果用X0,X1,X2,…分別表示蜜蜂剛開始采蜜的花朵以及將來去的采蜜的花朵，那么{Xt，t≥0} 就是一個馬爾可夫過程。而Xt+1發(fā)生的概率只與Xt有關。由此，我們可以得出馬爾科夫過程的公式：
馬爾科夫過程的公式
讓我們用天氣的預測來進一步解釋馬爾科夫過程的實際應用。假設天氣的狀態(tài)有三種：晴天，陰天，雨天。而氣象學家和統(tǒng)計學家合力計算出來一個狀態(tài)轉換矩陣M，供預測天氣使用。這個矩陣表面，如果今天是陰天的話，明天還是陰天的概率是0.125。
天氣的狀態(tài)轉換矩陣M
我們暫且相信這個狀態(tài)轉換矩陣是相對正確的。那么，問題來了，假設今天是晴天，后天是雨天的概率是多少呢？如果我們假設天氣的狀態(tài)都只依賴于前一天的狀態(tài)，即馬爾科夫假設，這樣就可以簡化天氣預測問題。我們可以定義今天的天氣狀態(tài)向量為X0=[ 1,0,0 ] (晴天)。那么X2=X0MM（X2=X1M，X1=X0M）。
