馬爾科夫過程

????????一類重要的隨機(jī)過程,它的原始模型馬爾可夫鏈,由俄國(guó)數(shù)學(xué)家Α.Α.馬爾可夫于1907年提出。人們?cè)趯?shí)際中常遇到具有下述特性的隨機(jī)過程:在已知它所處的狀態(tài)的條件下,它未來的演變不依賴于它以往的演變。這種已知“現(xiàn)在”的條件下,“將來”與“過去”獨(dú)立的特性稱為馬爾可夫性,具有這種性質(zhì)的隨機(jī)過程叫做馬爾可夫過程。荷花池中一只青蛙的跳躍是馬爾可夫過程的一個(gè)形象化的例子。青蛙依照它瞬間或起的念頭從一片荷葉上跳到另一片荷葉上,因?yàn)榍嗤苁菦]有記憶的,當(dāng)所處的位置已知時(shí),它下一步跳往何處和它以往走過的路徑無關(guān)。如果將荷葉編號(hào)并用X0,X1,X2,…分別表示青蛙最初處的荷葉號(hào)碼及第一次、第二次、……跳躍后所處的荷葉號(hào)碼,那么{Xn,n≥0} 就是馬爾可夫過程。液體中微粒所作的布朗運(yùn)動(dòng),傳染病受感染的人數(shù),原子核中一自由電子在電子層中的跳躍,人口增長(zhǎng)過程等等都可視為馬爾可夫過程。還有些過程(例如某些遺傳過程)在一定條件下可以用馬爾可夫過程來近似。

? ? 感覺就是前后無關(guān)。

? ??某游戲有一種稀有武器——屠龍刀,屠龍刀可以強(qiáng)化到10級(jí)(初始1級(jí)),對(duì)應(yīng)的強(qiáng)化規(guī)則如下:

 等級(jí)成功等級(jí)失敗等級(jí)成功概率失敗概率


求得到一把+10的屠龍刀所需的強(qiáng)化次數(shù)。

狀態(tài)轉(zhuǎn)移矩陣:


狀態(tài)轉(zhuǎn)移矩陣

?第一行的1~10代表抵達(dá)狀態(tài),第一列的1~10代表出發(fā)狀態(tài)

·?如圖第2行第3列的值0.7,表示的是:從狀態(tài)1→狀態(tài)2的概率是0.7(強(qiáng)化成功事件),狀態(tài)1→狀態(tài)1的概率是0.3(強(qiáng)化失敗事件)

·?保證每一行的概率之和為1

·?該矩陣表示每次強(qiáng)化只有成功和失敗退回到指定等級(jí)這2種事件,可自行定義升級(jí)暴擊等事件(有很小幾率從1升到3之類)


import random

p=[70,60,50,40,30,25,20,15,10]

lv2=[1,1,1,2,3,4,5,6,7,10]

total=0

for i in range(10000):

? ? lv=1

? ? trycount=0

? ? while lv<10:

? ? ? ? if random.randint(1,100)<=p[lv-1]:

? ? ? ? ? ? lv+=1

? ? ? ? ? ? trycount+=1

? ? ? ? else:

? ? ? ? ? ?lv=lv2[lv-1]

? ? ? ? ? ?trycount+=1

? ? total+=trycount?

print total/10000

最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 起初看馬爾科夫過程是想找一些方法解決現(xiàn)有實(shí)驗(yàn)中的一個(gè)問題,但考察下來感覺不適合,但也把學(xué)習(xí)的東西記下來。 馬爾科夫...
    浮云匿晨暉閱讀 3,878評(píng)論 0 2
  • 馬爾科夫過程描述的是空間狀態(tài)經(jīng)過一個(gè)狀態(tài)到另一個(gè)狀態(tài)轉(zhuǎn)換的隨機(jī)過程。該過程要求具備“無記憶”性質(zhì),也就是下一狀態(tài)的...
    miahuang閱讀 6,243評(píng)論 0 1
  • 馬爾科夫過程的優(yōu)化 強(qiáng)化學(xué)習(xí)是agent與環(huán)境之間的迭代交互,需要考慮幾點(diǎn): 處于某種狀態(tài),決策者將在該狀態(tài)下選擇...
    80a7ba2dd31d閱讀 398評(píng)論 0 10
  • FMDs FMDs(finite Markov decision processes):對(duì)在一種連續(xù)性過程中不斷做...
    世界上的一道風(fēng)閱讀 1,067評(píng)論 0 0
  • 《劍橋PLAYWAY國(guó)際兒童英語》是一套專為全球3--7歲非英語國(guó)家兒童設(shè)計(jì)的零起點(diǎn)英語教材,在教學(xué)過程始終滲...
    企鵝小貝蓓閱讀 12,380評(píng)論 0 0

友情鏈接更多精彩內(nèi)容