日韩伊人蜜臀,婷婷国产视频

在一篇文章強(qiáng)化學(xué)習(xí)與馬爾可夫決策中，介紹了使用馬爾可夫決策過(guò)程對(duì)強(qiáng)化學(xué)習(xí)的過(guò)程進(jìn)行建模。通過(guò)建模可以得出，只要求解最優(yōu)價(jià)值函數(shù)，即可得到對(duì)應(yīng)的最優(yōu)策略。那么如何求解最優(yōu)價(jià)值函數(shù)呢？本篇文章將介紹一些最優(yōu)價(jià)值函數(shù)的求解算法。

predict和control

首先介紹一下強(qiáng)化學(xué)習(xí)的兩個(gè)基本問(wèn)題，預(yù)測(cè)和控制。

predict

在已知狀態(tài)集 $S$ ，動(dòng)作集 $A$ ，模型狀態(tài)轉(zhuǎn)化概率矩陣 $P$ ，即時(shí)獎(jiǎng)勵(lì) $R$ ，衰減因子 $\gamma$ 的條件下，給定策略 $\pi$ ，預(yù)測(cè)該策略的狀態(tài)價(jià)值函數(shù) $v(\pi)$ 。這一過(guò)程一般稱(chēng)為策略評(píng)估。

control

在已知狀態(tài)集 $S$ ，動(dòng)作集 $A$ ，模型狀態(tài)轉(zhuǎn)化概率矩陣 $P$ ，即時(shí)獎(jiǎng)勵(lì) $R$ ，衰減因子 $\gamma$ 的條件下，求解最優(yōu)的狀態(tài)價(jià)值函數(shù) $v_*$ 和最優(yōu)策略 $\pi_*$ 。

從mode-based的方面去看這兩個(gè)問(wèn)題其實(shí)更好理解，在了解模型機(jī)制的基礎(chǔ)上，預(yù)測(cè)所有可能的狀態(tài)價(jià)值函數(shù)，然后基于預(yù)測(cè)的值，來(lái)選取最優(yōu)價(jià)值函數(shù)和最優(yōu)策略，這個(gè)過(guò)程被稱(chēng)為策略迭代。

動(dòng)態(tài)規(guī)劃

動(dòng)態(tài)規(guī)劃是一種可以求解強(qiáng)化學(xué)習(xí)兩個(gè)基本問(wèn)題的一種方式，其理論依據(jù)是貝爾曼方程。狀態(tài)價(jià)值函數(shù)的貝爾曼方程如下：

$v_\pi=\sum_{a\epsilon A}\pi(a|s)(R_a^s+\gamma\sum_{{s'}\epsilon S}P_{ss'}^av_\pi(s'))$

通過(guò)這個(gè)公式可以看出，當(dāng)前迭代周期某狀態(tài) $s$ 的狀態(tài)價(jià)值，可以通過(guò)上一個(gè)迭代周期內(nèi)的狀態(tài)價(jià)值來(lái)計(jì)算更新。這就滿(mǎn)足了使用動(dòng)態(tài)規(guī)劃的兩個(gè)條件，問(wèn)題的最優(yōu)解可以由子問(wèn)題的最優(yōu)解構(gòu)成且可以通過(guò)較小的子問(wèn)題狀態(tài)遞推出較大子問(wèn)題的狀態(tài)。

策略評(píng)估

結(jié)合貝爾曼方程，預(yù)測(cè)問(wèn)題求解的過(guò)程如下：

$v_{k+1}^\pi(s)=\sum_{a\epsilon A}\pi(a|s)(R_s^a+\gamma\sum_{{s'}\epsilon S}P_{ss'}^av_k^\pi(s'))$

其中 $v_k(s)$ 表示第 $k$ 輪狀態(tài) $s$ 的價(jià)值函數(shù)。

策略迭代

控制問(wèn)題的求解一般可以使用greedy策略。對(duì)于當(dāng)前狀態(tài) $s_t$ ，選擇后續(xù)所有可能轉(zhuǎn)移到的狀態(tài)集合 $S_{t+1}$ 中，狀態(tài)價(jià)值最大的那個(gè)狀態(tài)對(duì)應(yīng)的策略 $\pi$ 。

整個(gè)策略迭代過(guò)程可以理解為以下兩個(gè)過(guò)程：

使用當(dāng)前策略 $\pi$ 評(píng)估計(jì)算當(dāng)前策略的狀態(tài)價(jià)值 $v(s)$ 。
根據(jù)狀態(tài)價(jià)值 $v(s)$ 根據(jù)一定的方法（比如貪婪法）更新策略 $\pi$ 。

重復(fù)迭代以上兩個(gè)過(guò)程，最終得到收斂的策略 $\pi_*$ 和狀態(tài)價(jià)值 $v_*$ 。

蒙特卡洛法

蒙特卡洛法是一種通過(guò)采樣近似求解問(wèn)題的方法。與動(dòng)態(tài)規(guī)劃不同，蒙特卡洛法不需要考慮交互過(guò)程中的狀態(tài)轉(zhuǎn)化，其通過(guò)采樣若干完整的交互狀態(tài)序列來(lái)估計(jì)狀態(tài)的真實(shí)值。

完整的交互狀態(tài)序列指的是從開(kāi)始到終點(diǎn)的交互序列，可以在迭代的過(guò)程中產(chǎn)生。通過(guò)多組完整的交互狀態(tài)序列進(jìn)行來(lái)近似的估計(jì)狀態(tài)價(jià)值，之后便可以求解預(yù)測(cè)和控制問(wèn)題了。

由于蒙特卡洛法是通過(guò)采樣的方式來(lái)估計(jì)狀態(tài)價(jià)值，不需要考慮交互過(guò)程中狀態(tài)的轉(zhuǎn)化，因此屬于mode-free的強(qiáng)化學(xué)習(xí)求解方法。反觀動(dòng)態(tài)規(guī)劃，由于考慮狀態(tài)的轉(zhuǎn)化，因此屬于mode-based的強(qiáng)化學(xué)習(xí)求解方法。

策略評(píng)估

使用蒙特卡洛法進(jìn)行策略評(píng)估的理論依據(jù)是狀態(tài)價(jià)值函數(shù)的定義：

$v_\pi(s)=E_\pi(G_t|S_t=s)=E_\pi(R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+...|S_t=s)$

從公式上可以看出，每個(gè)狀態(tài)的價(jià)值函數(shù)，等于其后續(xù)所有的獎(jiǎng)勵(lì)與對(duì)應(yīng)的衰減乘積求和的期望。

因此，對(duì)于一個(gè)策略 $\pi$ ，如果采樣得到的完整的 $T$ 個(gè)交互狀態(tài)序列如下：

$S_1,A_1,R_2,S_2,A_2,...,S_t,A_t,R_{t+1},...,R_T,S_T$

那么對(duì)于 $t$ 時(shí)刻的狀態(tài)價(jià)值函數(shù)可以通過(guò)下面的方式進(jìn)行求解：

$\begin{gathered} G_t=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+...\gamma^{T-t-1}R^T\\ v_\pi(s)\approx average(G_t),s.t.S_t=s \end{gathered}$

如此一來(lái)，就簡(jiǎn)單的解決了預(yù)測(cè)問(wèn)題，不過(guò)還可以進(jìn)行進(jìn)一步的優(yōu)化。在上式中，計(jì)算狀態(tài)價(jià)值函數(shù)需要使用到后續(xù)所有獎(jiǎng)勵(lì)的均值，這意味著必須存儲(chǔ)相關(guān)的所有獎(jiǎng)勵(lì)的值，而且其存儲(chǔ)量會(huì)隨著采樣數(shù)量的增加而增加。

為了解決這個(gè)問(wèn)題，引入了累計(jì)更新平均值的方法，即下面這個(gè)公式：

$\begin{aligned} \mu_k&=\frac{1}{k}\sum_j^kx_j\\ &=\frac{1}{k}(x_k+\sum_j^{k-1}x_j)\\ &=\frac{1}{k}(x_k+(k-1)\mu_{k-1})\\ &=\mu_{k-1}+\frac{1}{k}(x_k-\mu_{k-1}) \end{aligned}$

其中 $\mu_k$ 表示第 $k$ 輪迭代的均值， $\mu_{k-1}$ 表示第 $k-1$ 輪迭代的均值。

參考這個(gè)公式，我們可以將狀態(tài)價(jià)值公式的計(jì)算改寫(xiě)為：

$\begin{gathered} N_k(S_t)=N_{k-1}(S_t)+1\\ V_k(S_t)=V_{k-1}(S_t)+\frac{1}{N_k(S_t)}(G_t-V_{k-1}(S_t)) \end{gathered}$

這樣一來(lái)，只需要保存上一輪的次數(shù)和對(duì)應(yīng)的收獲，即可求解當(dāng)前輪次的均值。如果數(shù)據(jù)量過(guò)大，以至于 $N_k(S_t)$ 無(wú)法準(zhǔn)確的計(jì)算，還可以使用一個(gè)系數(shù) $\alpha$ 來(lái)代替，將更新公式改為：

$V_k(S_t)=V_{k-1}(S_t)+\alpha(G_t-V_{k-1}(S_t))$

根據(jù)狀態(tài)價(jià)值函數(shù)的求解公式，同時(shí)可以類(lèi)推出動(dòng)作價(jià)值函數(shù)的求解公式：

$Q_k(S_t,A_t)=Q_{k-1}(S_t,A_t)+\alpha(G_t-Q_{k-1}(S_t,A_t))$

策略迭代

與動(dòng)態(tài)規(guī)劃不同，蒙特卡洛法的目標(biāo)是得到最優(yōu)動(dòng)作函數(shù) $q_*$ 而不是最優(yōu)價(jià)值函數(shù) $v_*$ 。同時(shí)，蒙特卡洛法在進(jìn)行策略選取的時(shí)候，使用的也不是greedy法，而是 $\epsilon$ -greedy法。

$\epsilon$ -greedy的區(qū)別是增加了一個(gè)參數(shù) $\epsilon$ 。在進(jìn)行策略選擇時(shí)，使用1- $\epsilon$ 的概率選擇當(dāng)前最大的動(dòng)作函數(shù)對(duì)應(yīng)的動(dòng)作， $\epsilon$ 的概率隨機(jī)在 $m$ 個(gè)動(dòng)作中選取一個(gè)動(dòng)作。用公式表示如下：

$\pi(a|s)= \begin{cases} \epsilon/m+1-\epsilon &\text{if } a^*=\arg\max_{a\epsilon A}Q(s,a)\\ \epsilon/m &\text{else} \end{cases}$

一般來(lái)說(shuō) $\epsilon$ 的取值一般比較小，且在實(shí)際使用中會(huì)隨著訓(xùn)練的不斷迭代而減小。在強(qiáng)化學(xué)習(xí)訓(xùn)練的過(guò)程中，通過(guò)這種隨機(jī)選取動(dòng)作的方式，可以增加樣本的多樣性，探索到更多的樣本空間。

完整的算法流程如下:

初始化所有的動(dòng)作價(jià)值 $Q(s,a)=0$ ，狀態(tài)次數(shù) $N(s,a)=0$ ，采樣次數(shù) $k=0$ ，隨機(jī)初始化一個(gè)策略 $\pi$ 。
$k=k+1$ , 基于策略進(jìn)行第 $k$ 次蒙特卡羅采樣，得到一個(gè)完整的狀態(tài)序列:

$S_1,A_1,R_2,S_2,A_2,...,S_t,A_t,R_{t+1},...,R_T,S_T$
對(duì)于該狀態(tài)序列里出現(xiàn)的每一狀態(tài)行為對(duì)，計(jì)算其收獲, 更新其計(jì)數(shù)和行為價(jià)值函數(shù)：

$\begin{gathered} G_t=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+...\gamma^{T-t-1}R^T\\ N(S_t,A_t)=N(S_t,A_t)+1\\ Q(S_t,A_t)=Q(S_t,A_t)+\frac{1}{N(S_t,A_t)}(G_t-Q(S_t,A_t)) \end{gathered}$
基于新計(jì)算出的動(dòng)作價(jià)值，更新當(dāng)前的 $\epsilon$ -greedy策略：

$\begin{gathered} \epsilon=\frac{1}{k}\\ \pi(a|s)= \begin{cases} \epsilon/m+1-\epsilon &\text{if } a^*=\arg\max_{a\epsilon A}Q(s,a)\\ \epsilon/m &\text{else} \end{cases} \end{gathered}$
如果所有的 $Q(s,a)$ 收斂，則對(duì)應(yīng)的所有 $Q(s,a)$ 即為最優(yōu)的動(dòng)作價(jià)值函數(shù) $q_*$ 。對(duì)應(yīng)的策略即為最優(yōu)策略 $\pi_*$ 。否則轉(zhuǎn)到第二步。

時(shí)序差分TD

時(shí)序差分法與蒙特卡洛法一樣，都是model-free強(qiáng)化學(xué)習(xí)問(wèn)題的求解方法。區(qū)別在于，時(shí)序差分法是在沒(méi)有采樣到完整的交互序列的情況下，通過(guò)部分的狀態(tài)序列去估計(jì)狀態(tài)的價(jià)值。

策略評(píng)估

考慮狀態(tài)價(jià)值函數(shù)的另一種形式：

$v_\pi(s)=E_\pi(R_{t+1}+\gamma{v_{\pi}(S_{t+1})}|S_t=s)$

時(shí)序差分法用 $R_{t+1}+\gamma{v_{t+1}(s)}$ 來(lái)近似的代替收獲 $G_t$ ，使得只需要兩個(gè)連續(xù)的狀態(tài)和對(duì)應(yīng)的獎(jiǎng)勵(lì)，即可求解。 $R_{t+1}+\gamma{V(S_{t+1})}$ 一般稱(chēng)為T(mén)D目標(biāo)值， $R_{t+1}+\gamma{V(S_{t+1})}-V(S_t)$ 稱(chēng)為T(mén)D誤差，用TD目標(biāo)值近似代替收獲的過(guò)程稱(chēng)為引導(dǎo)(bootstrapping)。

因此，時(shí)序差分 $G(t)$ 的表達(dá)式為：

$G(t)=R_{t+1}+\gamma V(S_{t+1})$

時(shí)序差分的價(jià)值函數(shù)迭代式為：

$\begin{gathered} V_k(S_t)=V_{k-1}(S_t)+\alpha(G_t-V_{k-1}(S_t))\\ Q_k(S_t,A_t)=Q_{k-1}(S_t,A_t)+\alpha(G_t-Q_{k-1}(S_t,A_t)) \end{gathered}$

其中 $\alpha$ 是一個(gè)值為[0,1]之間的數(shù)。

策略迭代

對(duì)于時(shí)序差分，也可以用 $\epsilon$ -greedy來(lái)進(jìn)行價(jià)值迭代，和蒙特卡羅法的區(qū)別主要只是在于收獲的計(jì)算方式不同。

n步時(shí)序差分

普通的時(shí)序差分主要關(guān)注的是當(dāng)前時(shí)刻以及下一時(shí)刻的狀態(tài)價(jià)值，可以理解為向前一步來(lái)近似求解。n步時(shí)序差分的意思是向前n步來(lái)進(jìn)行求解，其收獲 $G_t^{(n)}$ 的表達(dá)式如下：

$G_t^{(n)}=R_{t+1}+\gamma R_{t+2}+...+\gamma^{n-1}R_{t+n}+\gamma^nV(S_{t+n})$

當(dāng)n趨于無(wú)窮大時(shí)，即覆蓋到完整的交互序列時(shí)，n步時(shí)序差分也就變成了蒙特卡洛。與普通的時(shí)序差分相比，n步時(shí)序差分因?yàn)榭紤]了向前n步，所以會(huì)更加精確一些。

TD( $\lambda$ )

在使用n步時(shí)序差分的時(shí)候，這個(gè)n是一個(gè)超參數(shù)，需要通過(guò)不斷的優(yōu)化去選擇一個(gè)最優(yōu)的值。這一過(guò)程比較繁瑣，為了解決這個(gè)問(wèn)題，引入了一個(gè)值為[0,1]的參數(shù) $\lambda$ 。定義 $\lambda$ -收獲是n從1到 $\infty$ 所有步的收獲乘以權(quán)重的和，每一步的權(quán)重是 $(1-\lambda)\lambda^{n-1}$ 。

這樣 $\lambda$ -收獲可以表示為：

$G_t^\lambda=(1-\lambda)\sum_{n=1}^\infty\lambda^{n-1}G_t^{(n)}$

迭代函數(shù)可以表示為：

$\begin{gathered} V(S_t)=V(S_t)+\alpha(G_t^\lambda-V(S_t))\\ Q(S_t,A_t)=Q(S_t,A_t)+\alpha(G_t^\lambda-Q(S_t,A_t)) \end{gathered}$

從上面的式子可以看出，當(dāng) $\lambda$ 等于0時(shí)，算法就變成了普通的時(shí)序差分，當(dāng) $\lambda$ 等于1時(shí)，則變成了蒙特卡洛。因此，TD( $\lambda$ )就是在兩者之間作了一個(gè)平衡。

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av

如何求強(qiáng)化學(xué)習(xí)最優(yōu)解

如何求強(qiáng)化學(xué)習(xí)最優(yōu)解

predict和control

動(dòng)態(tài)規(guī)劃

蒙特卡洛法

時(shí)序差分TD

n步時(shí)序差分

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九 欧美,1769亚洲,黄色成人av

如何求強(qiáng)化學(xué)習(xí)最優(yōu)解

predict和control

動(dòng)態(tài)規(guī)劃

蒙特卡洛法

時(shí)序差分TD

n步時(shí)序差分

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容

色偷偷精品伊人,欧洲久久精品,欧美综合婷婷骚逼,国产AV主播,国产最新探花在线,九色在线视频一区,伊人大交九欧美,1769亚洲,黄色成人av