上回我們說(shuō)到了監(jiān)督學(xué)習(xí)，今天，我們給聊聊機(jī)器學(xué)習(xí)算法的另外兩類：無(wú)監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)。

無(wú)監(jiān)督學(xué)習(xí)是用“未標(biāo)記”的數(shù)據(jù)描述隱藏結(jié)構(gòu)函數(shù)的機(jī)器學(xué)習(xí)任務(wù)。由于給與學(xué)習(xí)者提供的實(shí)例沒(méi)有標(biāo)簽，因此不存在對(duì)算法輸出的結(jié)構(gòu)的準(zhǔn)確性評(píng)估——這是區(qū)分無(wú)監(jiān)督學(xué)習(xí)與監(jiān)督學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的一種方式。

下圖所示是一個(gè)無(wú)監(jiān)督學(xué)習(xí)的實(shí)例：

在本例中，所要實(shí)現(xiàn)的是機(jī)器閱讀。訓(xùn)練數(shù)據(jù)為一系列無(wú)標(biāo)記的文本數(shù)據(jù)，由這些無(wú)標(biāo)記的數(shù)據(jù)訓(xùn)練出函數(shù)模型。之后向該函數(shù)輸入訓(xùn)練數(shù)據(jù)中的某個(gè)文本，則可輸出函數(shù)模型所理解的文本含義。

強(qiáng)化學(xué)習(xí)是受行為心理學(xué)啟發(fā)的機(jī)器學(xué)習(xí)領(lǐng)域，涉及智能體如何在環(huán)境中采取行動(dòng)以得到最大累積獎(jiǎng)勵(lì)的概念。這個(gè)問(wèn)題，由于它的普遍性，已在很多學(xué)科中進(jìn)行了研究，例如博弈論、控制論、運(yùn)籌學(xué)、信息論、基于仿真的優(yōu)化、多智能體系統(tǒng)、群體智能、統(tǒng)計(jì)學(xué)以及遺傳算法。在運(yùn)籌學(xué)以及控制論的研究文獻(xiàn)中，強(qiáng)化學(xué)習(xí)被稱為近似動(dòng)態(tài)規(guī)劃。該方法已研究了最優(yōu)控制理論，但大多數(shù)研究主要關(guān)注的是最優(yōu)解的存在及性質(zhì)，而非學(xué)習(xí)或近似。

下圖所示是一個(gè)強(qiáng)化學(xué)習(xí)的實(shí)例：

在本例中，智能體面對(duì)環(huán)境中一杯水，假如將之傾倒，則環(huán)境會(huì)給予一個(gè)負(fù)的反饋，也就是懲罰；而若智能體將所傾倒的水擦洗干凈，則環(huán)境將給予一個(gè)正的反饋，也就是獎(jiǎng)勵(lì)。由此智能體將不斷被往獎(jiǎng)勵(lì)增加的方向進(jìn)行訓(xùn)練。

那對(duì)于我們所要實(shí)現(xiàn)預(yù)測(cè)幣價(jià)漲跌的“AlphaCoin”而言，應(yīng)該用哪種算法實(shí)現(xiàn)呢？我們發(fā)現(xiàn)，其實(shí)監(jiān)督學(xué)習(xí)與強(qiáng)化學(xué)習(xí)均可勝任。

例如，我們可以將大量的歷史數(shù)據(jù)中，前幾日的幣價(jià)作為輸入，后幾日的幣價(jià)作為輸出，以監(jiān)督學(xué)習(xí)的算法對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練；我們也可將前幾日的幣價(jià)作為輸入，讓網(wǎng)絡(luò)輸出下一步的操作策略（買/賣），若該操作獲益，則給予獎(jiǎng)勵(lì)，反之給予懲罰，由此不斷進(jìn)行訓(xùn)練，直至智能體學(xué)會(huì)最佳操作策略。

好的，今天的介紹就到這里了，咱們下節(jié)見(jiàn)。

早贊聲明：為方便早贊、避免亂贊，“BH好文好報(bào)群”為點(diǎn)贊者、寫作者牽線搭橋，實(shí)行“先審后贊、定時(shí)發(fā)表”的規(guī)則，也讓作品脫穎而出、速登熱門！加群微信：we01230123（天平）。