??譯者｜核子可樂
編輯｜Vincent
AI前線出品｜ID：ai-front? ?原文鏈接：http://t.cn/ROkzAzb
時(shí)至今日，人工智能研究已經(jīng)在從語音識(shí)別到圖像分類，再到基因組學(xué)乃至藥物發(fā)現(xiàn)等各個(gè)領(lǐng)域取得快速發(fā)展。而其中大多數(shù)場(chǎng)景原本都是需要投入大量人力資源與數(shù)據(jù)的專業(yè)系統(tǒng)。
然而，對(duì)于一部分特定問題，利用人類知識(shí)加以解決則往往成本過高——包括不夠可靠或者根本無法承擔(dān)如此龐大的工作量等。因此，AI 研究的長(zhǎng)期目標(biāo)在于繞過人為階段，而是創(chuàng)造算法，最終在無需人類介入的前提下立足各類挑戰(zhàn)性領(lǐng)域?qū)崿F(xiàn)超越人類的成效表現(xiàn)。在最近發(fā)表于《自然》雜志的論文當(dāng)中，DeepMind 展現(xiàn)了邁向這一目標(biāo)的重要一步。
從零開始
這篇論文介紹了 AlphaGo Zero，即 AlphaGo 的最新發(fā)展成果、亦是第一款能夠在圍棋這種古老的中國競(jìng)技項(xiàng)目當(dāng)中擊敗世界冠軍的計(jì)算機(jī)程序。Zero 則更為強(qiáng)大，可以說是有史以來最卓越的圍棋棋手。
AlphaGo 之前的各個(gè)版本最初由數(shù)千名業(yè)余及專業(yè)圍棋棋手進(jìn)行訓(xùn)練，借以學(xué)習(xí)圍棋的規(guī)則與技巧。AlphaGo Zero 則路過了這一步，其能夠從完全隨機(jī)的對(duì)弈開始自行學(xué)習(xí)規(guī)則。在這樣的前提之下，Zero 很快即超過了人類的棋藝水平，并以 100 比 0 的成績(jī)迅速擊敗上一代“世界冠軍”AlphaGo。
其之所以能夠取得如此優(yōu)秀的成績(jī)，是因?yàn)?AlphaGo Zero 利用一種全新強(qiáng)化學(xué)習(xí)形式實(shí)現(xiàn)“自為自師”。該系統(tǒng)最初只是一套完全不了解圍棋游戲規(guī)則的神經(jīng)網(wǎng)絡(luò)。在此之后，通過將該神經(jīng)網(wǎng)絡(luò)與強(qiáng)大的搜索算法相結(jié)合，即可進(jìn)行自我對(duì)戰(zhàn)。在對(duì)弈過程當(dāng)中，該神經(jīng)網(wǎng)絡(luò)經(jīng)歷高速與更新，從而預(yù)測(cè)接下來的最佳行動(dòng)并最終在游戲中勝出。
這套經(jīng)過更新的神經(jīng)網(wǎng)絡(luò)隨后與搜索算法進(jìn)行重組，借以創(chuàng)建新的、更為強(qiáng)大的 AlphaGo Zero 版本，這一過程將周而復(fù)始不斷進(jìn)行。在每一次迭代當(dāng)中，系統(tǒng)成效都將迎來小幅提升，并使得 AlphaGo Zero 變得棋力愈盛、神經(jīng)網(wǎng)絡(luò)本身也越來越精確。
這項(xiàng)技術(shù)之所以比原本的 AlphaGo 更為強(qiáng)大，是因?yàn)槠洳辉偈芟抻谌祟惖闹R(shí)水平。相反，其能夠像一張白紙般從世界上最強(qiáng)的棋手——AlphaGo——身上學(xué)習(xí)技巧。
另外，Zero 與初版 AlphaGo 相比還擁有以下不同之處。? AlphaGo Zero 僅使用圍棋棋盤上的黑白棋子作為輸入信息，而 AlphaGo 的以往版本仍包含少量手動(dòng)設(shè)計(jì)功能。
? 其僅采用單一神經(jīng)網(wǎng)絡(luò)，而非像初版 AlphaGo 那樣使用兩套。AlphaGo 的各早期版本利用一套“策略網(wǎng)絡(luò)”選擇下一步行動(dòng)，另外配合一套“價(jià)值網(wǎng)絡(luò)”以預(yù)測(cè)各個(gè)點(diǎn)位對(duì)游戲結(jié)果的影響。二者在 AlphaGo Zero 當(dāng)中并合而為一，使其能夠更為高效地實(shí)現(xiàn)訓(xùn)練與評(píng)估。
? AlphaGo Zero 并不使用“推演”——即常見于其它圍棋程序當(dāng)中，根據(jù)現(xiàn)有盤面局勢(shì)進(jìn)行結(jié)果預(yù)測(cè)的快速隨機(jī)對(duì)弈流程。相反，其依賴于高質(zhì)量神經(jīng)網(wǎng)絡(luò)以評(píng)估當(dāng)前盤面形勢(shì)。
上述差異的存在有助于提升系統(tǒng)成效并令其具備更為理想的通用能力。而在另一方面，算法的改變也令系統(tǒng)本身更為強(qiáng)大且高效。
隨著硬件性能的提升以及近期算法的持續(xù)改進(jìn)，AlphaGo 的效率正在不斷突破新高。
僅僅在三天的自我對(duì)弈之后，AlphaGo Zero 就已經(jīng)以 100 比 0 的結(jié)果強(qiáng)勢(shì)擊敗了此前發(fā)布的 AlphaGo 版本——而后者曾經(jīng)擊敗 18 項(xiàng)世界冠軍頭銜擁有者李世石。經(jīng)過 40 天的自我訓(xùn)練之后，AlphaGo Zero 變得更為強(qiáng)大，且全面碾壓此前曾擊敗全球最強(qiáng)棋手柯杰的 AlphaGo“Master”版本。
Elo 評(píng)分——一項(xiàng)用于衡量競(jìng)爭(zhēng)性游戲（例如圍棋）中選手相對(duì)技能水平的指標(biāo)，其結(jié)果顯示出 AlphaGo 在發(fā)展過程當(dāng)中如何逐步走向強(qiáng)大。
在數(shù)百萬場(chǎng) AlphaGo 對(duì) AlphaGo 的比賽當(dāng)中，這套系統(tǒng)從零開始逐步掌握了圍棋技巧，并在短短數(shù)天時(shí)間中積累到了數(shù)千年孕育而來的人類知識(shí)。AlphaGo Zero 亦從中發(fā)現(xiàn)更多新適度，制定出更多非常規(guī)型策略以及創(chuàng)新下法，這進(jìn)一步反映甚至超越了此前 AlphaGo 在對(duì)陣?yán)钍朗c柯杰時(shí)所發(fā)揮出的水平。
這些創(chuàng)造性的時(shí)刻讓我們相信，人工智能終將為人類帶來更為強(qiáng)大的創(chuàng)造力，從而幫助我們解決人類所面臨的一系列最為重要的挑戰(zhàn)。
發(fā)現(xiàn)新知識(shí)
盡管尚處于早期發(fā)展階段，但 AlphaGo Zero 已經(jīng)成為邁向這一目標(biāo)的關(guān)鍵性一步。如果能夠?qū)㈩愃频募夹g(shù)應(yīng)用于其它結(jié)構(gòu)化問題當(dāng)中——例如蛋白質(zhì)折疊、能源消耗控制或者發(fā)現(xiàn)革命性新材料等等，那么這些突破無疑將對(duì)整個(gè)人類社會(huì)產(chǎn)生積極的推動(dòng)作用。
論文鏈接
原文鏈接
－全文完－
AI前線提供最新最全AI領(lǐng)域技術(shù)資訊、一線業(yè)界實(shí)踐案例、搜羅整理業(yè)界技術(shù)分享干貨、最新AI論文解讀。歡迎關(guān)注我們的專欄：AI前線，也歡迎關(guān)注我們的同名公眾號(hào)，ID：ai-front
