學(xué)號(hào)：20021210595? ? 姓名：楊嬋

轉(zhuǎn)載自CSDN:

https://blog.csdn.net/guolinlin11/article/details/105029633

【嵌牛導(dǎo)讀】深度學(xué)習(xí)十年簡(jiǎn)史

【嵌牛鼻子】深度學(xué)習(xí),LSTM

【嵌牛提問(wèn)】十年來(lái)深度學(xué)習(xí)有哪些重要發(fā)展？

【嵌牛正文】作為L(zhǎng)STM發(fā)明人、深度學(xué)習(xí)元老，Jürgen Schmidhuber于2月20日發(fā)表了一篇博文，著重介紹了近十年來(lái)基于作者研究工作最重要的開(kāi)發(fā)和應(yīng)用，最后對(duì)2020年代進(jìn)行了展望，也提及到了數(shù)據(jù)隱私和市場(chǎng)。下面是本篇文章的目錄：

第1部分：長(zhǎng)短期記憶網(wǎng)絡(luò)的十年

第2部分：前饋神經(jīng)網(wǎng)絡(luò)的十年

第3部分：LSTM和FNN / CNN，LSTM與FNN的對(duì)比

第4部分：GAN，基于好奇心產(chǎn)生的技術(shù)

第5部分：2010-2020十年其他的熱門(mén)話題：深度強(qiáng)化學(xué)習(xí)、元學(xué)習(xí)、世界模型、蒸餾網(wǎng)絡(luò)、神經(jīng)架構(gòu)搜索、注意力學(xué)習(xí)、快速權(quán)重、自發(fā)明問(wèn)題...

第6部分：數(shù)據(jù)市場(chǎng)和隱私的未來(lái)

第7部分：展望：2010年代與2020年代，虛擬AI還是現(xiàn)實(shí) AI（Real AI）？

第一部分：長(zhǎng)短期記憶網(wǎng)絡(luò)的十年

在最近十年，大部分AI都是關(guān)于長(zhǎng)期短期記憶（LSTM）的神經(jīng)網(wǎng)絡(luò)。世界本質(zhì)上是序列性的，而LSTM徹底改變了序列數(shù)據(jù)處理，例如語(yǔ)音識(shí)別、機(jī)器翻譯、視頻識(shí)別，聯(lián)機(jī)手寫(xiě)識(shí)別、機(jī)器人、視頻游戲、時(shí)間序列預(yù)測(cè)、聊天機(jī)器人、醫(yī)療保健應(yīng)用等。

2009：聯(lián)機(jī)手寫(xiě)識(shí)別。作者的博士生亞歷克斯·格雷夫斯（Alex Graves）在ICDAR 2009（著名的文檔分析和識(shí)別會(huì)議）上贏得了三項(xiàng)手寫(xiě)體比賽（法語(yǔ)、波斯語(yǔ)、阿拉伯語(yǔ)）。他使用了作者在慕尼黑工業(yè)大學(xué)和瑞士AILab IDSIA研究小組開(kāi)發(fā)的兩種方法的組合：LSTM（1990s-2005）（它克服了我的博士生Sepp Hochreiter [VAN1]分析出的梯度消失問(wèn)題）和聯(lián)結(jié)主義時(shí)間分類(lèi)法（CTC）（2006年）。采用CTC訓(xùn)練的LSTM是第一個(gè)贏得國(guó)際比賽的遞歸神經(jīng)網(wǎng)絡(luò)或RNN 。

采用CTC訓(xùn)練的LSTM也是第一臺(tái)端到端神經(jīng)語(yǔ)音識(shí)別器。早在2007年，我們的團(tuán)隊(duì)就已經(jīng)將CTC-LSTM成功應(yīng)用于語(yǔ)音，同時(shí)也將其應(yīng)用于分層LSTM堆棧。自1980年代以來(lái)，這與以前的混合方法有很大的不同，后者主要是將神經(jīng)網(wǎng)絡(luò)和傳統(tǒng)方法結(jié)合起來(lái)，例如隱馬爾可夫模型（HMM）。?Alex在多倫多做博后時(shí)，都還在一直使用CTC-LSTM。

CTC-LSTM在工業(yè)上產(chǎn)生了巨大的影響。到2015年，它大大改善了Google的語(yǔ)音識(shí)別。而現(xiàn)在幾乎所有智能手機(jī)上都有此功能。到2016年，Google數(shù)據(jù)中心所有這些Tensor處理單元的功能中有四分之一以上都是用于LSTM（其中卷積神經(jīng)網(wǎng)絡(luò)使用了5％）。2019年谷歌的語(yǔ)音識(shí)別設(shè)備（不再在服務(wù)器上）仍然是基于LSTM。微軟、百度、亞馬遜、三星、蘋(píng)果和許多其他的著名公司也在使用LSTM。

2016年：首個(gè)端到端神經(jīng)機(jī)器翻譯也是基于LSTM。我的博士生Felix Gers早在2001年就證明LSTM可以學(xué)習(xí)傳統(tǒng)模型（例如HMM）無(wú)法學(xué)習(xí)的語(yǔ)言。也就是說(shuō)，“亞符號(hào)”的神經(jīng)模型突然擅長(zhǎng)學(xué)習(xí)“符號(hào)”任務(wù)！這得益于計(jì)算硬件的提升，到2016-17年，Google Translate和Facebook Translate都基于兩個(gè)相連的LSTM，其中一個(gè)用于傳入文本，一個(gè)用于傳出翻譯的文本。到2017年，基于LSTM，F(xiàn)acebook的用戶每周會(huì)進(jìn)行300億次的翻譯。做個(gè)對(duì)比：最受歡迎的youtube視頻（歌曲“ Despacito”）在兩年內(nèi)僅獲得了60億次點(diǎn)擊。

基于LSTM的機(jī)器人。到2003年，我們的團(tuán)隊(duì)將LSTM用于強(qiáng)化學(xué)習(xí)（RL）和機(jī)器人。在2010年代，RL和LSTM的組合已成為標(biāo)準(zhǔn)。例如，在2018年，經(jīng)過(guò)RL訓(xùn)練的LSTM是OpenAI公司Dactyl的核心，該Dactyl學(xué)會(huì)了在沒(méi)有老師的情況下控制靈巧的機(jī)器 人手臂。

2018-2019年：用于視頻游戲的LSTM。在2019年，DeepMind使用RL+LSTM訓(xùn)練的Alphastar，在星際爭(zhēng)霸游戲中擊敗了職業(yè)玩家，而該游戲在許多方面比國(guó)際象棋都難。采用RL訓(xùn)練的LSTM（占模型總參數(shù)的84％）也是OpenAI Five的核心，它在Dota 2電子游戲（2018年）中擊敗了人類(lèi)職業(yè)玩家。

2010年代出現(xiàn)了許多其他LSTM應(yīng)用，例如LSTM用于醫(yī)療保健、化學(xué)分子設(shè)計(jì)、唇讀、股市預(yù)測(cè)、自動(dòng)駕駛汽車(chē)、將大腦信號(hào)映射到語(yǔ)音，預(yù)測(cè)核聚變反應(yīng)堆中發(fā)生了什么等等。

第二部分：前饋神經(jīng)網(wǎng)絡(luò)的十年

LSTM原則上是一個(gè)可以實(shí)現(xiàn)筆記本電腦上運(yùn)行的任何程序的RNN。前饋神經(jīng)網(wǎng)絡(luò)（FNN）的限制更多（盡管它們?cè)谖遄悠?、圍棋和?guó)際象棋這樣的棋盤(pán)游戲中足夠好）。也就是說(shuō)，如果我們要構(gòu)建基于神經(jīng)網(wǎng)絡(luò)的人工智能（AGI），則其基礎(chǔ)計(jì)算必須類(lèi)似于RNN。FNN從根本上來(lái)說(shuō)還不夠。RNN與FNN的關(guān)系，就像一般計(jì)算機(jī)與計(jì)算器一樣。盡管如此，我們的深度學(xué)習(xí)十年進(jìn)展也會(huì)涉及FNN，如下闡述。

2010年：深層FNN不需要無(wú)監(jiān)督的預(yù)訓(xùn)練。在2009年，許多人認(rèn)為深層FNN如果沒(méi)有未經(jīng)監(jiān)督的預(yù)訓(xùn)練就無(wú)法學(xué)到很多東西。但是在2010年，我們的團(tuán)隊(duì)與我的博士后Dan Ciresan 研究表明，深層FNN可以通過(guò)簡(jiǎn)單的反向傳播進(jìn)行訓(xùn)練，并且完全不需要無(wú)監(jiān)督的預(yù)訓(xùn)練。我們的系統(tǒng)在當(dāng)時(shí)著名的圖像識(shí)別基準(zhǔn)MNIST上創(chuàng)下了新的性能記錄。這是通過(guò)GPU的高度并行圖形處理單元上極大地加速傳統(tǒng)FNN來(lái)實(shí)現(xiàn)。審稿人稱此為“對(duì)機(jī)器學(xué)習(xí)社區(qū)的喚醒”。如今，很少有商業(yè)的神經(jīng)網(wǎng)絡(luò)應(yīng)用仍是基于無(wú)監(jiān)督的預(yù)訓(xùn)練。

2011年：基于CNN的計(jì)算機(jī)視覺(jué)革命。自1970年代以來(lái)，我們?cè)谌鹗康膱F(tuán)隊(duì)（Dan Ciresan等人）極大地加快了其他人發(fā)明和開(kāi)發(fā)的卷積神經(jīng)網(wǎng)絡(luò)。2011年創(chuàng)建了第一個(gè)屢獲殊榮的CNN，通常稱為“DanNet”。這是一個(gè)實(shí)質(zhì)性的突破。它比早期GPU加速的CNN更深，更快。早在2011年，它就表明深度學(xué)習(xí)在識(shí)別圖像目標(biāo)方面比現(xiàn)有的最新技術(shù)要好得多。實(shí)際上，它在2011年5月15日至2012年9月10日之間連續(xù)贏得了4項(xiàng)重要的計(jì)算機(jī)視覺(jué)競(jìng)賽，之前是類(lèi)似GPU加速的Univ CNN。

在2011年硅谷的IJCNN上，DanNet是第一個(gè)在視覺(jué)模式識(shí)別競(jìng)賽中超過(guò)人類(lèi)水平，甚至《紐約時(shí)報(bào)》也提到了這一點(diǎn)。它也是第一個(gè)獲勝的深層CNN：同時(shí)贏得了中國(guó)手寫(xiě)競(jìng)賽（ICDAR 2011）、圖像分割競(jìng)賽（ISBI，2012年5月）、大型目標(biāo)檢測(cè)競(jìng)賽（ICPR，2012年9月10日）關(guān)于癌癥檢測(cè)的醫(yī)學(xué)影像比賽（這些比賽全部都在ImageNet 2012之前）。我們的CNN圖像掃描儀比以前的方法快1000倍，在醫(yī)療保健等方面具有極其重要的意義。如今，IBM、西門(mén)子、谷歌和許多新興公司都在跟隨這一方法。許多現(xiàn)代計(jì)算機(jī)視覺(jué)的方法就是作者在2011年研究工作的擴(kuò)展。

早在2010年，我們就向全球最大的鋼鐵生產(chǎn)商Arcelor Mittal推出了基于GPU的深度、快速神經(jīng)網(wǎng)絡(luò)，并能夠通過(guò)CNN大大改善鋼缺陷檢測(cè)能力（在ImageNet 2012之前）。這可能是重工業(yè)中的首個(gè)深度學(xué)習(xí)突破，并幫助了我們公司NNAISENSE的誕生。在2010年代初，我們的深度學(xué)習(xí)方法還有其他一些應(yīng)用。

通過(guò)我的學(xué)生RupeshKumar Srivastava和KlausGreff，LSTM原理還產(chǎn)生了我們于2015年5月發(fā)布的高速公路網(wǎng)絡(luò)（Highway Networks），這是第一個(gè)使用數(shù)百層的非常深的FNN。微軟最受歡迎的ResNets（贏得了ImageNet2015競(jìng)賽）是其中的特例。較早的公路網(wǎng)絡(luò)的性能與ImageNet上的ResNet差不多。高速公路層也常用于自然語(yǔ)言處理，而較簡(jiǎn)單的殘差則無(wú)法正常工作。

第三部分：LSTM和FNN/ CNN，LSTM與FNN的對(duì)比

在最近的深度學(xué)習(xí)十年中，靜態(tài)模式（例如圖像）的識(shí)別主要是由CNN完成的，而序列處理（例如語(yǔ)音、文本等）則主要是由LSTM完成的。有時(shí)也會(huì)將CNN和LSTM結(jié)合在一起，例如視頻識(shí)別。FNN和LSTM有時(shí)也會(huì)入侵對(duì)方的領(lǐng)域。兩個(gè)例子：

1.多維LSTM不受CNN固定patch大小的限制，在某些計(jì)算機(jī)視覺(jué)問(wèn)題表現(xiàn)會(huì)更出色。盡管如此，大多數(shù)計(jì)算機(jī)視覺(jué)仍然是基于CNN。

2.在本世紀(jì)末，盡管受時(shí)序上的限制（缺少時(shí)序信息），但基于FNN的Transformers在傳統(tǒng)的LSTM域Natural Language Processing上開(kāi)始脫穎而出。盡管如此，LSTM仍然可以快速解決學(xué)習(xí)許多語(yǔ)言的任務(wù)，而普通的Transformers則不能。

商業(yè)周刊稱LSTM“可以說(shuō)是最商業(yè)化的AI成就”。如上所述，到2019年，LSTM每年獲得的引用量超過(guò)過(guò)去千年的所有其他計(jì)算機(jī)科學(xué)論文。新千年的記錄持有人是與LSTM相關(guān)的FNN：ResNet（2015年12月）是我們高速公路網(wǎng)絡(luò)的一種特殊情況。

第四部分 GAN：十年來(lái)由好奇心產(chǎn)生的最著名技術(shù)

生成對(duì)抗網(wǎng)絡(luò)（GAN）是在2010年代非常流行的另一個(gè)概念。GAN是作者在1990年對(duì)流行的對(duì)抗好奇心原理的一個(gè)實(shí)例。該原理如下：一個(gè)神經(jīng)網(wǎng)絡(luò)概率地產(chǎn)生輸出，另一個(gè)神經(jīng)網(wǎng)絡(luò)看到這些輸出并預(yù)測(cè)對(duì)其的反應(yīng)。使用梯度下降方法，將預(yù)測(cè)器NN的誤差最小化，而生成器NN則使其誤差最大化。一個(gè)網(wǎng)絡(luò)的損失就是另一網(wǎng)絡(luò)的收益。GAN是這種情況下的一種特殊情況。

第五部分： 2010年代的其他熱門(mén)話題

2013年7月，我們的?壓縮網(wǎng)絡(luò)搜索??是第一個(gè)使用深度強(qiáng)化學(xué)習(xí)（RL）來(lái)直接從高維感官輸入（視頻）成功地學(xué)習(xí)控制策略的深度學(xué)習(xí)模型，無(wú)需進(jìn)行任何無(wú)監(jiān)督預(yù)訓(xùn)練。幾個(gè)月后，基于神經(jīng)進(jìn)化的RL也成功學(xué)會(huì)了玩Atari游戲。此后不久，DeepMind 公司?也有了用于高維感官輸入的Deep RL系統(tǒng)。到2016年，DeepMind擁有著名的超人類(lèi)圍棋玩家Go。該公司成立于2010年，這可算是十年來(lái)的第一年。最早的在計(jì)算機(jī)科學(xué)領(lǐng)域擁有AI出版物和博士學(xué)位的DeepMinders來(lái)自我的實(shí)驗(yàn)室。

自1990年以來(lái)，我們?cè)赗L和基于兩個(gè)稱之為控制器和世界模型的RNN組合進(jìn)行規(guī)劃的工作在2010年代也開(kāi)始流行。

自1987年以來(lái)，很少有人關(guān)心我們的元學(xué)習(xí)或?qū)W會(huì)學(xué)習(xí)（learning to learn ）工作。在2010年代，元學(xué)習(xí)終于成為熱門(mén)話題。自1990年以來(lái)關(guān)于人工好奇心、創(chuàng)造力和POWERPLAY風(fēng)格的自發(fā)明問(wèn)題跟我們的工作類(lèi)似。

類(lèi)似于我們自2009年以來(lái)在神經(jīng)架構(gòu)搜索方面的工作，在某些應(yīng)用方面優(yōu)于普通LSTM的類(lèi)LSTM架構(gòu)，例如[NAS]，以及我們自1991年以來(lái)在壓縮或提取NNs到其他NNs的工作

自2009年以來(lái)，我們?cè)谏窠?jīng)體系結(jié)構(gòu)搜索方面的工作類(lèi)似，在某些應(yīng)用中，優(yōu)于類(lèi)LSTM的類(lèi)似LSTM的體系結(jié)構(gòu)，以及自1991年以來(lái)我們?cè)趯?NNs 壓縮或提取為其他NNs方面的工作。

自1990年以來(lái)，我們?cè)诜謱覴L方面的工作類(lèi)似，例如確定性策略梯度和合成漸變。自1991年以來(lái)我們的工作類(lèi)似，即通過(guò)對(duì)抗性NNs和其他方法以及端到端通過(guò)階乘解纏表示對(duì)數(shù)據(jù)進(jìn)行編碼可區(qū)分的系統(tǒng)，通過(guò)梯度下降學(xué)習(xí)，以快速權(quán)重快速操縱NNs，以完全神經(jīng)網(wǎng)絡(luò)的方式像傳統(tǒng)計(jì)算機(jī)一樣將存儲(chǔ)和控制分開(kāi)。

早在1990年代初期，我們就擁有了兩種現(xiàn)在常見(jiàn)的神經(jīng)序列注意力機(jī)制：?通過(guò)網(wǎng)絡(luò)內(nèi)的乘法單元進(jìn)行端到端可區(qū)分的“軟”注意里（在潛在空間中），并在RL的上下文中（在觀察空間中）進(jìn)行的“硬”注意力，這才產(chǎn)生了很多后續(xù)工作。在2010年代，許多人使用了序列注意力學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。上一個(gè)世紀(jì)的許多其他概念不得不等待2010年代更快的計(jì)算機(jī)開(kāi)始流行。

正如第21節(jié)所提到的，深度學(xué)習(xí)是在英語(yǔ)不是官方語(yǔ)言的地方發(fā)明的。它始于1965年的烏克蘭（當(dāng)時(shí)屬于蘇聯(lián)），具有第一個(gè)真正學(xué)習(xí)過(guò)任意深度的網(wǎng)絡(luò)。五年后，現(xiàn)代反向傳播在芬蘭（1970年）發(fā)表?；镜纳疃染矸e神經(jīng)網(wǎng)絡(luò)架構(gòu)（現(xiàn)已廣泛使用）是在1970年代的日本發(fā)明，后來(lái)具有卷積的神經(jīng)網(wǎng)絡(luò)（1987年）也結(jié)合了“權(quán)重分配”和反向傳播。我們的成績(jī)站在這些作者和許多其他作家的肩膀上。

當(dāng)然，在大多數(shù)應(yīng)用中，?深度學(xué)習(xí)只是AI的一小部分，僅限于被動(dòng)模式識(shí)別。我們將其視為更通用的人工智能研究中的副產(chǎn)品?，其中包括最佳通用學(xué)習(xí)機(jī)器。

第六部分：數(shù)據(jù)市場(chǎng)和隱私的未來(lái)

AI主要依賴于數(shù)據(jù)訓(xùn)練。如果數(shù)據(jù)是新石油，那么它應(yīng)該像石油一樣具有價(jià)格。在2010年代，主要的監(jiān)視平臺(tái)并沒(méi)有提供任何資金來(lái)保護(hù)數(shù)據(jù)，因此會(huì)失去隱私。但是，到2020年代，應(yīng)該會(huì)嘗試創(chuàng)建有效的數(shù)據(jù)市場(chǎng)，以通過(guò)供需之間的相互作用來(lái)找出數(shù)據(jù)的真實(shí)經(jīng)濟(jì)價(jià)值。甚至某些敏感的醫(yī)療數(shù)據(jù)也不會(huì)由政府監(jiān)管機(jī)構(gòu)定價(jià)，而是會(huì)由擁有該數(shù)據(jù)并可能在醫(yī)療數(shù)據(jù)市場(chǎng)中出售的公司來(lái)定價(jià)。

日益復(fù)雜的社會(huì)是否必然導(dǎo)致監(jiān)視和隱私的喪失？像城市、州和公司這樣由許多人組成的區(qū)域，就像人由許多細(xì)胞組成一樣。這些單元幾乎沒(méi)有隱私。它們由專(zhuān)門(mén)的“警察細(xì)胞”和“邊境守衛(wèi)細(xì)胞”不斷監(jiān)控：你是癌細(xì)胞嗎？你是外部入侵者、病原體嗎？單個(gè)細(xì)胞為了成為多細(xì)胞生物的一部分而不得不犧牲自己的自由。

類(lèi)似的超級(jí)生物，例如國(guó)家。五千多年前，寫(xiě)作使記錄的歷史成為可能，因此成為其開(kāi)創(chuàng)性和最重要的發(fā)明。但是，其最初目的是促進(jìn)監(jiān)視，跟蹤公民及其納稅情況。超級(jí)生物越復(fù)雜，則有關(guān)其組成成分的信息收集就越全面。

200年前，每個(gè)村莊的牧師都了解所有村民，甚至包括那些不認(rèn)罪的人。而且，每個(gè)人很快都知道進(jìn)入村莊的那個(gè)陌生人。這樣的控制機(jī)制在快速發(fā)展的城市中因匿名而暫時(shí)丟失，但現(xiàn)在隨著新的監(jiān)視設(shè)備（如智能手機(jī)）的回歸，智能設(shè)備可以告訴公司和政府?dāng)?shù)十億用戶的信息。

攝像機(jī)和無(wú)人機(jī)等一直在變得越來(lái)越小，無(wú)處不在，而人臉和步態(tài)等識(shí)別正變得越來(lái)越便宜，并且很快許多人將使用它來(lái)識(shí)別地球上的其他任何地方。這是好事還是壞事？無(wú)論如何，以犧牲選民的隱私權(quán)為代價(jià)，某些國(guó)家可能會(huì)比其他國(guó)家更容易成為更復(fù)雜的超級(jí)生物。

第七部分 展望：2010年代-2020年代：虛擬AI還是Real AI？

在2010年代，人工智能在虛擬世界中表現(xiàn)出色，例如在視頻游戲、棋類(lèi)游戲，尤其是在主要的WWW平臺(tái)上。大部分AI利潤(rùn)都來(lái)自市場(chǎng)營(yíng)銷(xiāo)。通過(guò)NNs進(jìn)行的被動(dòng)（passive）模式識(shí)別幫助諸如亞馬遜、阿里巴巴、谷歌、Facebook和騰訊等一些最有價(jià)值的公司讓你在平臺(tái)上停留更長(zhǎng)時(shí)間，預(yù)測(cè)你可能感興趣的項(xiàng)目，讓你點(diǎn)擊量身定制的廣告。?但是，市場(chǎng)營(yíng)銷(xiāo)只是世界經(jīng)濟(jì)的一小部分。未來(lái)十年會(huì)帶來(lái)什么？

在2020年代，活躍的AI（Active AI）將越來(lái)越多地入侵現(xiàn)實(shí)世界，驅(qū)動(dòng)工業(yè)流程、機(jī)器和機(jī)器人，就像電影中表現(xiàn)的那樣。盡管現(xiàn)實(shí)世界比虛擬世界要復(fù)雜得多，即將到來(lái)的波的?“真實(shí)世界AI（Real World AI）”或“現(xiàn)實(shí)AI（Real AI）”會(huì)比以前的A浪潮更大，因?yàn)樗鼤?huì)影響到人類(lèi)所有的生產(chǎn)，因而成為經(jīng)濟(jì)發(fā)展的更大部分。這就是為什么NNAISENSE都是完全關(guān)于 Real AI的原因。

有人聲稱，擁有許多用戶大量數(shù)據(jù)的大型平臺(tái)公司將主導(dǎo)AI。這太荒謬了，嬰兒如何學(xué)會(huì)變得聰明？不是“通過(guò)從Facebook下載大量數(shù)據(jù)”?，而是它通過(guò)使用玩具進(jìn)行自發(fā)明的實(shí)驗(yàn)來(lái)主動(dòng)創(chuàng)建自己的數(shù)據(jù)，學(xué)會(huì)預(yù)測(cè)其行為的后果，并利用這種物理和世界的預(yù)測(cè)模型來(lái)成為越來(lái)越好的計(jì)劃者和問(wèn)題解決者。

我們已經(jīng)知道如何構(gòu)建像嬰兒一樣學(xué)習(xí)的人工智能，使用的是我從1990年起就稱之為人工好奇心（artificial curiosity ）的東西，并整合了有助于推理和從原始數(shù)據(jù)中提取抽象對(duì)象的機(jī)制。

在并不遙遠(yuǎn)的將來(lái)，這將有助于創(chuàng)建我曾提到的能說(shuō)會(huì)做的機(jī)器人（see-and-do robotics）?：?快速教導(dǎo)NN控制具有很多自由度的復(fù)雜機(jī)器人來(lái)執(zhí)行復(fù)雜的任務(wù)，例如僅通過(guò)視覺(jué)演示并通過(guò)與之交談即可組裝智能手機(jī)，而無(wú)需接觸或直接引導(dǎo)機(jī)器人-?有點(diǎn)像我們教孩子。這將徹底改變?nèi)祟?lèi)文明的許多方面。

當(dāng)然，這類(lèi)AI也有軍事用途。盡管AI軍備競(jìng)賽似乎不可避免，但2020年幾乎所有AI研究都將致力于使人類(lèi)的壽命更長(zhǎng)、更健康、更輕松、更快樂(lè)。我們的口號(hào)是：人人享有AI。?人工智能不會(huì)受到一些大公司或政府的控制。自1941年以來(lái)，每5年計(jì)算機(jī)的價(jià)格就會(huì)便宜10倍?。這種趨勢(shì)不會(huì)很快消失。每個(gè)人都將擁有廉價(jià)但功能強(qiáng)大的AI，從許多方面改善她/他的生活。

在2020年代，目前就是如此。在更遙遠(yuǎn)的未來(lái)，大多數(shù)能自我驅(qū)動(dòng)、自我復(fù)制，具備好奇、?創(chuàng)造力和意識(shí)的 AI將會(huì)運(yùn)用于大多數(shù)物理資源所在的地方，最終征服和改造整個(gè)可見(jiàn)宇宙，這可能是眾多可計(jì)算宇宙的其中之一。

原文鏈接：

http://people.idsia.ch/~juergen/2010s-our-decade-of-deep-learning.html