瓶頸
任何事物的發(fā)展都會(huì)遇到瓶頸。半導(dǎo)體業(yè)界的摩爾定律在很長(zhǎng)的一段時(shí)間里面一直是有效的，但是在近幾年也快走到盡頭了。
機(jī)器學(xué)習(xí)在AlphaGo戰(zhàn)勝人類棋手之后，名聲大噪，我也是在那次比賽之后開始研究機(jī)器學(xué)習(xí)的。機(jī)器學(xué)習(xí)這項(xiàng)技術(shù)是不是有一個(gè)天花板，這個(gè)天花板在哪里，我們現(xiàn)在的技術(shù)發(fā)展離開這個(gè)天花板到底有多遠(yuǎn)，我們是在地板上呢，還是快觸碰到天花板了呢？
在五年前，Intel公司的CEO就拋出了無(wú)法繼續(xù)摩爾定律的危機(jī)說。摩爾定律由英特爾聯(lián)合創(chuàng)始人戈登-摩爾（Gordon Moore）提出，意思是說：當(dāng)價(jià)格不變時(shí)，集成電路上可容納的晶體管數(shù)目，約每隔 18 個(gè)月便會(huì)增加一倍，性能也將提升一倍。換言之，每一美元所能買到的電腦性能，將每隔 18 個(gè)月翻兩倍以上。這個(gè)定律雖然奏效了數(shù)十年，但是從2018年開始，這個(gè)定律就已經(jīng)失效
黑盒白盒之爭(zhēng)
在知乎上有這樣一篇文章
https://zhuanlan.zhihu.com/p/21362413?fc=1&group_id=821400638150828032#comment-145854724
大概的意思是用一個(gè)神經(jīng)網(wǎng)絡(luò)來調(diào)控另一個(gè)神經(jīng)網(wǎng)絡(luò)！
以前，雖然我們不知道AlphaGo是怎么想的，但是我們知道它是怎么學(xué)的，
以后，我們不但不知道AlphaGo是怎么想的，我們還不知道它是怎么學(xué)的?。。?/p>
人工智能到底是黑盒還是白盒？在評(píng)論里面關(guān)于這個(gè)話題，大家產(chǎn)生了很大的分歧。
作為傳統(tǒng)的程序員，我的觀點(diǎn)如下：當(dāng)然如果您有時(shí)間，可以看一下評(píng)論，非常精彩。
1.ML 歸根到底是程序，如果LOG足夠多的話，如果你足夠耐心的話，你肯定可以知道，結(jié)果是如何產(chǎn)生的。
2.用神經(jīng)網(wǎng)絡(luò)去優(yōu)化神經(jīng)網(wǎng)絡(luò)，其本質(zhì)是一樣的，就想加法變成乘法，但是還沒有脫離實(shí)數(shù)的范圍，到達(dá)一個(gè)更高的維度。
3.ML的程序，包括無(wú)監(jiān)督的程序，都是人寫的，都是按照人的想法在執(zhí)行的，所以，為什么人不知道機(jī)器是怎么想的？即使這個(gè)程序表現(xiàn)得再不可思議，但結(jié)果應(yīng)該都在人的預(yù)料之中。AlphaGo為什么會(huì)做決定，背后是程序，程序的背后是寫程序的人的想法。除非是真正的隨機(jī)函數(shù)，不然，寫程序的人肯定知道程序是如何運(yùn)行和預(yù)想結(jié)果的。
總結(jié)：不知道程序是怎么想的，只是因?yàn)槟悴辉敢馊ラ喿x程序的日志和不愿意調(diào)試程序。如果有無(wú)窮的時(shí)間，你單步調(diào)試所有的代碼，你肯定知道這個(gè)結(jié)果是怎么來的。
如果整個(gè)機(jī)器學(xué)習(xí)慢慢進(jìn)入黑盒的時(shí)代，則可以預(yù)測(cè)，瓶頸快到了。我們不知道機(jī)器到底是怎么學(xué)習(xí)的，我們就無(wú)法進(jìn)行改進(jìn)。就像我們不知道雨水的形成機(jī)理，我們光在地上求雨是徒勞的。
隨機(jī)森林和Dropout
很多算法中，都可以看到隨機(jī)的影子，RF的話，也就是多次隨機(jī)抽取樣本，訓(xùn)練模型，這些模型再進(jìn)行平均操作。當(dāng)然，這是根據(jù)中心極限理論得出的好方法。神經(jīng)網(wǎng)絡(luò)的Dropout也是如此，隨機(jī)的將一些神經(jīng)節(jié)點(diǎn)進(jìn)行屏蔽。但是隨機(jī)就意味著失控，意味著人工很難干預(yù)結(jié)果。包括梯度下降，是否能收斂到全局最優(yōu)解，很大程度上也是有運(yùn)氣成分在里面的。初始值，學(xué)習(xí)率都是影響結(jié)果的因素。
調(diào)參數(shù)和巨大模型
現(xiàn)在很多機(jī)器學(xué)習(xí)的比賽，已經(jīng)從技術(shù)比拼轉(zhuǎn)向資源比拼了。
神經(jīng)網(wǎng)絡(luò)的層數(shù)越來越長(zhǎng)，越來越深，微軟的神經(jīng)網(wǎng)絡(luò)是152層。
阿里巴巴的機(jī)器學(xué)習(xí)模型，已經(jīng)是3GB的龐然大物了。
整個(gè)業(yè)界都從硬件和物理層面去獲得精度的收益了。
同時(shí)，超參數(shù)的選取，現(xiàn)在也都是經(jīng)驗(yàn)論:
神經(jīng)網(wǎng)絡(luò)的層數(shù)
我們首先需要確定網(wǎng)絡(luò)的層數(shù)和每層的節(jié)點(diǎn)數(shù)。關(guān)于第一個(gè)問題，實(shí)際上并沒有什么理論化的方法，大家都是根據(jù)經(jīng)驗(yàn)來拍，如果沒有經(jīng)驗(yàn)的話就隨便拍一個(gè)。然后，你可以多試幾個(gè)值，訓(xùn)練不同層數(shù)的神經(jīng)網(wǎng)絡(luò)，看看哪個(gè)效果最好就用哪個(gè)。嗯，現(xiàn)在你可能明白為什么說深度學(xué)習(xí)是個(gè)手藝活了，有些手藝很讓人無(wú)語(yǔ)，而有些手藝還是很有技術(shù)含量的。
K聚類的K取多少，自然語(yǔ)言處理的主題模型，主題數(shù)選擇多少比較合適等等。都還沒有，或者難以找到理論依據(jù)。
機(jī)器學(xué)習(xí)還是數(shù)理統(tǒng)計(jì)
機(jī)器學(xué)習(xí)的本質(zhì)就是數(shù)理統(tǒng)計(jì)？答案可能沒這么簡(jiǎn)單
http://tech.sina.com.cn/roll/2017-03-27/doc-ifycspxp0038858.shtml
如果從傳統(tǒng)意義上的數(shù)據(jù)分析師的觀點(diǎn)來說，這個(gè)問題的答案很簡(jiǎn)單，無(wú)非是下面這兩點(diǎn)：
機(jī)器學(xué)習(xí)本質(zhì)上是一種算法，這種算法由數(shù)據(jù)分析習(xí)得，而且不依賴于規(guī)則導(dǎo)向的程序設(shè)計(jì)；
統(tǒng)計(jì)建模則是以數(shù)據(jù)為基礎(chǔ)，利用數(shù)學(xué)方程式來探究變量變化規(guī)律的一套規(guī)范化流程。
有一種觀點(diǎn)就是機(jī)器學(xué)習(xí)只是數(shù)理統(tǒng)計(jì)的一個(gè)華麗包裝而已。
在自然語(yǔ)言處理里面，原本是語(yǔ)言學(xué)家占主導(dǎo)的，然后慢慢的統(tǒng)計(jì)學(xué)家開始占上風(fēng)，特別是在翻譯領(lǐng)域，基本上都是靠強(qiáng)大的計(jì)算能力和巨大的模型在處理問題，也就是說從規(guī)則到統(tǒng)計(jì)的轉(zhuǎn)變。
如果說，機(jī)器學(xué)習(xí)的本質(zhì)還是統(tǒng)計(jì)學(xué)的話，統(tǒng)計(jì)學(xué)，概率學(xué)這些東西，其實(shí)已經(jīng)發(fā)展到盡頭，很難再有什么革命性的突破了。是不是也意味著機(jī)器學(xué)習(xí)也走到盡頭了呢？
腦科學(xué)研究
機(jī)器學(xué)習(xí)在很大程度上是對(duì)于大腦工作原理的仿生學(xué)。我覺得，機(jī)器學(xué)習(xí)的發(fā)展肯定和人類對(duì)于大腦研究的發(fā)展密不可分，神經(jīng)網(wǎng)絡(luò)就是一個(gè)例子。也有可能在多年之后，我們會(huì)發(fā)現(xiàn)大腦的工作原理和我們現(xiàn)在的認(rèn)知完全不同，這樣的話，當(dāng)前的機(jī)器學(xué)習(xí)很有可能會(huì)被完全推翻，走向一條新的道路。
