前幾天讀完了K.K.的《失控》，想分享一下全書(shū)給我印象最深刻的幾個(gè)地方。同時(shí)最近幾個(gè)月因?yàn)楫呍O(shè)的關(guān)系學(xué)習(xí)了很多關(guān)于機(jī)器學(xué)習(xí)的知識(shí)，這本書(shū)在這方面也給我?guī)?lái)了很多啟發(fā)（主要是非線性和復(fù)雜系統(tǒng)方面）。每當(dāng)想起這本是一本寫(xiě)于1994年的書(shū)，不免讓人嘖嘖稱奇。

涌現(xiàn)

第一次在書(shū)中讀到這個(gè)詞覺(jué)得很奇怪，但回想起來(lái)卻又覺(jué)得妙不可言。我沒(méi)有考究“涌現(xiàn)”在原文中對(duì)應(yīng)的是哪個(gè)單詞，在中文語(yǔ)境中這個(gè)詞具有大量/突然出現(xiàn)兩層含義，這正是KK描述蜂群時(shí)我感受到的特點(diǎn)——大量低智能的個(gè)體（蜜蜂）聚集在一起后，會(huì)表現(xiàn)出遠(yuǎn)超個(gè)體的智能，它（蜂群）知道什么時(shí)候該搬家，該搬到哪個(gè)地方才合適，而蜜蜂個(gè)體是不具備這種能力的。并且它（蜂群的智能）出現(xiàn)的過(guò)程是跳躍式的（非漸變）。
簡(jiǎn)而言之，（本書(shū)范圍內(nèi)）涌現(xiàn)就是大量漫無(wú)目的的個(gè)體聚集后表現(xiàn)出個(gè)體所不具備的秩序和智能。
蜜蜂個(gè)體所能做的只有遵從本能，蜂群的行為從何而來(lái)呢？它不存在于蜜蜂的DNA中，它也不能被蜜蜂個(gè)體所控制。允許我先賣個(gè)關(guān)子，我在后文會(huì)就這個(gè)問(wèn)題做出一個(gè)不成熟的回答。
我們?nèi)祟惒灰彩沁@樣一群蜜蜂嗎，從我們身上涌現(xiàn)出的又是什么？作為其中的一個(gè)個(gè)體，我大概無(wú)法有所認(rèn)知。

非線性與神經(jīng)網(wǎng)絡(luò)

KK在談到復(fù)雜系統(tǒng)時(shí)多次提到非線性這個(gè)詞，由于個(gè)人能力所限，我無(wú)法詳細(xì)地闡述一個(gè)復(fù)雜系統(tǒng)中非線性的影響，所以只能就我熟悉的機(jī)器學(xué)習(xí)來(lái)談一談非線性。
目前機(jī)器學(xué)習(xí)中最火熱的當(dāng)屬神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)中每層(layer)的激活函數(shù)(activation function)必定是一個(gè)非線性(non-linear)函數(shù)，例如sigmoid、relu。
為什么不采用線性的激活函數(shù)呢？因?yàn)闊o(wú)論堆疊多少層采用線性激活函數(shù)的layer，最后都能等價(jià)地轉(zhuǎn)換成一層。而非線性則不然，因此可以通過(guò)堆疊非線性的層來(lái)獲得無(wú)限接近任意函數(shù)的效果，于是有了今天火熱的深度學(xué)習(xí)（采用層數(shù)非常多的神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)）。
為什么非線性如此神奇？因?yàn)榉蔷€性很復(fù)雜。
神經(jīng)網(wǎng)絡(luò)很復(fù)雜，任何人都無(wú)法解釋用神經(jīng)網(wǎng)絡(luò)訓(xùn)練出來(lái)的模型。曾經(jīng)關(guān)于神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)論文投稿被拒往往會(huì)有這樣的評(píng)語(yǔ)“這篇文章很好，除了神經(jīng)網(wǎng)絡(luò)?！?/p>

復(fù)雜性

雖然我在以前寫(xiě)的文章中也提到過(guò)復(fù)雜性(complexity)這個(gè)概念，但時(shí)至今日還是很難描述它本身。該如何衡量一個(gè)事物的復(fù)雜性？計(jì)算器應(yīng)該比算盤(pán)復(fù)雜，但是玻璃杯和平底鍋哪個(gè)更復(fù)雜呢，下雨和蜂群哪個(gè)更復(fù)雜呢？
我有一個(gè)想法，記不清是不是在書(shū)中看到的——從事物A延伸出來(lái)的事物B，不能超過(guò)其本身(A)的復(fù)雜度。
舉例來(lái)說(shuō)，你作為一個(gè)人類具有一定的復(fù)雜度，你創(chuàng)造出來(lái)的一切東西都不會(huì)比你本身更加復(fù)雜。
那么蜂群怎么說(shuō)？蜂群由蜜蜂個(gè)體創(chuàng)造，卻比蜜蜂本身更復(fù)雜。這是因?yàn)榉淙翰皇怯梢粋€(gè)蜜蜂創(chuàng)造，而是大量蜜蜂創(chuàng)造的，大量蜜蜂的復(fù)雜度當(dāng)然遠(yuǎn)遠(yuǎn)超過(guò)單個(gè)蜜蜂。這似乎回到了之前的涌現(xiàn)從何而來(lái)的提問(wèn)——涌現(xiàn)源于復(fù)雜性。
再來(lái)談一談剛才說(shuō)到的神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)魅力源泉就在于其非線性的特性所帶來(lái)的復(fù)雜性，通過(guò)堆疊非線性的層使網(wǎng)絡(luò)具有更高的復(fù)雜度。想要解決復(fù)雜問(wèn)題，就需要比問(wèn)題更復(fù)雜的系統(tǒng)。
復(fù)雜性是個(gè)好東西，復(fù)雜代表著可能。

失控和進(jìn)化

人類能不能創(chuàng)造出更加復(fù)雜的東西呢？即使我上文所提到的那個(gè)大膽想法為真，即人類無(wú)法創(chuàng)造出比人類本身更復(fù)雜的東西，答案毋庸置疑也是肯定的。因?yàn)槿祟惖膹?fù)雜性遠(yuǎn)遠(yuǎn)超過(guò)其對(duì)自身的認(rèn)知。舉個(gè)不是十恰當(dāng)例子，人腦有約850億個(gè)神經(jīng)元，而目前為止最復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)不過(guò)剛剛上億而已。沒(méi)有人能解釋人腦的工作原理，我們對(duì)它知之甚少，但卻不妨礙我們使用它。
也許有一天阻礙人類進(jìn)一步發(fā)展的正是對(duì)事物進(jìn)行追根問(wèn)底探究的控制欲。神經(jīng)網(wǎng)絡(luò)曾經(jīng)一度受到冷落的原因就是其不可解釋性。解釋代表因果關(guān)系，因果代表掌握改造世界的規(guī)律——這就終極的控制。
人類總是希望讓一切都處于自己的控制之中，這種控制欲限制了創(chuàng)造更復(fù)雜的系統(tǒng)。人類本身已經(jīng)復(fù)雜到讓人類無(wú)法解釋，更不用說(shuō)孕育出人類的整個(gè)世界，人類的智能是否有能力解釋如此復(fù)雜的事物？
現(xiàn)在這種情況似乎有所轉(zhuǎn)變，神經(jīng)網(wǎng)絡(luò)的不可解釋性已經(jīng)被接受。舉例來(lái)說(shuō)，自動(dòng)駕駛汽車能夠識(shí)別出路上的車輛是車輛、行人是行人應(yīng)用的正是神經(jīng)網(wǎng)絡(luò)。雖然沒(méi)把人能解釋它具體是怎么識(shí)別的，但它運(yùn)行得很好，識(shí)別正確率極高。換句話說(shuō)，自動(dòng)駕駛汽車這臺(tái)機(jī)器的一部分已經(jīng)不在人類的控制中，但也因此表現(xiàn)出了非凡的智能。如果想要?jiǎng)?chuàng)造出更復(fù)雜、更智能的系統(tǒng)，注定要放棄更多的控制。
擁抱復(fù)雜，擁抱失控，然后進(jìn)化。