什么是合同異？
《觀念的水位》一文中提到“合同異”，據(jù)說它是戰(zhàn)國時期名家的一個學(xué)派，其核心觀點(diǎn)是認(rèn)為“天與地卑，山與澤平”，萬物看起來不同，但其實(shí)都一樣。這個學(xué)派的要點(diǎn)就是否認(rèn)量變之間的差異，進(jìn)而否認(rèn)了進(jìn)步的可能性和必要性，最終變成了為一切落后進(jìn)行辯護(hù)的詭辯學(xué)說。
作者舉了一個諺語的例子來說明合同異的文化差異。西諺說，不要讓“最好”成為“更好”的敵人。意思是80分不完美，60分也不完美，但不要因?yàn)?0分不是100分而否認(rèn)從60分進(jìn)步到80分的意義。然而中諺卻說：五十步怎么可以笑百步？大家不都一樣逃跑了嗎？
這個例子初聽起來感覺挺有道理的，但又總覺得哪里不對勁。結(jié)合到最近看的深度學(xué)習(xí)視頻和《費(fèi)曼的彩虹》，我發(fā)現(xiàn)了三者之間的一些內(nèi)在聯(lián)系。
RELU和sigmoid函數(shù)
生物學(xué)發(fā)現(xiàn)，神經(jīng)元都是沿著軸突將電信號從樹突傳到樹突。現(xiàn)實(shí)中當(dāng)受到外部刺激時，神經(jīng)元不會立即反應(yīng)，它先會抑制輸入，直到輸入增強(qiáng)，強(qiáng)大到一定程度才可以觸發(fā)輸出。
人工智能研究人員為了模擬這種激活效應(yīng)，在經(jīng)典神經(jīng)網(wǎng)絡(luò)中引入了sigmoid函數(shù)。其公式如下:
對應(yīng)的曲線形式是下圖這樣的:
sigmoid函數(shù)可以很好的模擬激活特性，但卻有一個缺點(diǎn)，它的飽和區(qū)域非常平緩，導(dǎo)致反向傳播時容易梯度消失，加上求導(dǎo)耗時，在動輒上百萬節(jié)點(diǎn)的深度學(xué)習(xí)中，sigmoid函數(shù)會導(dǎo)致網(wǎng)絡(luò)訓(xùn)練無法收斂，這間接導(dǎo)致了神經(jīng)網(wǎng)絡(luò)研究在很長一段時間內(nèi)處在無人問津的寒冬。
直到2012年，Hinton和他的學(xué)生Alex Krizhevsky搭建了一個深度神經(jīng)網(wǎng)絡(luò)模型參加ImageNet挑戰(zhàn)賽。憑借著強(qiáng)大的模型加持，他們以個人之力，吊打谷歌、微軟等巨頭公司，一舉斬獲比賽冠軍。此后，深度學(xué)習(xí)開始進(jìn)入大眾視野，人工智能的春天也隨之到來。而該模型的重要改變之一，就是使用RELU函數(shù)替換sigmoid函數(shù)。
什么是RELU函數(shù)？它很簡單，具體如下圖所示。在副坐標(biāo)軸時y值為0，在正軸時y值與x成比例放大。這種簡潔的公式能同時解決飽和區(qū)域梯度消失問題以及求導(dǎo)復(fù)雜的問題。目前，它已經(jīng)成為深度學(xué)習(xí)的主要激發(fā)函數(shù)之一。
費(fèi)曼的人生觀
《費(fèi)曼的彩虹》一書中，作者向費(fèi)曼詢問的最后一個問題是，科學(xué)家職業(yè)對他的性格有什么影響？
費(fèi)曼的回答中有這么一段話:“我不想從心理上剖析自己。有時候了解自己是件好事，然而有時并非如此。當(dāng)你被一個笑話逗得哈哈大笑的時候，如果你思考自己大笑的原因可能就會發(fā)現(xiàn)它其實(shí)并沒有什么意思，而且還很蠢，于是你便會止住笑聲。你不應(yīng)該這么做。我的原則是，如果你覺得不開心，那么就去好好想想；如果快樂的話，就不要去想。為什么要破壞它呢？我們可能會因?yàn)槟承┗奶频睦碛砷_懷大笑，但是弄清楚這些理由就會令人掃興。”
結(jié)束語
看完了三個故事，你可能一頭霧水。對《觀念的水位》中的評價(jià)而言，疑惑點(diǎn)是什么呢？上面的三件事兒又有什么共同點(diǎn)呢？
我覺得是方向性的差異。對于壞的方向，五十步笑百步這樣相互嘲弄沒什么意義；而對于好的方向，不要讓最好成為更好的敵人也是在促使我們持續(xù)提升和改進(jìn)。所以本質(zhì)上講，兩句話看似矛盾，但實(shí)際只是它們的方向性不同。
進(jìn)一步的，我們發(fā)現(xiàn)事實(shí)上兩者還可以統(tǒng)一成同一個數(shù)學(xué)表達(dá)，那就是RELU函數(shù)，即對于負(fù)向輸入統(tǒng)一拉平處理，對于正向輸入則不斷激發(fā)放大。
那在生活態(tài)度上呢？我們也可以這樣做。對開心的事情(正向)要不去刨根問題，保持和放大快樂就對了；對于不開心的事情(負(fù)向)則要深刻剖析，動用理性識別它的本質(zhì)，抑制感性和悲傷的發(fā)散。
《好好學(xué)習(xí)》里說一旦你的研究深度達(dá)到底層規(guī)律的層面，表面上看起來不相干的問題都會在底層盤根錯節(jié)地聯(lián)系起來。而將這些“不相干”的事情聯(lián)系起來的，正是我們說的“臨界知識”。這篇文章算是對于這段話的一個小小實(shí)踐。
另外，也是為了快速補(bǔ)上前一篇發(fā)文損失，依著《觀念的水位》分享一些自己的想法吧。
