“ 硅基人企圖以數(shù)理方式融入地球”
01—硅基人的軟殖民
硅基文明遵循著潛移默化的共同進(jìn)化原則，而非暴力入侵或殖民的方式；通過了解地球的文明程度，做出對應(yīng)的措施以融入地球文明。為了更好地進(jìn)行信號傳遞和對地球的定位，硅基人在地球上建造了同時具有信號發(fā)射和信號接收作用的金字塔、瑪雅神廟等建筑；他們有一個共同的特點——指向獵戶座α星。
時間來到了公元前500年左右。硅基人在地球各地分散設(shè)置了若干個掃描區(qū)域，進(jìn)入這個區(qū)域的人類會被掃描身體構(gòu)造（硅基人避免采用小白鼠的方式研究地球人，最大的考量是為了避免恐慌），很快硅基人掌握了地球人的生理結(jié)構(gòu)，并抽象出了地球人的信息接收、釋放和處理機(jī)制的模型——神經(jīng)網(wǎng)絡(luò)模型（這個模型是脫離身體結(jié)構(gòu)的，這意味著這個抽象模型天然地就不具備通過各個身體部件獲得信息的能力）。
硅基人希望通過地球人的方式學(xué)習(xí)地球人的語言，進(jìn)而融入地球人的生產(chǎn)生活，以地球人可以接收的方式，也是潛移默化的方式幫助地球文明發(fā)展，因為硅基人通過嚴(yán)密的計算和評估除了地球文明的發(fā)展指數(shù)，只有指數(shù)達(dá)到硅基文明上下兩個量級以內(nèi)，硅基人才可以與地球文明共同發(fā)展，而達(dá)到這個水平的一個明顯特征就是出現(xiàn)電磁波的研究。而之所以從語言入手也是考慮到語言是地球人對世界認(rèn)知的基本反映，可以說，語言是可以被理解的存在。通過對地球人語言的學(xué)習(xí)，硅基人可以以一種內(nèi)在的方式理清楚地球人目前的文明現(xiàn)狀和將來可能的發(fā)展?jié)摿Α?/p>
對硅基人而言，地球上的不同語言是不同的符號系統(tǒng)，語言的基本單位已經(jīng)蘊(yùn)含了人類的部分先驗認(rèn)知，硅基人無法直接對這樣的符號進(jìn)行處理。而且不同的語言（不同的符號系統(tǒng)）之間要么相互疊加，要么是包含與被包含，錯綜復(fù)雜。于是硅基人把地球人語言的基本元素轉(zhuǎn)化為一個多維的坐標(biāo)，不同維度表示地球語言每個字或者每個詞的不同語義和語法特征，某個維度的數(shù)值更大意味著這個特征更加顯著。而且通過數(shù)值化的表達(dá)，硅基人可以利用他們的優(yōu)勢計算能力，將語言進(jìn)行計算。
當(dāng)然，有了數(shù)字的基礎(chǔ)，硅基人需要的就是有一個數(shù)據(jù)處理的框架，他們自然而然地盯上了地球人的大腦神經(jīng)網(wǎng)絡(luò)。
硅基人持續(xù)關(guān)注了人類的成長過程，發(fā)現(xiàn)隨著經(jīng)驗的增加神經(jīng)突觸之間的連接強(qiáng)度也在發(fā)生變化，而且神經(jīng)元之間的信息傳遞是通過化學(xué)反應(yīng)產(chǎn)生的電信號，通過電信號的方向和強(qiáng)度表征信息，而硅基人的晶體結(jié)構(gòu)恰好可以完美復(fù)刻這種模式。但是硅基人并沒有發(fā)現(xiàn)地球人的腦神經(jīng)中是如何學(xué)習(xí)反饋的，沒有反饋也就無法達(dá)到學(xué)習(xí)的目的。這一度十分困擾硅基人。慢慢地硅基人意識到這是一種當(dāng)前階段無法被認(rèn)識到的機(jī)制，也許在不久的將來可以解鎖這種機(jī)制，或許這種學(xué)習(xí)機(jī)制中隱藏著進(jìn)化的某種秘密？然而硅基人擅長各種抽象和運算。盡管無法完全復(fù)制人類的腦神經(jīng)學(xué)習(xí)機(jī)制，硅基人還是通過運算證明了他們設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)可以近似逼近任意的數(shù)學(xué)函數(shù)，而他們正是將人類的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)視為一個多元函數(shù)。此外，他們還巧妙地通過多元函數(shù)梯度計算優(yōu)化誤差進(jìn)而達(dá)到了學(xué)習(xí)目的。他們把這種機(jī)制稱為反向傳播。
當(dāng)然，想適配通用函數(shù)，神經(jīng)網(wǎng)絡(luò)必須具有足夠的容量，即網(wǎng)絡(luò)要有足夠的深度，滿足一定的神經(jīng)元數(shù)量是必然條件；其次，與閾值函數(shù)不同的是，使用梯度的其他激活函數(shù)作為感知機(jī)，可以在淺層網(wǎng)絡(luò)丟失部分信息的時候，在深層網(wǎng)絡(luò)獲得一定的信息補(bǔ)償。因此，神經(jīng)網(wǎng)絡(luò)對通用函數(shù)的擬合，一定是深度、寬度和激活函數(shù)之間的權(quán)衡，而適配通用函數(shù)的本質(zhì)其實是硅基人把非線性激活函數(shù)融入到了整個結(jié)構(gòu)中。
很快，硅基人找到了影響地球文明發(fā)展的突破口。因為地球上不同文明之間的語言存在某種模式上的互通性，主要是指不同地區(qū)的文明其語言所指有著共同的物理基礎(chǔ)，但是語言組織的模式、表達(dá)的具體含義及信息強(qiáng)度等各有不同。于是想利用不同語言之間的翻譯驗證他們設(shè)計的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的合理性。這個神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是硅基人擅長的概率論、數(shù)理統(tǒng)計以及矩陣運算。
但是缺點就是硅基人也無法解釋每個維度的特征具體代表什么含義，因為能夠讓這樣一個擬合函數(shù)真正起作用需要經(jīng)過多次的實驗和參數(shù)調(diào)整，有很大的經(jīng)驗成分和試錯成分在里面。這些在地球東方文明的語言體系下得到了印證，因為他們試圖利用設(shè)計的神經(jīng)網(wǎng)絡(luò)對語言進(jìn)行建模，把該語言的所有內(nèi)容編碼為一個高維數(shù)值空間，以徹底掌握該語言。但是顯然他們基于地球語言都是線性的（一句話或者一段話乃至更長的語篇可以看成字詞串）而簡單對共現(xiàn)詞進(jìn)行建模的方式是存在巨大缺陷的。他們的處理方式本質(zhì)上比較簡單，即語言中挨得近的字或者詞語具有近似的含義，對應(yīng)地會被編碼到高維空間中相近的位置。
關(guān)于這一點，實際上硅基人做了多次嘗試：
【1】第一次嘗試：針對一種語言（針對當(dāng)時地球上使用人數(shù)最多的語言——漢語），最基本的數(shù)值化映射方法是將每個字或者詞映射為一個字典序號。也就是說，假如漢語的所有詞匯構(gòu)成一個詞匯表（包括單個字的詞、多個字的詞），詞表長度為5000，其中一個詞為“吾”，序號為3；另一個詞為“壯觀”，序號為347，... ...以此類推，這樣倒是可以把地球語言的這些符號表示為數(shù)字，但是因為數(shù)字是離散的（就是不連續(xù)，因為字典序是自然數(shù)，比如1和2之間還有1.1、1.111、1.2等等無窮多個數(shù)），在硅基人的微積分體系下無法很好地計算；另外字典序號也沒有任何的實際意義，僅僅是從無法計算的符號映射到了可以勉強(qiáng)計算的數(shù)字符號。
【2】第二次嘗試：把每個詞匯表征為一個向量，而且向量維度就是詞表長度，也就是每個向量都是5000維，比如“吾”這個詞序號為3，那么這個詞對應(yīng)的5000維向量就是第三個數(shù)字是1，其余數(shù)字為0：<0,0,1,0,... ...,0>，相比第一次嘗試的方法，這種方法可以實現(xiàn)比較好的計算，但若是詞表發(fā)生變化（尤其變至上萬甚至幾萬的情況下）那么計算量就會陡增，因為每個詞都是幾萬維度的向量，進(jìn)行梯度計算時就會出現(xiàn)梯度消失或者梯度爆炸等一些現(xiàn)象。
【3】第三次嘗試：在第二次的嘗試基礎(chǔ)上結(jié)合設(shè)計出來的網(wǎng)絡(luò)結(jié)構(gòu)，將幾萬維度的向量進(jìn)行一個壓縮，比如是512維（512是2的9次冪），但是維度的含義解釋性比較低。相比以前BIT在處理隕石雨攻擊時采用的將隕石刻畫為<密度、體積、長度、角度...>等這樣有具體含義的特征序列不同，現(xiàn)在這種方法對語言符號的表示是未知特征的序列，比如<0.234，1.34，0.009，... ...，4.11>，其中每個數(shù)字都可以刻畫某種類似隕石飛過來的角度這樣的特征，但是特征含義未知，具體這個數(shù)值是多少也未知，需要在訓(xùn)練過程中慢慢更新優(yōu)化。
硅基人對第三次嘗試的方法尤為滿意。
硅基人還設(shè)計了兩種用來學(xué)習(xí)詞語向量的方法，一種是根據(jù)上下文預(yù)測當(dāng)前詞語，另一種是根據(jù)當(dāng)前詞語預(yù)測上下文。在進(jìn)行著兩種任務(wù)的學(xué)習(xí)過程中不斷更新參數(shù)，使得預(yù)測得結(jié)果更準(zhǔn)，最后產(chǎn)生的每個詞匯的向量就是詞向量。硅基人對得到的詞向量進(jìn)行了一些數(shù)值上的驗證，效果甚佳。
關(guān)于數(shù)據(jù)，硅基人計劃通過收集每種語言環(huán)境下的具體所指，包括物理實體及其關(guān)系亦或是情緒、思考等抽象概念，獲得一大批數(shù)據(jù)來訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。但是考慮到收集這樣的語言數(shù)據(jù)消耗大量的資源，而且星際飛船能源補(bǔ)給出現(xiàn)問題，需要緊急返航以補(bǔ)充能量，而且硅基人的生命周期太長，下次來的時候地球語言可能已經(jīng)發(fā)生了幾代的更迭，數(shù)據(jù)收集的代價過大，也正是出于這樣的考慮，硅基人才設(shè)計了這個可以智能“學(xué)習(xí)”的神經(jīng)網(wǎng)絡(luò)模型。硅基人決定一次性收集一批語料作為啟動數(shù)據(jù)，讓神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)自動學(xué)習(xí)這樣的語言，并且在硅基人的星際飛船回航期間可以跟隨地球語言的發(fā)展不斷更迭，通過翻譯加強(qiáng)文明發(fā)展和溝通。
說到這里有必要解釋一下，硅基人的星際飛船每個人的分工十分明確，每個具體任務(wù)由主副兩位負(fù)責(zé)。其中硅基人0_1號專門負(fù)責(zé)融入策略制定，也就是他們決定是否以語言或者其他領(lǐng)域作為突破口，0_2是他的副官；硅基人1_1號完成策略實現(xiàn)，包括實際模型的設(shè)計與實現(xiàn)，對效果的把控，1_2是其副官；當(dāng)然還有其他若干的任務(wù)，比如負(fù)責(zé)星際飛船的能源供給、負(fù)責(zé)規(guī)律武器的運營和星際飛船的安全等等。
隨著地球上文明的發(fā)展，硅基人1_1號設(shè)計的word2vec效果逐漸難以滿足需求，硅基人1_2號開始著手面向具體任務(wù)的模型設(shè)計與實現(xiàn)。
02—掉書袋
【1】 上述情節(jié)引出了word2vec（詞向量，硅基人第三次將詞語映射為數(shù)值的嘗試部分就是word2vec）、神經(jīng)網(wǎng)絡(luò)、反向傳播等深度學(xué)習(xí)的基礎(chǔ)概念，只闡述其思想，不闡述細(xì)節(jié)。
【2】神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)可以參考感知機(jī)模型或者SVM模型，深度學(xué)習(xí)是以神經(jīng)網(wǎng)絡(luò)為基本的模型結(jié)構(gòu)，在一定程度上模仿了人類大腦的一些生物學(xué)特征，比如神經(jīng)元、神經(jīng)連接、激活函數(shù)等。
【3】激活函數(shù)對來自神經(jīng)元的加權(quán)信號進(jìn)行非線性映射，這是神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的深度學(xué)習(xí)模型可以理論上擬合任意函數(shù)的重要基礎(chǔ)。
【4】上述情節(jié)中硅基人第二次嘗試將語言映射為可計算的數(shù)值實際上是NLP技術(shù)中的one-hot，詞向量在某種程度上來講，本質(zhì)還是one-hot，只不過是one-hot向量與一個參數(shù)向量或者參數(shù)矩陣相乘得到的一個壓縮后的向量。在工程實踐中這個one-hot向量中的1的位置實際上就相當(dāng)于字典序，直接索引到對應(yīng)的指定維度的向量。
【5】反向傳播是以梯度下降算法為基礎(chǔ)，通過計算梯度尋找當(dāng)前的最優(yōu)值（可能是最大值也可能是最小值），然后更新全部網(wǎng)絡(luò)結(jié)構(gòu)的參數(shù)，循環(huán)往復(fù)直到模型參數(shù)達(dá)到全局最優(yōu)。
【6】上文提到的用于學(xué)習(xí)詞向量的兩種方法，其中當(dāng)前詞預(yù)測上下文是skip-gram；用上下文預(yù)測當(dāng)前詞是CBOW(連續(xù)詞袋，Continuous Bag of Words)。
03—參考文獻(xiàn)
1. 詞向量的本質(zhì)：https://zhuanlan.zhihu.com/p/26306795/
2. 詞向量的一些性質(zhì)：https://spaces.ac.cn/archives/4677
