正文
私以為，深度學習是基于多層神經網絡結構的一種機器學習技術。即便深度學習已經廣泛地應用于各個領域，也產生了無人駕駛、步態(tài)識別、人臉識別等重要應用，但是其短板也是致命的。比如前不久在美國發(fā)生的一起 Tesla 無人駕駛車撞上一臺白色貨車的嚴重事故，導致無人駕駛車上的乘客死亡。事后經調查發(fā)現事故的原因是當時車載的深度學習模型認為前方的白色貨車是公路（因為貨車通體白色）所以無人駕駛車沒有減速就直接撞了上去。
顯然，在開放環(huán)境下，深度學習技術還不夠成熟。一方面原因是傳統(tǒng)深度學習模型沒有基于自然科學常識。
文章[1]介紹到日前 Bengio 團隊提出了一種新型神經網絡，將神經網絡的輸入變量從傳統(tǒng)的二維矩陣拓展為圖譜。圖譜是一種去除了兩條限制的矩陣[2]。筆者認為將深度學習的輸入數據類型，從“有信息損耗的一維向量”向“無信息損耗的復雜數據類型”演進，是未來人工智能領域的研究趨勢。
筆者也思考過類似的問題，為什么深度學習浪潮興起于圖像領域？我認為是這樣的原因：圖像的表示方法是矩陣，矩陣與一維向量是“近親”，神經網絡的輸入是固定緯度的一維向量，根據“沒有免費午餐定理”得出結論——圖像數據特別適合于神經網絡模型，所以深度學習能在圖像領域大展拳腳。
筆者與學強師兄探討過這樣的問題，目前神經網絡的模型更適合圖像領域，那么對于自然語言處理領域，我們能否改進神經網絡的底層輸入是一維向量的現狀，從而提出更適合自然語言處理的新型神經網絡模型？
綜上所述，傳統(tǒng)的深度學習模型存在如下幾個缺陷：
- 沒有結合常識，或者說模型不基于知識；
- 一維向量的輸入模型不適合自然語言處理領域應用。
參考文獻
- 【一文讀懂Bengio研究組最新論文】圖譜注意力網絡GAT，以圖譜做輸入做深度學習. 新智源. 鄧侃
- Graph Attention Networks, https://arxiv.org/pdf/1710.10903.pdf
