姓名：張安琪 ?學號：17021211235

轉(zhuǎn)載自：https://www.leiphone.com/news/201803/PJH0q2tj8d3jvVIk.html，有刪節(jié)。

【嵌牛導讀】：深度神經(jīng)網(wǎng)絡由許多單獨的神經(jīng)元組成，它們以復雜且違反人直覺的方式組合起來，以解決各種具有挑戰(zhàn)性的任務。這種復雜性一方面賦予神經(jīng)網(wǎng)絡神秘力量，另一方面，也讓它們變成了人類難懂的黑匣子。

【嵌牛鼻子】：深度學習 神經(jīng)網(wǎng)絡

【嵌牛提問】：什么是深度學習

【嵌牛正文】：

了解神經(jīng)網(wǎng)絡的深層功能對于解釋它們是如何做決定至關重要，并且能幫我們構(gòu)建更強大的系統(tǒng)。就像，你不了解各個齒輪如何配合工作，你在試圖做一個鐘表時就很困難。

要想理解神經(jīng)科學和深度學習中的神經(jīng)網(wǎng)絡，一種方法是弄清單個神經(jīng)元的作用，尤其是那些易于解釋的神經(jīng)元。

DeepMind最新的一篇關于神經(jīng)網(wǎng)絡學習的論文《On the Importance of Single Directions for Generalization》（https://arxiv.org/abs/1803.06959）將投稿在第六屆 ICLR（國際學習表征會議）。這項研究所采用的方法是受數(shù)十年臨床神經(jīng)系統(tǒng)科學的啟發(fā)，通過探索損傷神經(jīng)元的影響來確定小規(guī)模神經(jīng)元組對神經(jīng)網(wǎng)絡的重要性。深度神經(jīng)網(wǎng)絡中的那些越容易解釋的神經(jīng)元對神經(jīng)網(wǎng)絡的計算性能越重要嗎？

研究人員通過刪除單個神經(jīng)元或神經(jīng)元組來衡量它是否對網(wǎng)絡的性能產(chǎn)生了影響。這項實驗有了兩個令人驚訝的發(fā)現(xiàn)：

雖然以前的許多研究集中于易理解，可解釋的單個神經(jīng)元（例如「貓神經(jīng)元」，或深層網(wǎng)絡的隱藏層中的神經(jīng)元，它們只對貓的圖像有反應），但我們發(fā)現(xiàn)這些可解釋的神經(jīng)元和那些難以理解，不可描述的神經(jīng)元對神經(jīng)網(wǎng)絡的影響，并沒什么不同。

在同樣刪除神經(jīng)元的情況下，能正確分類沒見過的圖像的網(wǎng)絡比僅能對看到過的圖像進行分類的網(wǎng)絡恢復的更快。換句話說，推理性好的網(wǎng)絡比那些單純的記憶網(wǎng)絡更不依賴于單一方向。

「貓神經(jīng)元」可能更易解釋，但它們并不重要

在神經(jīng)科學和深度學習中，廣泛分析了僅對單一輸入類別的圖像（例如狗）作出響應的易解釋神經(jīng)元（「選擇性」神經(jīng)元）。這導致了在深度學習中對貓神經(jīng)元，情緒神經(jīng)元和括號神經(jīng)元過度強調(diào)它們的重要性; 在神經(jīng)科學中，對例如詹妮弗安妮斯頓神經(jīng)元，以及一些類似的神經(jīng)元的過度強調(diào)等等。然而，這些占少數(shù)的高選擇性神經(jīng)元，以及大多數(shù)低選擇性、更令人費解且難以解釋的神經(jīng)元之間，哪種相對更重要仍然未知。

原句好拗口啊……

具有明顯響應模式（例如，對貓活躍，對其他所有活動不活躍）的神經(jīng)元比那些隨著圖像隨機活動或不活動的令人難理解的神經(jīng)元更容易解釋。

為了評估神經(jīng)元的重要性，研究人員測量了當神經(jīng)元被刪除時，圖像分類任務的網(wǎng)絡性能是如何變化。 如果一個神經(jīng)元是非常重要的，刪除它應該是具有高度破壞性的并且大大降低網(wǎng)絡性能，而刪除一個不重要的神經(jīng)元應該沒有什么影響。 神經(jīng)科學家經(jīng)常進行類似的實驗，盡管它們很難在人造神經(jīng)網(wǎng)絡中獲得這些實驗所必需的細粒度和精確度。

上圖是在一個簡單神經(jīng)網(wǎng)絡上刪除神經(jīng)元產(chǎn)生影響的概念圖，較深的神經(jīng)元更活躍。 ?需要注意的是，刪除一個或兩個神經(jīng)元對輸出影響很小，而刪除大部分神經(jīng)元會產(chǎn)生很大的影響，并且一些神經(jīng)元比其他神經(jīng)元更重要！

令人驚訝的是，研究員發(fā)現(xiàn)神經(jīng)網(wǎng)絡的選擇和重要性之間幾乎沒有關系。換句話說，「貓神經(jīng)元」并不比令人難解的神經(jīng)元更重要。這一發(fā)現(xiàn)與最近在神經(jīng)科學方面的工作相呼應，已經(jīng)證明令人難解的神經(jīng)元實際上可以提供豐富的信息，并且表明今后在探索上必須超越最易于解釋的神經(jīng)元，以便理解深度神經(jīng)網(wǎng)絡。

雖然「貓神經(jīng)元」可能更易解釋，但它們并不比那些難解釋，沒有明顯偏好的神經(jīng)元更重要。 上圖反映了我們所期望的重要性和解釋性之間的不同關系！

盡管可解釋神經(jīng)元在直覺上更容易理解（比如，「它喜歡狗」），但它們并沒有比那些沒有明顯偏好的難解釋神經(jīng)元更重要。

推理性好的網(wǎng)絡很難打破

我們試圖構(gòu)建智能系統(tǒng)，如果系統(tǒng)能夠推理出新的場景，我們只能稱之為系統(tǒng)智能。例如，一個圖像分類網(wǎng)絡只能對以前看過的特定狗圖像進行分類，而不能對同一只狗的新圖像進行分類，這個網(wǎng)絡是沒有價值的。只有在新樣本中依然能智能分類，這些系統(tǒng)才能獲得它們的效用。去年，Google Brain、Berkeley 和 DeepMind 合作的論文在 ICLR 2017 上獲得最佳論文，表明深層網(wǎng)絡可以簡單地記住他們接受訓練的每個圖像，而不是以更像人類的方式在學習（例如，了解抽象的「狗」概念）。

然而，網(wǎng)絡是否已經(jīng)學會了一種能夠推理到新的任務場景中的解決方案，這往往是不清楚的。通過逐漸刪除越來越大的神經(jīng)元組，研究員發(fā)現(xiàn)，相比于簡單記憶在訓練期間看到的圖像的網(wǎng)絡，具有良好泛化能力的網(wǎng)絡對刪除神經(jīng)元組后的穩(wěn)健性要強得多。換句話說，泛化好的網(wǎng)絡很難被打破（盡管它們肯定還是會被打破的）。

通過以這種方式衡量網(wǎng)絡的穩(wěn)健性，可以評估一個網(wǎng)絡是否在利用簡單的記憶來「欺騙」人類。了解網(wǎng)絡在記憶過程中是如何變化的將有助于建立新網(wǎng)絡，網(wǎng)絡記憶越少，推理性就越強。

神經(jīng)科學啟發(fā)分析

總之，這些發(fā)現(xiàn)證明了使用基于臨床神經(jīng)科學啟發(fā)的技術來理解神經(jīng)網(wǎng)絡的力量是可行的。 使用這些方法，發(fā)現(xiàn)高選擇性個體神經(jīng)元并不比非選擇性神經(jīng)元更重要，并且那些廣義的網(wǎng)絡比單純記憶訓練數(shù)據(jù)的網(wǎng)絡更不依賴于單個神經(jīng)元。 這些結(jié)果意味著單個神經(jīng)元的重要性可能看起來的那么重要。通過努力解釋所有神經(jīng)元的作用，而不僅僅是那些易于解釋的神經(jīng)元，我們希望更好地理解神經(jīng)網(wǎng)絡的內(nèi)部工作，最關鍵的是，利用這種理解來構(gòu)建更加智能和通用的系統(tǒng)。