文章名：ACTIVIS: Visual Exploration of Industry-Scale Deep Neural Network Models

期刊：《IEEE Transactions on Visualization and Computer Graphics》

我們將包含一個或多個隱藏層的神經(jīng)網(wǎng)絡(luò)稱為深度神經(jīng)網(wǎng)絡(luò)。雖然深度神經(jīng)網(wǎng)絡(luò)模型在各項預(yù)測任務(wù)中已取得良好表現(xiàn)，但是就理解深度神經(jīng)網(wǎng)絡(luò)是如何工作，仍存在諸多挑戰(zhàn)。文章提出的ACTIVIS系統(tǒng)，基于分類神經(jīng)網(wǎng)絡(luò)，通過對比展示神經(jīng)元在不同實例下的激活情況，幫助用戶理解當(dāng)前神經(jīng)網(wǎng)絡(luò)訓(xùn)練情況以及存在哪些不足，從而幫助用戶做出下一步的模型更改策略以及數(shù)據(jù)訓(xùn)練計劃。

ACTIVIS主視圖

如上圖所示，ACTIVIS系統(tǒng)主要由三個部分組成。視圖A為概覽視圖，展示整個深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。?整個系統(tǒng)的數(shù)據(jù)流向，從左到右。矩形名為操作節(jié)點，代表一系列操作函數(shù)。圓形節(jié)點代表一個張量。視圖B有三個部分組成，中間的視圖為神經(jīng)元激活矩陣視圖，視圖的每一列代表一個神經(jīng)元，每一行代表一個實例下神經(jīng)元激活情況，神經(jīng)元的顏色越深代表激活值越大。右邊的視圖為投影視圖，展示當(dāng)前被選中節(jié)點的分類結(jié)果。左邊視圖展示選中節(jié)點局部結(jié)構(gòu)。視圖C為實例選擇視圖，展示實例的分類情況。每一行代表一類實例，一行的左邊為正確分類的實例，一行的右邊為錯誤分類的實例。小矩形的外框顏色表示該實例所屬的類別，小矩形顏色表示錯誤分類類別。用戶可通過點擊小矩形，選中該實例到神經(jīng)元激活矩陣視圖。用戶選停在小矩形上，將顯示出該實例的具體內(nèi)容，以及各個分類的可能性。

下面介紹系統(tǒng)的工作流程：

（1）用戶訓(xùn)練好深度神經(jīng)網(wǎng)絡(luò)模型后，從瀏覽器打開ACTIIS系統(tǒng)。

探索概覽視圖

（2）用戶首先概覽視圖中觀察和探索整個深度神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。

最后一個隱藏層

（3）用戶首先從最后一個隱藏層開始探索，因為最后一個隱藏層往往代表整個模型的好壞。用戶觀察到在激活矩陣視圖的LOC行，在視覺上十分特別。這可能表明出現(xiàn)了滿意的分類。但是在投影視圖上，不同類別并沒有被很好的分開。

選擇實例

（4）為了弄清楚錯誤分類出現(xiàn)的原因，Susan在”Instance Selection”視圖中，觀察被錯誤分類的實例。用戶向激活矩陣視圖添加了兩個正確分類的實例和兩個錯誤分類的實例?？梢钥吹秸_分類的實例與錯誤分類的實例的激活矩陣差別很大。

觀察實例

（5）用戶觀察到被錯誤分類的實例大部分都是藍(lán)色外框矩形。所以去了解實例對應(yīng)的具體文本。用戶發(fā)現(xiàn)被錯誤分類的問題大部分是以“what is”開頭。所以接下來用戶將著重訓(xùn)練這一類問題。

系統(tǒng)可擴展性

（1）囊括不同的模型與數(shù)據(jù)集：模塊化數(shù)據(jù)導(dǎo)入代碼；給開發(fā)人員提供API調(diào)用。

（2）擴展到大規(guī)模數(shù)據(jù)集：對于一些“有趣的節(jié)點”進行預(yù)計算；讓用戶指導(dǎo)抽樣以及實例選擇的過程；計算大規(guī)模數(shù)據(jù)集的神經(jīng)元激活矩陣。