很早的文章 2015??http://yosinski.com/deepvis

提出兩種工具：（1）可視化激活值（2）第二種方法通過一種正則化的方法，在像素層面優(yōu)化

這篇文章的貢獻 第一：開源了一款軟件，集成了當前所有的可視化的方法，包括，1.展示激活值2.通過梯度上升找到偏好的刺激3.對每個unit，訓練集中響應最大的top 圖片4.把這些top 圖片根據(jù)反卷積生成的視圖;第二：為了產(chǎn)生我們更容易理解的圖片，給先前那些可視化偏好激活模式的方法一些正則項，以產(chǎn)生更為人所理解的圖片

一個發(fā)現(xiàn)是? （1）一個神經(jīng)元可能感興趣區(qū)域是非常局部的（深層次神經(jīng)元理論上應該有很大區(qū)域的感受野，但是還是感興趣一個局部區(qū)域？？，卷積層4，5）? ? ?（2）感興趣往往是比較確定的，比如就是臉

第二個貢獻是?

明面上公式

實際用的是

實驗了幾種正則方式：L2衰減，高斯模糊，小范數(shù)的被裁減，小貢獻的被裁減