奧本大學(xué) 美國(guó)80左右的大學(xué)

（1）回顧現(xiàn)有的AM（激活最大算法）（2）討論現(xiàn)有AM算法概率意義的解釋，（3）回顧AM在調(diào)試和解釋網(wǎng)絡(luò)的應(yīng)用

（1）認(rèn)為ZF的文章的問(wèn)題：需要在很大的圖像集上測(cè)試每個(gè)神經(jīng)元，第二個(gè)問(wèn)題激活神經(jīng)元的不一定是有信息量的圖片，因?yàn)檫@篇文章提到Deep neural networks are easily fooled: High confidence predictions for unrecognizable images，錯(cuò)誤的圖片也可能被給以高置信度，第三，到底是圖片里的哪個(gè)視覺(jué)特征導(dǎo)致了神經(jīng)元的激活是模糊的。比如被一張站在樹(shù)上的鳥(niǎo)圖片激活，不確定是鳥(niǎo)還是樹(shù) ，第四，神經(jīng)元可能喜歡的是一個(gè)圖片的集合，如何從這個(gè)圖片的集合中提取一個(gè)整體的描述是很困難的（這組圖片中怎么提取一個(gè)公用特征？）一個(gè)普遍的做法，是研究刺激unit的top-9圖片，但是只取九個(gè)應(yīng)該是不夠的，因?yàn)樗赡苤环从沉松窠?jīng)元感興趣的許多類特征中的一類（需要一個(gè)分布，最喜歡，第二喜歡，然后。。。而不僅僅是top9，圖片可以加個(gè)權(quán)重嗎，然后選出感興趣的特征）Multifaceted feature visualization: Uncoveringthe different types of features learned by each neuron in deep neural networks? 這篇文章揭示了一個(gè)神經(jīng)元喜好的多個(gè)特征。另外一種做法，是直接合成視覺(jué)特征，而不是挑選真實(shí)的圖片，包括Visualizing higher-layer features of a deep network，Synthesizing the preferred inputs for neurons in neural networks via deep generator networks ；Feature visualization. distill(這是一篇網(wǎng)絡(luò)文章，蒸餾)；這種合成方法的優(yōu)勢(shì)：在一個(gè)給定的圖像先驗(yàn)（可不可以圖像先驗(yàn)都不要，讓它無(wú)拘無(wú)束）下不需要和訓(xùn)練集一致，這是實(shí)際中更有可能情形；第二 可以給圖片類型和內(nèi)容更多的 人為控制

可以推廣到研究一組神經(jīng)元的最大激活值，比如Inceptionism: Going deeper into neural??networks（又一篇谷歌腦的推文）Plug & play?generative networks: Conditional iterative generation of images in latent space，The building blocks of interpretability. Distill（谷歌腦），

訓(xùn)練輸出而不是權(quán)重

我們?cè)诩せ钪颠_(dá)到一個(gè)閾值時(shí)停止訓(xùn)練。從一個(gè)隨機(jī)噪聲圖片（random）從頭開(kāi)始生成AM的圖片往往導(dǎo)致不可解釋的圖片，就是Deep neural networks are easily fooled: High confidence predictions for unrecognizable images，這篇文章中提到的，fooling examples，比如說(shuō)高頻噪聲激活給定神經(jīng)元。因此一個(gè)方式是 從一個(gè)真實(shí)的圖片開(kāi)始優(yōu)化AM，這樣導(dǎo)致我們往往容易遇到對(duì)抗性樣本，（對(duì)抗樣本滿足兩個(gè)要求，一個(gè)是誤分類，一個(gè)是很接近初始圖片，只是誤分類的不能稱之為對(duì)抗樣本）

沒(méi)有圖像先驗(yàn)會(huì)產(chǎn)生很垃圾的圖片

振鈴現(xiàn)象

因此希望把搜索限制在可解釋的范圍內(nèi)，看上去像是真圖片或者接近訓(xùn)練集里的那些圖片，Vsualizing deep convolutional neural networks using?natural pre-images。

加了正則項(xiàng)

加正則的優(yōu)化是這樣的，但是其實(shí)也可以通過(guò)別的方式來(lái)正則

定義了一個(gè)輕微高斯核r來(lái)正則

這是在Understanding Neural Networks Through Deep Visualization中提到，比較了可視化結(jié)果，覺(jué)得Synthesizing the preferred inputs for neurons in neural networks via deep generator networks這篇文章中g(shù)an是最好的。

局部的正則化方法總結(jié)

這些正則化只能有效的保持自然圖像的局部統(tǒng)計(jì)量

全局結(jié)構(gòu)

想讓生成的圖片更加多樣化，這樣可以探究神經(jīng)元是否對(duì)多類物體感興趣

之前的AM是通過(guò)修改圖片的像素，反向傳播來(lái)實(shí)現(xiàn)的，這里逐像素的改變往往是緩慢地，無(wú)關(guān)聯(lián)的，常常生成噪聲圖片。Synthesizing the

preferred inputs for neurons in neural networks via deep generator networks

這篇文章中的DCN-GAN，（應(yīng)該是DCN-GN）

讓生成的圖片多樣化，來(lái)探究神經(jīng)元是不是對(duì)多個(gè) 物體感興趣

AM不僅僅可以去優(yōu)化深層次的空間，也可以去優(yōu)化淺層次的空間，提到gan訓(xùn)練用的感知損失，來(lái)自Generating images with perceptual similarity metrics based on deep networks

GAN 做AM是不一樣的，生成圖片去做判斷，然后再生成

好好想想這是用GAN來(lái)做AM，不是用GAN來(lái)重建某個(gè)特征的，好奇這個(gè)GAN的判別器判別的是什么？？（生成圖片的任務(wù)中判別器判別的是什么？，沒(méi)有真實(shí)圖片作參考啊）

問(wèn)題變成了找編碼h

優(yōu)化h

這個(gè)GAN的方法是在隱層空間進(jìn)行的優(yōu)化，x不是第一層了，h是第一層，所以與之前的在像素空間進(jìn)行優(yōu)化的方法比起來(lái)效果好很多。，但是GAN的問(wèn)題是容易喪失多樣性，只能生成最大激活神經(jīng)元的九類圖像，而類別數(shù)較少。

（不是GAN，錯(cuò)了，只是一個(gè)生成網(wǎng)絡(luò)，沒(méi)說(shuō)對(duì)抗，一個(gè)指導(dǎo)網(wǎng)絡(luò)）

為了增強(qiáng)圖片的多樣性，在Plug & play generative networks: Conditional iterative generation of images in latent space這篇文章中，利用一個(gè)去噪自編碼器DAE學(xué)習(xí)h的真實(shí)先驗(yàn)。