關(guān)于圖像分類的論文《Xception: Deep Learning with Depthwise Separable Convolutions》，論文鏈接： arxiv.org/abs/1610.02357
讀論文前先了解下ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC）
ImageNet項(xiàng)目是一個(gè)用于視覺對(duì)象識(shí)別軟件研究的大型可視化數(shù)據(jù)庫。超過1400萬的圖像URL被ImageNet手動(dòng)注釋，以指示圖片中的對(duì)象。ImageNet包含2萬多個(gè)類別。第三方圖像URL的注釋數(shù)據(jù)庫可以直接從ImageNet免費(fèi)獲得;但是，實(shí)際的圖像不屬于ImageNet。
自2010年以來，ImageNet項(xiàng)目每年舉辦一次軟件比賽，即ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽（ILSVRC），軟件程序競(jìng)相正確分類檢測(cè)物體和場(chǎng)景。2012年在解決ImageNet挑戰(zhàn)方面取得了巨大的突破，被廣泛認(rèn)為是2010年的深度學(xué)習(xí)革命的開始。
Xception是Google繼Inception后提出的對(duì)Inception-v3的另一種改進(jìn)。深度可分離卷積可以理解為具有最多數(shù)量的Inception模塊。
在 Inception 中，特征可以通過1×1卷積，3×3卷積，5×5卷積，pooling等進(jìn)行提取，Inception是將一個(gè)輸入同時(shí)使用幾種不同的提取特征方式，然后再concat到一起 。Inception-v3的結(jié)構(gòu)圖如下
對(duì)Inception-v3進(jìn)行簡(jiǎn)化，每個(gè)支路的特征提取方式都是一個(gè)1X1卷積接一個(gè)3X3卷積，然后再做concat，如下圖所示
圖2中也可以共用一個(gè)1X1卷積，然后將輸出分成3份，每一份都分別使用3X3卷積提取特征，最后再將輸出concat，如下圖所示
將圖3中的模型進(jìn)一步更改，1X1卷積的輸出不再劃分成3份，而是對(duì)應(yīng)輸出的channel數(shù)，稱作“extreme”版本的Inception模塊，見下圖
這些Inception模塊的變形都是先利用1X1卷積來提取深度信息特征，然后再利用3X3卷積來提取空間信息特征，最后將各支路輸出做concat。
而深度可分離卷積 Depthwise Separable Convolution則是反過來的，首先是利用Depthwise的3X3卷積對(duì)網(wǎng)絡(luò)輸入的每個(gè)channel提取特征，然后將結(jié)果concat，再通過Pointwise的1X1卷積得到最終的輸出，而實(shí)際上在模塊的堆疊使用中，這樣順序更換的影響并不大。
Xception網(wǎng)絡(luò)結(jié)構(gòu)
Xception就是多個(gè)深度可分離卷積層和殘差連接模塊的線性堆疊
論文將Xception和Inception-v3在ImageNet以及JFT數(shù)據(jù)集上進(jìn)行了對(duì)比實(shí)驗(yàn)，可以從表1，2以及圖6中看出Xception的準(zhǔn)確率要高于Inception
另外，作者也通過實(shí)驗(yàn)表示使用中間激活層例如ReLU、ELU等反而會(huì)降低網(wǎng)絡(luò)效果，作者認(rèn)為對(duì)于淺一些的特征空間（例如深度可分離卷積的單通道特征空間）它可能由于非線性操作而信息丟失從而使分類效果變差。
