稀疏卷積神經(jīng)網(wǎng)絡(luò)

【原創(chuàng)翻譯】

摘要

深度神經(jīng)網(wǎng)絡(luò)花費(fèi)了大量的特征和計(jì)算復(fù)雜度，在圖像分類和目標(biāo)識(shí)別方面取得了前所未有的進(jìn)步。在本次工作中，我們提出如何使用稀疏分解的方法減少神經(jīng)網(wǎng)絡(luò)中的冗余特征。通過(guò)利用信道間和信道內(nèi)的冗余來(lái)獲得最大稀疏性，并通過(guò)一個(gè)微調(diào)步驟，最大限度地減少由于稀疏性最大化而導(dǎo)致的識(shí)別損失。本程序零點(diǎn)超過(guò)了特征的90%，在ILSVRC2012數(shù)據(jù)集的精度小于1%。同時(shí)，我們?yōu)橄∈杈矸e神經(jīng)網(wǎng)絡(luò)(SCNN)模型提供了一個(gè)可以在CPU上運(yùn)行有效的稀疏矩陣乘法算法。CPU實(shí)現(xiàn)并證明了該模型比現(xiàn)成的稀疏矩陣庫(kù)更有效，在原始的密集網(wǎng)絡(luò)上實(shí)現(xiàn)了顯著的加速比。另外，我們使用SCNN模型解決目標(biāo)檢測(cè)問題，連接一個(gè)級(jí)聯(lián)模型和稀疏全連接層，取得了顯著的加速比。

1. 介紹

在本論文中，我們展示了如何在一個(gè)卷積神經(jīng)網(wǎng)絡(luò)中用稀疏分解的方法進(jìn)行濾波步驟，大大降低計(jì)算成本，同時(shí)又能保持原模型的準(zhǔn)確性。

與前期工作相關(guān)的貢獻(xiàn)

正如下面第2節(jié)所討論的那樣，例如，[4][12]使用低秩近似來(lái)表示基于少數(shù)量的濾波器的網(wǎng)絡(luò)計(jì)算的前期工作。現(xiàn)在本文提出的方法，不是低秩近似方法，而是通過(guò)使用一個(gè)稀疏分解的濾波步驟，獲得額外的有效性。正如將在6.2節(jié)介紹的那樣，這樣會(huì)導(dǎo)致有效性和準(zhǔn)確度的組合，不能僅僅是使用低秩分解來(lái)匹配。

2. 相關(guān)工作

對(duì)深度神經(jīng)網(wǎng)絡(luò)冗余的研究已經(jīng)有很多中嘗試了。

3. 我們的方法

3.1 稀疏卷積神經(jīng)網(wǎng)絡(luò)

考慮到輸入特征圖 I 在 Rh*w*m ，其中h、w和m是高、寬和輸入特征圖信道的數(shù)量，卷積核 K 在 Rs*s*m*n， 其中s是卷積核的大小，n是輸出信道的數(shù)量。我們假設(shè)卷積是沒有零點(diǎn)設(shè)置和步長(zhǎng)為1。然而，卷積層的輸出特征圖O屬于R(h-s+1)*(w-s+1)*n = K * I ，具體等式如下：

我們的目標(biāo)是通過(guò)基于稀疏矩陣乘法的快速稀疏版本，取代昂貴的公式（1）中卷積復(fù)雜計(jì)算 O = K * I。

為了達(dá)到目的，首先將張量 I 轉(zhuǎn)換為 J屬于Rh*w*m，卷積核 K 轉(zhuǎn)換為 R 屬于Rs*s*m*n，用矩陣 P屬于Rm*m 獲得O約等于R*J：

然后，對(duì)于每一個(gè)信道 i = 1,2,...,m,分解張量 R(., ., i, .)屬于Rs*s*n 為矩陣的乘積

注意到，