深度學(xué)習(xí)問題筆記

  1. Cardinality沒看過？
    CNN網(wǎng)絡(luò)由于其強(qiáng)大的特征表示能力極大地提高了計(jì)算機(jī)視覺任務(wù)的水平，為了進(jìn)一步增強(qiáng)這種特征表達(dá)能力，研究者在三個主要方面對其進(jìn)行了更深入地研究，分別是網(wǎng)絡(luò)的深度，網(wǎng)絡(luò)的寬度，網(wǎng)絡(luò)的維度。在深度研究層面，像是我們熟知的最早先的網(wǎng)絡(luò)LeNet，到深度逐漸加深的采用1x1卷積和3x3卷積不斷堆疊的VGGNet，再到采用了殘差設(shè)計(jì)的ResNet，證實(shí)了網(wǎng)絡(luò)可以堆疊到幾百層甚至上千層。GoogLeNet設(shè)計(jì)了Inception模塊可以對網(wǎng)絡(luò)的寬度進(jìn)行研究并證明了其效果。Xeception和ResNeXt提出了網(wǎng)絡(luò)另一個維度Cardinality，證實(shí)了這個維度不僅可以節(jié)約大量參數(shù)而且展示出了比深度和寬度有更強(qiáng)特征表達(dá)能力的效果。所以在除了在以上維度對CNN的特征表達(dá)能力進(jìn)行研究之外，作者對網(wǎng)絡(luò)結(jié)構(gòu)的另外一個層面進(jìn)行了探索，那就是注意力機(jī)制。早前的注意力機(jī)制研究已經(jīng)進(jìn)行的如火如荼了。注意力機(jī)制的主要目的就是：聚焦圖像的重要特征，抑制不必要的區(qū)域響應(yīng)，通過在對通道維度和空間維度組合分析研究，提出了CBAM模塊，并證實(shí)了網(wǎng)絡(luò)的性能的提升來自于精確的注意力機(jī)制和對無相關(guān)噪聲信息的抑制。
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡書系信息發(fā)布平臺，僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容