論文：4區(qū) OA 2020
數(shù)據(jù)集：BraTS 2017，BraTS 2018

1. Introduction

腦瘤是生長(zhǎng)在人腦中的異常細(xì)胞，被認(rèn)為是一種常見的神經(jīng)系統(tǒng)疾病，對(duì)人體健康危害極大[1]。作為輔助診斷和治療腦瘤的重要方法，在腦磁共振圖像上進(jìn)行腦瘤自動(dòng)分割在臨床醫(yī)學(xué)上具有重要意義[2]。最常見的惡性腦腫瘤是膠質(zhì)瘤，可進(jìn)一步分為高等級(jí)膠質(zhì)瘤（HGG）和低等級(jí)膠質(zhì)瘤（LGG）[3]。磁共振成像（MRI）是一種典型的非侵入性成像技術(shù)，可以產(chǎn)生高質(zhì)量的腦部圖像，沒有損傷和顱骨偽影，被認(rèn)為是診斷和治療腦腫瘤的主要技術(shù)手段。 通過多模態(tài)腦圖像，醫(yī)生可以對(duì)腦腫瘤進(jìn)行定量分析，為患者制定最佳診斷和治療方案[4]。然而，由于腦腫瘤大小、形狀和結(jié)構(gòu)的變化，以及鄰近組織和設(shè)備噪聲的影響，從MRI腦圖像中準(zhǔn)確定位和分割腫瘤是非常具有挑戰(zhàn)性的。幸運(yùn)的是，隨著深度學(xué)習(xí)技術(shù)的不斷突破，基于深度學(xué)習(xí)的自動(dòng)圖像分割方法也取得了很大的發(fā)展。 2014年，Long等人[5]提出了一種用于自然圖像分割的新型端到端完全卷積網(wǎng)絡(luò)（FCN），為自然圖像分割領(lǐng)域注入了活力[6-13]，并被迅速引入解決腦腫瘤分割問題。在FCN模型的啟發(fā)下，Ronneberger等人[14]進(jìn)一步提出了一個(gè)名為U-Net的對(duì)稱完全卷積網(wǎng)絡(luò)，用于醫(yī)學(xué)圖像分割。U-Net由一個(gè)包含多個(gè)卷積層的收縮路徑組成，用于對(duì)輸入圖像進(jìn)行下采樣，一個(gè)擴(kuò)展路徑用于對(duì)深層特征圖進(jìn)行上采樣，還有一個(gè)跳轉(zhuǎn)連接用于合并編碼器-解碼器網(wǎng)絡(luò)中的裁剪特征圖，在很大程度上提高了醫(yī)學(xué)圖像的分割性能。如今，U-Net已經(jīng)成為解決腦瘤分割任務(wù)的一個(gè)里程碑。同時(shí)，各種改進(jìn)的U-Net方法，如ResU-Net[15]和Ensemble Net[16]，也被提出來，以獲得腦瘤分割問題的優(yōu)異性能。

此外，在計(jì)算機(jī)視覺領(lǐng)域，注意力機(jī)制已經(jīng)被證明可以有效地捕捉長(zhǎng)距離的依賴性和重要的反應(yīng)。Wang等人[17]提出了非局部神經(jīng)網(wǎng)絡(luò)（NL-Nets），通過將查詢特定的全局上下文聚合到每個(gè)查詢位置來捕捉長(zhǎng)距離的依賴關(guān)系，在視頻分類和圖像識(shí)別應(yīng)用中取得了良好的效果。作為一項(xiàng)同時(shí)進(jìn)行的工作，Hu等人提出了擠壓和激發(fā)網(wǎng)絡(luò)（SENets）[18]，以軟注意的方式解決各種通道的全局空間信息，即學(xué)習(xí)和重新縮放通道的縮放因子。由于U-Neth要逐步恢復(fù)由固有的池化和滯后卷積引起的下采樣圖像，注意力機(jī)制可以更好地架起從深層到淺層的信息流，引導(dǎo)上采樣的學(xué)習(xí)。因此，對(duì)于現(xiàn)有的U-Net模型在腦瘤分割任務(wù)中，通過增強(qiáng)其捕捉局部反應(yīng)的能力，可能會(huì)導(dǎo)致更高的分割精度。在此基礎(chǔ)上，我們嘗試將注意力機(jī)制嵌入到腦瘤分割中，以探索局部反應(yīng)的影響。具體來說，我們通過在U-Net中同時(shí)嵌入注意機(jī)制和剩余單元，提出了一個(gè)端到端的二維腦腫瘤分割網(wǎng)絡(luò)，以進(jìn)一步提高性能。 該工作的主要貢獻(xiàn)總結(jié)如下。 (1) 在這項(xiàng)工作中，提出了一個(gè)端到端的二維注意力殘差U-Net(AResU-Net)來解決腦瘤分割任務(wù)，它成功地將注意力和擠壓激發(fā)（ASE）單元和殘差塊嵌入到U-Net網(wǎng)絡(luò)結(jié)構(gòu)中。AResU-Net的整體結(jié)構(gòu)可以顯示在圖1中。 (2) AResU-Net在跳過連接上增加了一系列ASE單元，以適應(yīng)性地增強(qiáng)下采樣特征的局部響應(yīng)，用于后續(xù)上采樣過程的特征恢復(fù)，這有助于減少下采樣和上采樣階段的語(yǔ)義差距。 3）在兩個(gè)常用的腦腫瘤分割數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果，即BraTS 2017和BraTS 2018，說明AResU-Net可以獲得比其基線更好的性能，以及幾個(gè)典型的二維和三維腦腫瘤分割方法。

2. Related Work

在本節(jié)中，我們將回顧與我們的AResU-Net模型相關(guān)的三個(gè)領(lǐng)域的文獻(xiàn)，包括斑塊-智慧腦瘤分割網(wǎng)絡(luò)、腦瘤語(yǔ)義分割網(wǎng)絡(luò)和注意力機(jī)制。

補(bǔ)丁式分割。 最近，在腦瘤分割領(lǐng)域開發(fā)了一些深度網(wǎng)絡(luò)，與傳統(tǒng)方法相比，取得了明顯的性能改進(jìn)。 其中，基于補(bǔ)丁的腦腫瘤分割網(wǎng)絡(luò)，作為早期提出的代表性作品，是在帶有標(biāo)簽的小補(bǔ)丁上進(jìn)行訓(xùn)練，以正確區(qū)分腦腫瘤和正常組織。 為了實(shí)現(xiàn)良好的性能，研究人員設(shè)計(jì)了各種模塊，將不同片區(qū)之間更多的上下文聯(lián)系信息引入網(wǎng)絡(luò)。Havaei等人[24]將多尺度和多路徑模塊嵌入二維網(wǎng)絡(luò)結(jié)構(gòu)，以獲取更豐富的上下文信息。Urban等人沒有利用二維卷積神經(jīng)網(wǎng)絡(luò)（CNN）作為主干，而是通過三維CNN[25]結(jié)構(gòu)提出了一個(gè)基于斑塊的腦腫瘤分割網(wǎng)絡(luò)。 Pereira等人[26]利用小的3×3卷積核設(shè)計(jì)了一個(gè)更深的網(wǎng)絡(luò)，實(shí)現(xiàn)了更多的非線性，有效地減少了過擬合問題。為了進(jìn)一步提高分割性能，Kamnitsas等人[27]采用了具有密集結(jié)構(gòu)的雙通路3DCNN模型進(jìn)行腦瘤分割任務(wù)，該模型還對(duì)輸入圖像進(jìn)行了多尺度處理，并通過使用條件隨機(jī)場(chǎng)（CRF）對(duì)結(jié)果圖像進(jìn)行后處理。這項(xiàng)工作最終獲得了BraTS 2015比賽的第一名。此外，Zhao等人[28]整合了完全卷積神經(jīng)網(wǎng)絡(luò)和CRF，從軸向、矢狀面和冠狀面訓(xùn)練了三個(gè)二維補(bǔ)丁模型，采用基于投票的融合策略，完成了腦瘤分割工作。

語(yǔ)義上的分割。語(yǔ)義分割模型將全腦圖像中的每個(gè)像素點(diǎn)分類為一個(gè)指定的標(biāo)簽來完成腦瘤分割。 大多數(shù)用于腦瘤分割任務(wù)的語(yǔ)義分割模型都是基于Ronneberger等人提出的U-Net架構(gòu)[14]，該架構(gòu)也被廣泛用于其他醫(yī)學(xué)圖像分割任務(wù)。U-Net包含一個(gè)捕捉上下文信息的收縮路徑和一個(gè)確保準(zhǔn)確定位的擴(kuò)展路徑，在很大程度上提高了醫(yī)學(xué)圖像分割任務(wù)的性能。Dong等人[29]開發(fā)了一個(gè)基于U-Net的二維腦腫瘤分割網(wǎng)絡(luò)，并采用實(shí)時(shí)數(shù)據(jù)增強(qiáng)來完善其分割性能。 Kong等人[30]在U-Net結(jié)構(gòu)中嵌入了一個(gè)特征金字塔模塊，以整合多尺度語(yǔ)義和位置信息，有效提高了分割精度。此外，級(jí)聯(lián)策略、密集塊、擴(kuò)張卷積和上跳連接也被引入到U-Net架構(gòu)中[31-35]，不斷優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)以追求更準(zhǔn)確的腫瘤分割結(jié)果。

注意機(jī)制。 注意機(jī)制已被越來越多地應(yīng)用于各種計(jì)算機(jī)視覺任務(wù)，從目的上看，可以大致分為兩類。第一種目的是關(guān)注長(zhǎng)距離的依賴關(guān)系。 NL-Net，作為Wang等人[17]的代表作品，可以通過所有反應(yīng)的加權(quán)和來產(chǎn)生新的空間特征反應(yīng)，以捕捉空間維度的長(zhǎng)距離依賴性?；贜L-Net模型，Zhao等人[21]設(shè)計(jì)了位置敏感的NL來學(xué)習(xí)長(zhǎng)距離的背景，取得了令人印象深刻的分割結(jié)果。Fu等人[36]提出了由空間注意和通道注意組成的雙注意模塊，用于語(yǔ)義分割，其中空間注意類似于NL-Net中的非本地(NL)操作，通道注意也遵循同樣的思路。此外，Zhang等人[37]用先驗(yàn)分布擴(kuò)展了NL，并建立了一個(gè)具有權(quán)重的NL集合，以進(jìn)一步提高分割性能。注意機(jī)制的另一個(gè)目的是學(xué)習(xí)每個(gè)通道的縮放因子，以獲得特征圖。一個(gè)典型的工作是SENet[18]，它專注于通道關(guān)系，并執(zhí)行動(dòng)態(tài)的通道特征再校準(zhǔn)，以提高特征表達(dá)。EncNet[19]沒有使用簡(jiǎn)單的全局平均池來總結(jié)特征的統(tǒng)計(jì)數(shù)據(jù)，而是采用了VLAD[38]編碼器來收集它們，并且編碼器的輸出也通過全連接層來獲得通道明智的因素。在圖像分割的上采樣階段，DFN[20]和PAN[39]將具有更強(qiáng)語(yǔ)義的深層特征輸入到類似SE的注意塊中，以提供用于精確恢復(fù)細(xì)節(jié)的高級(jí)類別信息。 有了這樣一個(gè)塊，來自深層和淺層的特征被很好地結(jié)合起來，增強(qiáng)了對(duì)具有較大分辨率但語(yǔ)義較弱的特征的學(xué)習(xí)，有助于重組原始圖像分辨率。受注意力的成功啟發(fā)，我們探索它來學(xué)習(xí)通道方面的因素，以選擇性地增強(qiáng)通道反應(yīng)。