數(shù)據(jù)集：BraTS 2017，BraTS 2018，BraTS 2019
1. INTRODUCTION
腦腫瘤是由人腦中的異常細(xì)胞生長(zhǎng)引起的。目前惡性腦瘤的發(fā)病率相對(duì)較高，對(duì)人類(lèi)和社會(huì)產(chǎn)生了巨大影響[1]。最常見(jiàn)的惡性腦腫瘤是膠質(zhì)瘤，可進(jìn)一步分為高等級(jí)膠質(zhì)瘤（HGG）和低等級(jí)膠質(zhì)瘤（LGG）。磁共振成像（MRI）是一種典型的非侵入性成像技術(shù)，可以產(chǎn)生高質(zhì)量的腦部圖像，沒(méi)有損傷和顱骨偽影，同時(shí)提供更全面的腦腫瘤信息，被認(rèn)為是診斷和治療腦腫瘤的主要技術(shù)手段[2]。在多模態(tài)腦圖像的幫助下，醫(yī)生可以對(duì)腦腫瘤進(jìn)行定量分析，以測(cè)量腦部病變的最大直徑、體積和數(shù)量，從而為患者制定最佳的診斷和治療方案，量化腦腫瘤治療前后的反應(yīng)。綜上所述，腦瘤分割是腦瘤診斷和治療的關(guān)鍵步驟[3]。由于臨床應(yīng)用和科學(xué)研究的需要，腦瘤分割已成為醫(yī)學(xué)影像領(lǐng)域的重要組成部分，長(zhǎng)期以來(lái)一直受到廣泛關(guān)注[4]。
近年來(lái)，以AlexNet[5]、VGGNet[6]、ResNet[7]和DenseNet[8]為代表的深度神經(jīng)網(wǎng)絡(luò)模型已被成功運(yùn)用到各種計(jì)算視覺(jué)任務(wù)中，受到學(xué)術(shù)界和工業(yè)界的廣泛關(guān)注。鑒于深度神經(jīng)網(wǎng)絡(luò)顯示出強(qiáng)大的自動(dòng)提取高判別特征的能力，它們被迅速應(yīng)用于醫(yī)學(xué)圖像處理和分析領(lǐng)域[9]-[11]。同時(shí)，基于深度學(xué)習(xí)的核磁共振腦瘤計(jì)算機(jī)輔助診斷也受到了廣泛關(guān)注。特別是2012年以來(lái)，與國(guó)際醫(yī)學(xué)影像計(jì)算和計(jì)算機(jī)輔助干預(yù)協(xié)會(huì)（MICCAI）聯(lián)合舉辦的多模態(tài)腦瘤分割挑戰(zhàn)賽（BraTS）[3]，極大地促進(jìn)了基于深度學(xué)習(xí)的腦瘤分割方法的發(fā)展。一般來(lái)說(shuō)，目前基于深度學(xué)習(xí)的腦瘤分割方法主要包括兩種典型類(lèi)型，即基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的方法和基于全卷積網(wǎng)絡(luò)（FCN）的方法。基于CNN的腦腫瘤分割網(wǎng)絡(luò)利用小尺度圖像中的斑塊分類(lèi)思想來(lái)分割腦腫瘤圖像。Pereira等人[12]在VGGNet的基礎(chǔ)上探索了一個(gè)小型的3×3卷積核模型，構(gòu)建了一個(gè)自動(dòng)分割網(wǎng)絡(luò)，該網(wǎng)絡(luò)在BraTS 2013挑戰(zhàn)賽中贏得了第一名。Havaei等人[13]構(gòu)建了一個(gè)雙路徑的2D CNN腦腫瘤分割網(wǎng)絡(luò)，通過(guò)采用不同大小的卷積核來(lái)提取不同的背景特征信息，該網(wǎng)絡(luò)包含局部和全局路徑。然而，補(bǔ)丁研究架構(gòu)缺乏空間連續(xù)性，需要大量的存儲(chǔ)空間，導(dǎo)致效率低下。基于編碼和解碼的概念，基于FCN的腦腫瘤分割網(wǎng)絡(luò)對(duì)整個(gè)腦圖像中的每個(gè)像素進(jìn)行分類(lèi)和預(yù)測(cè)，從而完成分割，這顯然提高了腦腫瘤的分割效率。FCN[14]是一個(gè)端到端的語(yǔ)義分割模型，利用全卷積來(lái)解決逐像素預(yù)測(cè)的問(wèn)題，是圖像語(yǔ)義分割任務(wù)的一個(gè)重要里程碑?；贔CN的結(jié)構(gòu)，Ronnebergeret等人[15]提出了一個(gè)稱(chēng)為U-Net的對(duì)稱(chēng)全卷積網(wǎng)絡(luò)，該網(wǎng)絡(luò)已被廣泛用于各種醫(yī)學(xué)圖像分割任務(wù)。U-Net包含一個(gè)捕捉上下文信息的收縮路徑和一個(gè)確保準(zhǔn)確定位的擴(kuò)展路徑，極大地提高了醫(yī)學(xué)圖像分割任務(wù)的性能。研究人員還將基于U-Net的架構(gòu)引入到腦瘤分割領(lǐng)域。Donget al.[16]開(kāi)發(fā)了一個(gè)基于U-Net的二維分割網(wǎng)絡(luò)，并采用實(shí)時(shí)數(shù)據(jù)增強(qiáng)來(lái)完善腦腫瘤的分割性能。Konget等[17]在U-Net結(jié)構(gòu)中引入特征金字塔模塊，整合多尺度語(yǔ)義和位置信息，有效地提高了分割精度。為了進(jìn)一步提高性能，在腦瘤分割網(wǎng)絡(luò)中還引入了密集區(qū)塊、擴(kuò)張卷積、多分辨率區(qū)塊和上跳連接[18]-[21]。
此外，注意力機(jī)制在人類(lèi)感知中起著重要作用，它可以有效地突出有用的信息，而抑制多余的信息。最近，注意力機(jī)制在多種計(jì)算機(jī)任務(wù)中受到廣泛關(guān)注，如計(jì)算機(jī)視覺(jué)領(lǐng)域的自然語(yǔ)言處理[22], [23], 自然圖像分類(lèi)[24]-[26], 突出對(duì)象檢測(cè)[27], [28], 自然圖像分割[29]-[33]和視頻對(duì)象分割[34]，以及醫(yī)學(xué)圖像分析領(lǐng)域的醫(yī)學(xué)圖像分類(lèi)[35], [36] 和醫(yī)學(xué)圖像分割[37]-[41] 。有許多嘗試將注意力模塊嵌入到深度神經(jīng)網(wǎng)絡(luò)工作架構(gòu)中，以提高圖像分類(lèi)和圖像分割的性能。Wanget al.[25]建立了一個(gè)剩余注意力網(wǎng)絡(luò)，從不同的模塊中產(chǎn)生注意力感知特征，這些特征會(huì)隨著攻擊者的深入而自適應(yīng)地改變，并有效地提高分類(lèi)的準(zhǔn)確性。Huet al.[26]提出了一個(gè)關(guān)注通道和激勵(lì)（Squeeze-and-Excitation，SE）塊的注意力模塊，該模塊關(guān)注通道關(guān)系，并執(zhí)行動(dòng)態(tài)通道明智的特征校準(zhǔn)，以提高特征表達(dá)。Liet al.[32]和Yuet al.[33]將具有較強(qiáng)語(yǔ)義的深層特征送入類(lèi)似SE的注意模塊，以提供高層次的類(lèi)別信息，這有助于在圖像分割的上采樣階段精確恢復(fù)細(xì)節(jié)。Wanget al.[42]首先提出了一個(gè)開(kāi)創(chuàng)性的非局部神經(jīng)網(wǎng)絡(luò)(NL-Nets)系列，通過(guò)將特定于查詢(xún)的全局上下文聚合到每個(gè)查詢(xún)位置來(lái)捕捉長(zhǎng)距離的依賴(lài)性，這也被迅速應(yīng)用于圖像分割任務(wù)中。Zhaoet al.[29]設(shè)計(jì)了基于NL-Nets[42]的非局部操作的位置敏感模塊，以獲得上下文的長(zhǎng)距離依賴(lài)性，這在幾個(gè)競(jìng)爭(zhēng)性的場(chǎng)景解析數(shù)據(jù)集上取得了令人印象深刻的分割結(jié)果。Zhang等人[30]利用先驗(yàn)分布來(lái)擴(kuò)展非局部模塊，并構(gòu)建了一個(gè)具有權(quán)重的非局部操作集合，以追求更好的分割性能。Fuet al.[31]采用由空間注意和通道注意組成的雙注意模塊進(jìn)行語(yǔ)義分割，其中注意模塊類(lèi)似于非局部操作。同時(shí)，注意機(jī)制也逐漸被引入到醫(yī)學(xué)圖像分割領(lǐng)域。Oktayet等[37]提出了注意力模塊，使注意力系數(shù)對(duì)局部區(qū)域更有針對(duì)性，在胰腺分割中取得了良好的效果。Qiet al.[40]設(shè)計(jì)了一個(gè)非局部的操作，稱(chēng)為特征相似性模塊，以捕捉長(zhǎng)距離的依賴(lài)關(guān)系，為腦卒中病變分割問(wèn)題提供更有效的上下文信息。此外，Zhang等人[43]在一個(gè)改進(jìn)的全卷積網(wǎng)絡(luò)中引入了由區(qū)域注意、空間注意和通道注意組成的多個(gè)注意模塊，在腦室分割領(lǐng)域取得了卓越的表現(xiàn)。
U-Net在醫(yī)學(xué)圖像分割領(lǐng)域取得了巨大成功，也是目前MRI腦腫瘤分割方法的主流。然而，在降采樣的過(guò)程中，U-Net不斷縮小圖像的尺寸，導(dǎo)致對(duì)小尺寸腫瘤的分割精度不高。我們注意到，腦瘤具有復(fù)雜的形狀和不同的大小，導(dǎo)致在腦瘤分割任務(wù)中存在著小尺度的腫瘤?？紤]到注意力機(jī)制可以增強(qiáng)局部特征的表達(dá)，為了解決U-Net對(duì)小尺度腫瘤的分割精度不高的問(wèn)題，我們旨在探索注意力門(mén)（一種用于圖像分割任務(wù)的高效注意力模塊[37]）對(duì)腦瘤分割問(wèn)題的有效性，并針對(duì)這一任務(wù)提出了一種新型的注意力門(mén)剩余U-Net模型，即AGResU-Net。在三個(gè)腦瘤分割基準(zhǔn)上的實(shí)驗(yàn)結(jié)果表明，注意力門(mén)對(duì)腦瘤分割任務(wù)是有益的。本文的主要貢獻(xiàn)歸納為三個(gè)方面。(1) 我們?yōu)镸RI腦腫瘤分割任務(wù)提出了一個(gè)端到端的AGResU-Net模型，其結(jié)構(gòu)如圖I所示。AGResU-Net不僅提取了更豐富的語(yǔ)義信息，而且更關(guān)注小尺度的腦瘤信息，從而提高了腦瘤的分割效果。（2）AGResU-Net將殘余模塊和注意力門(mén)整合在一個(gè)原始的、單一的U-Net結(jié)構(gòu)中，其中一系列注意力門(mén)單元被添加到跳過(guò)連接中，用于突出突出的特征信息，同時(shí)對(duì)不相關(guān)的和噪聲的特征反應(yīng)進(jìn)行區(qū)分。一方面，殘余模塊增強(qiáng)了特征提取和表達(dá)的能力，并有助于在下采樣過(guò)程中進(jìn)行分類(lèi)。另一方面，注意力模塊對(duì)小規(guī)模腫瘤給予了更多的關(guān)注，獲得了更多的小規(guī)模腫瘤的位置信息，從而使上采樣過(guò)程有助于恢復(fù)小規(guī)模腫瘤的位置信息。(3) 我們?cè)贐raTS 2017、BraTS 2018和BraTS 2019三個(gè)腦腫瘤分割基準(zhǔn)上對(duì)AGResU-Net進(jìn)行了廣泛的評(píng)估。此外，我們還進(jìn)行了將注意力門(mén)嵌入基本U-Net模型的實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果表明，帶有注意力門(mén)單元的模型，即注意力門(mén)U-Net（AGU-Net）和AGResU-Net，分別優(yōu)于它們的基線U-Net和ResU-Net。此外，AGResU-Net取得了比典型的腦瘤分割方法更有競(jìng)爭(zhēng)力的性能。
