論文：MIDL 2020
Abstract
紋理和邊緣為圖像識別提供不同的信息。邊緣和邊界編碼形狀信息，而紋理顯示區(qū)域的外觀。
盡管卷積神經(jīng)網(wǎng)絡(luò)(CNNs)在計算機視覺和醫(yī)學(xué)圖像分析應(yīng)用中取得了成功，但主要是學(xué)習(xí)紋理抽象，這往往導(dǎo)致不精確的邊界描繪。在醫(yī)學(xué)成像中，專家手工分割往往依賴于器官邊界;例如，要手動分割肝臟，醫(yī)生通常首先確定邊緣，然后填充分割掩模?；谶@些觀察結(jié)果，我們提出了一個即插即用模塊，稱為 Edge-Gated CNNs (EG-CNNs)，它可以與現(xiàn)有的編碼器-解碼器架構(gòu)一起使用，來處理邊緣和紋理信息。EG-CNN學(xué)習(xí)在編碼器中強調(diào)邊緣，通過輔助邊緣監(jiān)督來預(yù)測清晰的邊界，并將其輸出與原始CNN輸出融合。我們在兩個公開可用的數(shù)據(jù)集(BraTS 19和KiTS 19)上評估了EG-CNN與各種主流CNN的有效性，用于腦腫瘤和腎臟語義分割。我們演示了添加EG-CNN如何持續(xù)提高分割精度和泛化性能。
Introduction
圖像分割在醫(yī)學(xué)圖像分析中占有重要地位，準(zhǔn)確的異常描述是計算機輔助診斷和治療計劃的關(guān)鍵。隨著深度學(xué)習(xí)的出現(xiàn)，卷積神經(jīng)網(wǎng)絡(luò)(CNNs)已經(jīng)成功地應(yīng)用于各種醫(yī)學(xué)語義分割應(yīng)用。特別是，創(chuàng)新的U-Net體系結(jié)構(gòu)證明了下采樣和上采樣路徑對多尺度特征表示學(xué)習(xí)的有效性，許多基于相同原理的編解碼器cnn被引入。醫(yī)學(xué)圖像包含不同類型的表示:邊緣編碼形狀信息，而區(qū)域的外觀是由紋理表現(xiàn)的。因此，單一的處理管道可能會導(dǎo)致形狀信息的丟失，并可能導(dǎo)致不精確的邊界定義。經(jīng)驗證明，不同于人類的視覺系統(tǒng)，常見的CNN架構(gòu)偏向于識別紋理內(nèi)容。因此，CNN預(yù)測通常需要進行后處理，以補償在訓(xùn)練過程中丟失的形狀細(xì)節(jié)。
在單個管道中處理不同抽象的當(dāng)前范式是次優(yōu)的。它可以通過利用結(jié)構(gòu)化的有效信息處理來補救，類似于人類的視覺感知系統(tǒng)。在醫(yī)學(xué)成像中，放射科醫(yī)生通常依靠識別感興趣的器官/病變的邊界作為手動劃定的第一步。例如，從MR圖像中分割腦腫瘤需要跟蹤病灶邊緣，然后推斷內(nèi)部區(qū)域。
我們沒有提出新的CNN架構(gòu)，而是提出了一種新的3D即插即用模塊，我們稱之為edge - gated CNN (EG-CNN)，它可以與任何編碼器-解碼器架構(gòu)結(jié)合，以解決紋理和邊緣表示的學(xué)習(xí)。提出的EG-CNN的貢獻是雙重的。首先，EG-CNN提出了一種有效的方法，通過一個新穎高效的層，即邊緣門控層，逐步學(xué)習(xí)從主編碼器-解碼器架構(gòu)中的多個尺度特征映射中突出邊緣語義。其次，EG-CNN不單獨監(jiān)控邊緣和紋理輸出，而是引入了一種雙任務(wù)學(xué)習(xí)方案，通過一致性損失來共同學(xué)習(xí)這些表示。因此，EG-CNN在不增加數(shù)據(jù)標(biāo)注成本的情況下，利用邊緣和紋理預(yù)測之間的對象性，以高度詳細(xì)的邊界提高了整體分割性能。
我們使用三種流行的3D CNN架構(gòu)U-Net, V-Net , Seg-Net作為骨干與EG-CNN結(jié)合使用。
2. Methodology
2.1. EG-CNN
首先介紹EG-CNN的架構(gòu)。一個通用的CNN編碼器-解碼器，正如我們所表示的主流，學(xué)習(xí)跨越多個分辨率的特征表示。我們的EG-CNN接收每一個主流特征地圖，并學(xué)習(xí)突出邊緣表示。特別地，EG-CNN由一系列殘差塊和定制層組成，即我們所表示的邊緣門選層，以逐步提取邊緣表示。然后將EG-CNN的輸出與主流的輸出相連接，生成最終的分割輸出。此外，主流和EG-CNN由各自專用的損耗層以及一致的損耗函數(shù)監(jiān)督，該損耗函數(shù)共同學(xué)習(xí)兩流的輸出。邊緣地面真相是通過應(yīng)用3D Sobel過濾器到原始地面真相面具在線生成的。
每個邊緣門控層需要兩個來自主流和EG-CNN流(我們稱之為邊緣流)的輸入。將主流各分辨率的中間特征映射以及解碼器中第一個上采樣的特征映射作為輸入輸入到EG-CNN中。后者首先被送入殘差塊，接著是雙線性上采樣，然后連同編碼器中來自其先前分辨率的輸入一起被送入邊緣門控層。每個邊緣門控層的輸出(最后一個層除外)被送入另一個殘差塊，接著進行雙線性上采樣，然后連同編碼器相應(yīng)的輸入被送入下一個邊緣門控層。
2.2. Edge-Gated Layer
邊緣門控層突出邊緣特征，并連接主流和邊緣流中學(xué)習(xí)到的特征圖。它們接收來自前邊緣門控層的輸入，以及對應(yīng)分辨率的主流輸入。
下圖我們畫了 Edge-Gated Layer的結(jié)構(gòu)。
此結(jié)構(gòu)和ICCV_2019的Edge-Gated 較為相似。
2.3. Loss Functions
是語義分割網(wǎng)絡(luò)中用于監(jiān)督主流的標(biāo)準(zhǔn)損失函數(shù)，
是用于學(xué)習(xí)邊緣表示的特定損失，
是用于邊緣和紋理聯(lián)合學(xué)習(xí)的雙任務(wù)損失，加強預(yù)測的類一致性。
Semantic Loss: Dice Loss
Edge Loss: Dice Loss and balanced cross entrop
此處取
Consistency Loss:
我們通過Consistency Loss探索邊緣和紋理預(yù)測的二元性和一致性監(jiān)督邊緣和主流的輸出。受(Takikawa等人，ICCV_2019)的啟發(fā)，主要CNN架構(gòu)和地面真相掩模的語義概率預(yù)測首先被轉(zhuǎn)換成邊緣預(yù)測，方法是采用2.1節(jié)所述的可微方式進行空間導(dǎo)數(shù)。隨后，我們利用L1損失來懲罰語義掩碼的邊界預(yù)測與相應(yīng)的地面真相之間的不匹配。
