論文：Deep semantic segmentation of natural and medical images: a review | SpringerLink
摘要
1. 簡介
2. 網(wǎng)絡(luò)架構(gòu)改進(jìn)
? ? 2.1 全卷積神經(jīng)網(wǎng)絡(luò)（FCN）用于語義分割
? ? 2.2 編解碼器語義圖像分割網(wǎng)絡(luò)
? ? 2.3 降低圖像分割網(wǎng)絡(luò)的計算復(fù)雜度
? ? ? ? 在降低網(wǎng)絡(luò)復(fù)雜度方面做得探索有：通過張量分解、通道剪枝、網(wǎng)絡(luò)剪枝或者網(wǎng)絡(luò)連接稀疏化等方式簡化網(wǎng)絡(luò)結(jié)構(gòu)以及NAS（network architecture search)
? ? 2.4 基于注意力的圖像語義分割
? ? 2.5 對抗性語義圖像分割
????主要用GAN判別網(wǎng)絡(luò)來判斷輸入圖像是來自于原圖還是分割后的圖像
? ? 2.6 小結(jié)
? ? 目前主流的語義分割模型是基于編解碼結(jié)構(gòu)的U-Net系列，相關(guān)研究又借助空洞卷積、空間金字塔提升U-Net性能
3. 適用于醫(yī)學(xué)圖像的結(jié)構(gòu)改進(jìn)
????Part A 模型壓縮
????Part B 編解碼分割框架
????Part C 注意力機制
????Part D GAN
????Part E 循環(huán)神經(jīng)網(wǎng)絡(luò)
????循環(huán)神經(jīng)網(wǎng)絡(luò)RNN主要用來處理序列模型，比如LSTM長短時記憶網(wǎng)絡(luò)通過將上一時間步的狀態(tài)作為當(dāng)前時間步輸入的一部分，有效保證了梯度的流動。而將RNN用于醫(yī)學(xué)圖像分割主要是考慮到醫(yī)學(xué)圖像具有一定的時間依賴性，比如將RNN的自循環(huán)機制結(jié)合FCN可以保留醫(yī)學(xué)圖像時間和空間上的信息用于分割；還有用RNN與CNN結(jié)合，主要用來處理包含時間意義的3D、4D醫(yī)學(xué)圖像。
4. 基于優(yōu)化函數(shù)的改進(jìn)
? ? 4.1 交叉熵
? ? 4.2 加權(quán)交叉熵
? ? 4.3 Focal Loss
? ? 4.4 基于重疊度量的損失函數(shù)
? ? ? ? 4.4.1 Dice Loss / F1 Score
? ? ? ? 4.4.2 Tversky Loss
? ? ? ? 4.4.3 指數(shù)對數(shù)損失（Exponential Logarithmic Loss Wong）
? ? ? ? 4.4.4 Lovaˊsz-Softmax loss
? ? ? ? 4.4.5 Boundary Loss
? ? ? ? 4.4.6 總結(jié)
5. 醫(yī)學(xué)影像領(lǐng)域針對優(yōu)化函數(shù)的改進(jìn)
? ? 5.1 正則交叉熵
? ? 5.2 輪廓能量最小化
? ? 5.3 Hausdorff距離
6. 基于圖像合成的方法應(yīng)用于醫(yī)學(xué)圖像分割
7. 弱監(jiān)督方法
8. 多任務(wù)模型
9. 在自然圖像上測試的主要模型的總結(jié)
10. 未來改進(jìn)方向
? ? 10.1 網(wǎng)絡(luò)架構(gòu)
? ? ?目前性能最佳的分割網(wǎng)絡(luò)是以編解碼結(jié)構(gòu)輔助長短鏈接的這種網(wǎng)絡(luò)結(jié)構(gòu)。skip connection的存在有助于信息的流動、防止梯度消失，對分割和分類都有提升；編解碼結(jié)構(gòu)可以學(xué)習(xí)到更加豐富的特征表達(dá)，但也增加了計算成本，部分辨別力不強的特征也會不斷傳遞下去，未來的優(yōu)化方向之一就是如何優(yōu)化skip connection傳遞的數(shù)據(jù)；另一方面則有通過空洞卷積、空間金字塔改善每個cell的性能。是否能設(shè)計出提取到新的特征層也是潛在的一個方向
????10.2序列模型
????主要用于3D醫(yī)學(xué)圖像的分割，可以將其視為具有時間維度的序列模型。將3D信息作為一個整體處理可以捕獲到更多的幾何特征信息，因此未來可以就3D圖像按序列模型還是立體模型來處理也是值得探索的一個方向
? ? 10.3 損失函數(shù)
? ? ?損失函數(shù)的優(yōu)化在前文已敘述過。如果需要進(jìn)行改進(jìn)的話，可以在交叉熵?fù)p失函數(shù)或重疊度損失函數(shù)的基礎(chǔ)上，加入由先驗知識指導(dǎo)的正則化項;另一個可嘗試的方向是仿照NAS進(jìn)行自動損失函數(shù)的設(shè)計。
? ? 10.4 其他潛在方向
? ??（1）結(jié)合先驗知識完成像素級別的場景理解（2）由于醫(yī)學(xué)圖像標(biāo)準(zhǔn)、種類不一、還有獨特的噪聲機制，加之倫理、道德方面的限制和約束，使得缺少一致、規(guī)范的評判與對比（3）制備大規(guī)模開源的2D/3D醫(yī)學(xué)分割圖像數(shù)據(jù)集（4）探索增強學(xué)習(xí)在語義分割方面的應(yīng)用（5）探究導(dǎo)致模型預(yù)測中假陽性等出現(xiàn)的原因（6）探究醫(yī)學(xué)圖像分割的弱監(jiān)督模型以及使用圖像級別標(biāo)注的少樣本學(xué)習(xí)方法
論文閱讀——Deep Semantic Segmentation of Natural and Medical Images: A Review_黃小米吖的博客-CSDN博客
