Index
- Introduction
- Analysis
- Architecture
- Data Augmentation
- Other tricks
- Results
Introduction
相對(duì)ImageNet等通用數(shù)據(jù)集，醫(yī)學(xué)圖像數(shù)據(jù)集較小。如何在小數(shù)據(jù)集情況下訓(xùn)練出一個(gè)好的模型，是深度學(xué)習(xí)在醫(yī)學(xué)圖像方面的一個(gè)難點(diǎn)。
本文介紹了U-Net，源自2015年的一篇文章<U-Net: Convolutional Networks for Biomedical Image Segmentation>。
該文章提出的U-Net在ISBI 2015 Cell Tracking Challenge取得了第一。在該任務(wù)中，訓(xùn)練集中只有30幅512x512果蠅第一齡幼蟲腹神經(jīng)（VNC）的電鏡圖像。
本文應(yīng)用了前一章<生物醫(yī)學(xué)圖像語義分割(一)FCN>中的方法，提出了U-Net。為了充分利用數(shù)據(jù)，文章中還采用了Data Augmentation的方法擴(kuò)充數(shù)據(jù)集。此外，文章中有許多技巧可以應(yīng)用在小數(shù)據(jù)集情況中。
Analysis
Architecture
U-Net結(jié)構(gòu)如上圖。
U-Net運(yùn)用了與FCN相同的技巧，將淺層特征圖與深層特征圖結(jié)合（圖中copy and crop箭頭），這樣可以結(jié)合局部“where”以及全局“what”的特征，生成更精準(zhǔn)的圖像。U-Net并不像FCN將特征相加，而是concatenate生成雙倍通道的特征圖，再卷積。
Data Augmentation
由于本次任務(wù)是關(guān)于電鏡圖像下的語義分割，因此主要的挑戰(zhàn)之一就是細(xì)胞或者組織的形狀變化?？紤]到這個(gè)因素，文章主要將訓(xùn)練集圖像變形以產(chǎn)生更多訓(xùn)練圖像，來達(dá)到擴(kuò)充數(shù)據(jù)集的效果。文章將訓(xùn)練圖片分格子，然后采用符合高斯分布的變形向量來變形。然后，使用雙三次插值來填充變形造成的分辨率降低的問題。
Other tricks
- Overlap-tile strategy
由于這個(gè)算法中，圖片邊緣（黃色框）需要藍(lán)色框內(nèi)的圖像來計(jì)算。為了達(dá)到更好的識(shí)別效果，文章還采用了Overlap-tile的技巧，將圖像邊緣進(jìn)行一定的鏡像復(fù)制生成邊緣圖像，這樣邊緣的識(shí)別效果會(huì)更好。
- Weights initialization
權(quán)值初始化在深度學(xué)習(xí)中十分重要。隨著網(wǎng)絡(luò)變深存在梯度消失的問題，此時(shí)深層的網(wǎng)絡(luò)參數(shù)很難得到有效訓(xùn)練。此時(shí)，某些卷積層可能會(huì)有特別多的激活，而另一些卷積層可能對(duì)網(wǎng)絡(luò)沒有貢獻(xiàn)。因此，權(quán)值的初始化好壞程度會(huì)影響最終模型效果以及訓(xùn)練時(shí)間。理想的權(quán)值初始化是使得網(wǎng)絡(luò)中的每一個(gè)特征圖方差都接近1。
在U-Net中，可以通過高斯分布隨機(jī)生成權(quán)值，高斯分布的均方差為（2/N）^0.5，其中N為上一層的參數(shù)數(shù)量。
Results
