論文地址：U-Net: Convolutional Networks for Biomedical Image Segmentation
代碼地址：https://github.com/laisimiao/Unet
Unet想必大家都聽過它的大名，在醫(yī)學圖像分割方向非常著名的一篇論文，我也是懷著好奇心，以其為我想對分割任務有個初步認識為動機，實現(xiàn)了一下論文中說的那個挑戰(zhàn)賽（訓練數(shù)據(jù)少，訓練時間短）：ISBI Challenge: Segmentation of neuronal structures in EM stacks，關于這個數(shù)據(jù)集：論文中是這樣說的：
The training data is a set of 30 images (512x512 pixels) from serial section transmission electron microscopy of the Drosophila first instar larva ventral nerve cord (VNC).
大意就是：訓練數(shù)據(jù)有30張，分辨率為512x512，這些圖片是果蠅的電鏡圖。
看下面這個動圖，就可以了解要做一個什么任務：給一張細胞結構圖，我們要把他互相分割開來。
其實我理解的分割任務就是對每一個像素點分類，所以它的標簽也是和輸入圖像的分辨率也是一樣的，對于這里的果蠅細胞圖，就是分成兩類就好了：細胞膜處為黑色，細胞內為白色，所以我們預測結果的feature map形狀可以為2x512x512（對于VOC和COCO多分類的也是一樣的，可以預測CxHxW形狀的feature map，C為目標類別數(shù)，H和W分別為輸入圖像的高和寬），其中第一個通道為細胞膜處的mask，第二個通道為細胞內的mask，后來發(fā)現(xiàn)對于這種二分類的問題其實只輸出一個通道也行，即1x512x512，因為最后除了黑就是白，而且原圖很接近灰度圖，轉化為單通道后沒有多大區(qū)別，這樣輸入輸出都是單通道的，計算pixel-wise的logistic loss也很方便代碼實現(xiàn)。
放一張Unet網絡結構圖，用pytorch還是比較容易實現(xiàn)的，只不過我這里實現(xiàn)的contracting path和expansive path的分辨率對應是一樣的，而不是像論文圖中的從contracting path crop一塊與expansive path concat的：
寫一點理解和沒太清楚的地方：
- 這里網絡訓練出來以后就像是一個紋理檢測器，輸入一張測試圖片后，遇到細胞邊界處它的激活值就大，經過sigmoid函數(shù)之后就趨向于1，也就是黑色；其他的地方激活值就低，經過sigmoid函數(shù)之后就趨向于0，也就是白色。
- 對于.tif格式的圖片，讀入好像只能通過Image和TIFF（網上看來的），但是我一讀入這個細胞圖片后，Image的mode就是L，也就是灰度圖，所以我就不知道原來是3通道的還是1通道的，但是這個對于后面不影響
具體實現(xiàn)可以去看代碼，提供了keras2.2.4和pytorch1.0兩個版本，實際訓練的時候發(fā)現(xiàn)keras版的當訓練的batch size=2時，GPU顯存占用就達到了10GB左右，但是pytorch里面只用了4GB左右，因為pytorch版本的decode部分是通過上采樣而不是轉置卷積實現(xiàn)的，這里放兩張效果圖：
附一個評價指標dice coefficient的鏈接：醫(yī)學圖像分割之 Dice Loss
