題目 ：使用GAN實(shí)現(xiàn)可變形醫(yī)學(xué)圖像配準(zhǔn)

傳統(tǒng)的深度學(xué)習(xí)配準(zhǔn)方法都采用迭代方法，作者采用GAN實(shí)現(xiàn)了一種端到端的多模態(tài)圖像配準(zhǔn)方法，消除了傳統(tǒng)方法耗時的迭代直接生成有變形場的配準(zhǔn)圖像。
前人工作：
Sokooti et. al.[6]提出RegNet，它使用經(jīng)過模擬變形訓(xùn)練的CNNs為一對單一模態(tài)圖像生成位移向量場。
Vos et. al. [7][提出了一種可變形圖像配準(zhǔn)網(wǎng)絡(luò)(dir - net)，它以一對固定圖像和一對運(yùn)動圖像為輸入，非迭代地輸出變換后的圖像。訓(xùn)練是完全無監(jiān)督的，不像以前的方法，它沒有經(jīng)過已知配準(zhǔn)轉(zhuǎn)換的訓(xùn)練
前人工作中需要改進(jìn)的地方：
1）使用空間對應(yīng)的patches 來進(jìn)行預(yù)測轉(zhuǎn)換，但是在低對比度醫(yī)學(xué)圖像中尋找相應(yīng)的patches是不容易的，可能會對配準(zhǔn)任務(wù)產(chǎn)生不利影響
2）多模態(tài)配準(zhǔn)由于其固有的尋找空間對應(yīng)斑塊的問題，使得其配準(zhǔn)方法具有挑戰(zhàn)性

3. 使用基于強(qiáng)度的代價函數(shù)限制了基于DL的圖像配準(zhǔn)框架的優(yōu)勢
   主要創(chuàng)新點(diǎn)：
   1）利用GANs進(jìn)行多模態(tài)醫(yī)學(xué)圖像配準(zhǔn)，可以恢復(fù)更復(fù)雜的變形范圍
   2）損失函數(shù)的改進(jìn)，加入VGG，SSIM損失和變形場可逆性（deformation field reversibility變形場可逆性，emmm感覺怪怪的）
   對于多模態(tài)配準(zhǔn)，我們使用cGANs來保證生成的輸出圖像(即，轉(zhuǎn)換后的浮動圖像）與浮動圖像具有相同的特征(強(qiáng)度分布)，而與參考圖像(不同模態(tài))具有相似的位置。可以通過在圖像生成的損失函數(shù)中加入適當(dāng)?shù)募s束來實(shí)現(xiàn)。此外，我們加強(qiáng)變形一致性，以獲得真實(shí)的變形場。這可以防止不切實(shí)際的配準(zhǔn)，并允許任何圖像作為參考或浮動圖像。不需要對網(wǎng)絡(luò)進(jìn)行再訓(xùn)練，就可以從不屬于訓(xùn)練集的模式中注冊新的測試圖像對。

網(wǎng)絡(luò)結(jié)構(gòu)：

Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.

生成網(wǎng)絡(luò)：

配準(zhǔn)后的圖像為I_trans
待配準(zhǔn)的圖像為I_Flt
固定圖像為I_Ref
I_trans 應(yīng)該和I_Flt有相同的強(qiáng)度分布，和I_Ref有相同的結(jié)構(gòu)信息
NMI(ITrans, IRef)表示IRef和IT rans之間的歸一化互信息(NMI)（normalized mutual information）再多模態(tài)配準(zhǔn)任務(wù)中常使用
SSIM(IT rans, IRef)表示結(jié)構(gòu)相似度指標(biāo)(SSIM)[13]，基于邊緣分布等計算圖像相似度
保證結(jié)構(gòu)相似性
V GG(IT rans, IRef)是使用預(yù)訓(xùn)練V GG - 16網(wǎng)絡(luò)的Relu 4 - 1層全部512個feature map的兩幅圖像之間的L2距離
VGG損失提高了魯棒性，因?yàn)槌杀竞瘮?shù)考慮了在不同尺度上捕獲信息的多個特征映射

對抗損失

image.png

循環(huán)一致性損失

image.png

實(shí)驗(yàn)：

實(shí)驗(yàn)一：colour fundus images and fluorescein angiography (FA) images 彩色眼底圖像和熒光素血管造影(FA)圖像

評價標(biāo)準(zhǔn)：
registration error (ErrDef) ：應(yīng)用變形場和恢復(fù)變形場之間的配準(zhǔn)誤差
95 percentile Hausdorff Distance (HD95)：配準(zhǔn)前后95% Hausdorff距離
mean absolute surface distance(MAD)：配準(zhǔn)前后的平均絕對表面距離
mean square error (MSE)：配準(zhǔn)后的FA圖像與原始未變形的FA圖像對比。

表1。對比視網(wǎng)膜圖像配準(zhǔn)前后不同方法的平均性能。Time表示配準(zhǔn)一個測試映像對所需的時間(以秒為單位)。

Fig. 2. Example results for retinal fundus and FA registration. (a) Color fundus image; (b) Original FA image; (c) ground truth difference image before simulated deformation; (d) Deformed FA image or the floating image; Difference image (e) before registration; after registration using (f) GANReg; (g) DIRNet; (f) Elastix .

實(shí)驗(yàn)二：心臟圖像配準(zhǔn)

Fig. 3. Example results for cardiac RV registration. Superimposed contours of the ground truth (red) and deformed segmentation mask of moving image (green): (a) before registration; after registration using (b) GANReg; (c) DIRNet; (d) Elastix.