題目：Joint Registration And Segmentation Of Xray Images Using Generative Adversarial Networks

概要：

論文主要采用了多任務(wù)學(xué)習(xí)聯(lián)合分割和配準(zhǔn)任務(wù)進(jìn)行學(xué)習(xí)。主要在X光圖像上進(jìn)行實(shí)驗(yàn)。生成器來進(jìn)行配準(zhǔn)，在這個(gè)過程中用到了分割圖的相似性。判別器用來判斷真假。

1、介紹

圖像配準(zhǔn)和分割是許多醫(yī)學(xué)圖像分析中必不可少的步驟。配準(zhǔn)是重要的地圖集建立（atlas building），糾正變形和監(jiān)測(cè)病理變化的時(shí)間。分割是疾病識(shí)別、病理定位和器官功能檢測(cè)的關(guān)鍵。精確的分割提高了配準(zhǔn)，而準(zhǔn)確的配準(zhǔn)提高了分割。因此，聯(lián)合配準(zhǔn)和分割(JRS)框架有望在單獨(dú)解決這兩個(gè)問題的基礎(chǔ)上得到改進(jìn)。
本文特點(diǎn)：
1）將配準(zhǔn)和分割結(jié)合在一個(gè)深度學(xué)習(xí)框架下，不需要再單獨(dú)訓(xùn)練一個(gè)分割網(wǎng)絡(luò)。
2）分割驅(qū)動(dòng)配準(zhǔn)，反之亦然。
3）不需要對(duì)ROI進(jìn)行顯式分割，依賴于GAN動(dòng)態(tài)生成分割，并將其用在配準(zhǔn)任務(wù)中。

2、方法：

符號(hào)介紹

生成器有三個(gè)輸出。判別器判斷這三個(gè)輸出和相應(yīng)的訓(xùn)練數(shù)據(jù)的真假。再測(cè)試階段只有生成器用得到。

損失

內(nèi)容損失

其中：
NMI：參考圖像和轉(zhuǎn)換的圖像之間的歸一化互信息。
SSIM：結(jié)構(gòu)相似性，但是論文中沒有說明是什么圖像之間的結(jié)構(gòu)相似性
VGG：不同圖像之間用訓(xùn)練好的VGG16提取出多個(gè)特征圖的L2距離。文中用了VGG所有的特征圖共3968個(gè)但依然沒說是什么圖像之間的VGG

對(duì)抗損失：

下面就用到了cycleGAN雖然沒明白為啥要用cycle的損失。突然又要映射回原來的域。所以對(duì)抗損失就是類似域cycle的

生成器G的損失

對(duì)抗損失

其中：
dice metric (DM) ： 轉(zhuǎn)換后的分割圖像和參考的分割圖像之間的dice指標(biāo)。
MSE: 回復(fù)的變形場(chǎng)圖像和應(yīng)用的變形場(chǎng)圖像之間的均方誤差然后進(jìn)行歸一化（具體是什么不是太明白文章中也沒詳細(xì)說明）

循環(huán)一致性損失

總損失

總體結(jié)構(gòu)

Fig. 1. (a) Generator Network; (b) Discriminator network. n64s1 denotes 64 feature maps (n) and stride (s) 1 for each convolutional layer.

圖像分割的獲得

由鏈接不同層的特征圖，從而獲取圖像突出部分的信息獲得圖像的分割。類似于Unet。在本文中我們把每個(gè)卷積層的特征圖相加然后二值化。

3、實(shí)驗(yàn)

在 NIH ChestXray14 dataset數(shù)據(jù)集上驗(yàn)證。選取420個(gè)不同病人的圖像然后進(jìn)行人工標(biāo)注出與疾病相關(guān)的區(qū)域作為參考圖像，然后剩下的1087張圖像作為浮動(dòng)圖像。

結(jié)果

Table 1. Intra-patient image registration results for left and right lung using different methods on the NIH-14 database. T ime indicates computation time in seconds.

胡言亂語

感覺這個(gè)論文的邏輯有點(diǎn)emmm，如提出了cycle之后另外一個(gè)映射F，然后感覺就沒用了，隨意就丟掉了？感覺為了用cycle而用cycle。邏輯有點(diǎn)牽強(qiáng)呀。還有一些地方寫的也有些不明不白的。應(yīng)該是自己太菜看不明白把。但這種方法似乎只適用于單模態(tài)。在多模態(tài)中，語義損失究竟怎么度量也還是個(gè)問題。