在配準(zhǔn)任務(wù)中使用對(duì)抗相似性網(wǎng)絡(luò)來(lái)評(píng)估圖像對(duì)齊 2019-09-29

題目:Adversarial Similarity Network for Evaluating Image Alignment in Deep Learning Based Registration
時(shí)間:26 September 2018
這篇文章簡(jiǎn)單來(lái)說(shuō)就是使用對(duì)抗思想,用生成器來(lái)學(xué)習(xí)變形場(chǎng),用來(lái)預(yù)測(cè)形變場(chǎng)的配準(zhǔn),用判別器來(lái)衡量輸入的一組圖像對(duì)的相似性。評(píng)價(jià)標(biāo)準(zhǔn)使用的是 Dice Similarity Coefficient (DSC),在大量的數(shù)據(jù)集中進(jìn)行了實(shí)驗(yàn)。

1、Introduction

傳統(tǒng)的配準(zhǔn)方法尋求基于強(qiáng)度相似度度量的光滑變形場(chǎng)預(yù)測(cè)。然而,這些方法常常涉及計(jì)算開(kāi)銷(xiāo)大的高維優(yōu)化和任務(wù)相關(guān)的參數(shù)調(diào)優(yōu)。
在無(wú)監(jiān)督學(xué)習(xí)的方法中。不通過(guò)真實(shí)的變換,而是通過(guò)最大化一組圖像的相似性來(lái)學(xué)習(xí)變形的轉(zhuǎn)換。但是相似性度量在不同模態(tài)之間效果很局限。
三個(gè)主要貢獻(xiàn)
1)相比傳統(tǒng)方法,提出了一種魯棒、快速的端到端配準(zhǔn)網(wǎng)絡(luò),實(shí)現(xiàn)了一次配準(zhǔn)變形的預(yù)測(cè),不需要進(jìn)行參數(shù)微調(diào)。
2)與監(jiān)督學(xué)習(xí)配準(zhǔn)方法相比,該網(wǎng)絡(luò)不需要真正的變形。該網(wǎng)絡(luò)以一種對(duì)抗和無(wú)監(jiān)督的方式訓(xùn)練。
3)提出的對(duì)抗性相似度網(wǎng)絡(luò)學(xué)習(xí)了一個(gè)有效訓(xùn)練配準(zhǔn)網(wǎng)絡(luò)的有意義的度量

2、方法

變形場(chǎng)Φ是從對(duì)象域S(subject image)到模板域T(template image)之間的映射。S?Φ和T要相似。Φ通過(guò)最小化一下能量函數(shù)進(jìn)行確定



M (S?ΦT)量化了模板圖像T與扭曲主體圖像之間的差異
Reg(Φ)是正則化來(lái)保持變形場(chǎng)的平滑。


Fig. 1. The proposed adversarial similarity network for deformable image registration. The input image pair is already linearly aligned.

訓(xùn)練過(guò)程:
配準(zhǔn)網(wǎng)絡(luò)由生成器損失進(jìn)行優(yōu)化,學(xué)習(xí)得到從S到T之間的變形場(chǎng)。然后,從對(duì)象域S拿一個(gè)圖像和學(xué)習(xí)的到的變形場(chǎng)輸入到變形轉(zhuǎn)化層,得到變形后的圖像,形成一個(gè)圖像對(duì)。然后拿著這個(gè)生成的圖像對(duì)和事先對(duì)齊號(hào)的圖像輸入到判別器中,判別輸入的圖像對(duì)之間是不是相似。輸出一個(gè)相似的概率。這個(gè)概率在指導(dǎo)生成器進(jìn)行下一步的訓(xùn)練。

3、損失。

判別器損失。


positive case (P +) where the images are well registered,
negative case (P-) where the images are not well registered.
理性情況下正類(lèi)是兩個(gè)圖像完全相似,但是折在真實(shí)情況下不能存在,因此我們?cè)谡?lèi)的圖像對(duì)之間加入了一些擾動(dòng)。。特別的對(duì)所有的圖像對(duì)來(lái)說(shuō),T圖像是不變的,擾動(dòng)值加在原始的對(duì)象圖像上。

生成器損失:

對(duì)抗損失:



平滑損失:



總損失:

實(shí)驗(yàn)結(jié)果:

評(píng)價(jià):Dice Similarity Coefficient (DSC) of 54 brain ROIs
該算法在54個(gè)roi中有42個(gè)達(dá)到了最佳性能,其余12個(gè)roi的性能與其他深度學(xué)習(xí)配準(zhǔn)算法相當(dāng)。



表1中DSC的平均值也顯示了該方法的最佳精度,這表明,所提出的對(duì)抗性相似度指導(dǎo)方法能夠有效地在無(wú)監(jiān)督的情況下訓(xùn)練出準(zhǔn)確的配準(zhǔn)網(wǎng)絡(luò)。


?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容