2021-08-19-Image Synthesis in Multi-Contrast MRI With Conditional Generative Adversarial Networks(TMI 2019)-無代碼

暫無公開代碼

pGAN網(wǎng)絡(luò)的實(shí)現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix

這篇文章是做什么的：跨模態(tài)MR圖像合成

輸入：單張圖像/多張圖像(體積內(nèi)相鄰橫截面(neighboring cross-sections within a volume))

是否需要數(shù)據(jù)配準(zhǔn)：需要/不需要

是基于2D還是3D: 2D/3D 具體看數(shù)據(jù)集描述部分

---文章的Motivation---

本文提出了一種基于條件生成對抗網(wǎng)絡(luò)的多對比度MRI合成方法。所提出的方法通過對抗性損失保留高頻細(xì)節(jié)；它通過對已配準(zhǔn)registered的多對比度圖像的像素級損失和對未配準(zhǔn)圖像的周期一致性損失進(jìn)行約束，提高了合成性能。利用相鄰截面的信息(neighboring cross-sections)進(jìn)一步提高合成質(zhì)量。

---方法發(fā)展過程---

給定M1（源域）中的對象圖像b1，目的是準(zhǔn)確估計(jì)M2（目標(biāo)域）中相同對象b2的相應(yīng)圖像。根據(jù)他們?nèi)绾谓鉀Q這個(gè)問題，有兩種主要方法：基于配準(zhǔn)和基于強(qiáng)度變換的方法[3](registration-based and intensity-transformation-based methods)。

基于配準(zhǔn)的方法首先分別在M1和M2中獲取共同配準(zhǔn)(co-registered)圖像集a1和a2生成地圖集(atlas)[4]。這些方法進(jìn)一步假設(shè)來自不同對象的域內(nèi)圖像通過幾何變換(geometric warp)相互關(guān)聯(lián)。為了從b1合成b2，估計(jì)將a1轉(zhuǎn)換為b1的變換，然后將該變換應(yīng)用于a2。由于它們只依賴于幾何變換，基于配準(zhǔn)的方法在基礎(chǔ)形態(tài)學(xué)(underlying morphology)方面存在跨對象差異[3]。例如，受試者和圖譜(atlas)之間的病理學(xué)不一致(inconsistent pathology)可能導(dǎo)致失敗。此外，即使在正常受試者中，域內(nèi)配準(zhǔn)的準(zhǔn)確性也可能受到限制。

另一種方法是使用基于強(qiáng)度的方法，該方法不依賴于不同受試者解剖結(jié)構(gòu)之間的嚴(yán)格幾何關(guān)系[3]，[5]–[8]。多對比度MRI的一種強(qiáng)大方法是基于壓縮傳感框架(?compressed sensing framework)，其中源圖像b1中的每個(gè)patch表示為atlas圖像a1中patch的稀疏線性組合[7]。然后將學(xué)習(xí)到的稀疏組合應(yīng)用于從a2中的patch估計(jì)b2中的patch。為了改進(jìn)跨域的patch匹配，還提出了使用多尺度patch和組織分割標(biāo)簽的生成模型[9]，[10]。最近的研究不是聚焦于線性模型，而是旨在學(xué)習(xí)更一般的非線性映射，這些映射以a1中的patch表示a2中的單個(gè)體素，然后根據(jù)這些映射從b1預(yù)測b2。非線性映射通過非線性回歸[3]、[5]、[6]或位置敏感神經(jīng)網(wǎng)絡(luò)(location-sensitive neural networks)[11]等在訓(xùn)練數(shù)據(jù)上學(xué)習(xí)。一個(gè)重要的例子是對多分辨率圖像塊執(zhí)行隨機(jī)森林回歸的(Replica)[3]。Replica在多對比度MR圖像合成中顯示出巨大的前景。然而，在構(gòu)建字典的過程中，不同空間尺度的patch是獨(dú)立處理的，并且在合成過程中對來自不同隨機(jī)森林樹的預(yù)測進(jìn)行平均。這些可能導(dǎo)致丟失高空間頻率信息和次優(yōu)合成性能。

最近，提出了一種基于深度神經(jīng)網(wǎng)絡(luò)的多模態(tài)端到端MRI圖像合成框架[12]。Multimodal訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)接收多個(gè)不同源對比度的輸入圖像，并預(yù)測目標(biāo)對比度的圖像。該方法在一個(gè)統(tǒng)一的框架中執(zhí)行多分辨率字典構(gòu)造和圖像合成，并且與non-network-based方法相比，即使只有一部分源對比度可用，該方法也能產(chǎn)生更高的合成質(zhì)量。也就是說，Multimodal假設(shè)空間配準(zhǔn)的多對比度圖像(spatially-registered multi-contrast images)可用。此外，多模使用均方誤差或絕對誤差損失函數(shù)，在高頻下性能較差[13]–[15]。

本文提出了一種基于生成對抗網(wǎng)絡(luò)（GAN）結(jié)構(gòu)的多對比度MRI圖像合成新方法。對抗性損失函數(shù)最近已被證明可用于圖像到圖像的轉(zhuǎn)換，并可捕獲高頻紋理信息[16]，[17]。受這一成功的啟發(fā)，我們提出的方法在源對比度給定輸入圖像的情況下，使用條件GANs合成目標(biāo)對比度的圖像。為了提高精度，所提出的方法在合成過程中利用了體積內(nèi)相鄰橫截面(neighboring cross-sections within a volume)的相關(guān)信息。不同的實(shí)現(xiàn)用于兩種不同的場景，其中多對比度圖像在空間上配準(zhǔn)（pGAN）和未配準(zhǔn)（cGAN）。對于第一種情況，我們使用合成圖像和真實(shí)圖像之間的像素?fù)p失來訓(xùn)練pGAN[16]。對于第二種情況，我們在將像素?fù)p失替換為循環(huán)損失后訓(xùn)練cGAN，循環(huán)損失增強(qiáng)了從合成目標(biāo)圖像重建源圖像的能力[17]。對健康正常人和膠質(zhì)瘤患者(healthy normals and glioma patients)的多對比MRI圖像（T1和T2加權(quán)）進(jìn)行了廣泛的評估。

---方法---

2.1 – Image synthesis via adversarial networks

傳統(tǒng)的GANs學(xué)習(xí)從噪聲中生成圖像樣本。然而，在圖像到圖像的轉(zhuǎn)換中，合成圖像在統(tǒng)計(jì)上依賴于源圖像。為了更好地捕獲這種依賴性，可以使用條件GAN接收源圖像作為附加輸入[21]。然后，可以根據(jù)以下對抗損失函數(shù)對生成的網(wǎng)絡(luò)進(jìn)行訓(xùn)練：

首先假設(shè)源對比度和目標(biāo)對比度的圖像完全配準(zhǔn)。對于這種情況提出了pGAN，該pGAN受pix2pix體系結(jié)構(gòu)[16]的啟發(fā)，將像素級損失納入目標(biāo)函數(shù)中：

由于觀察到生成器忽略pGAN中的潛在變量，因此使用以下總損失函數(shù)進(jìn)行訓(xùn)練：

在第二個(gè)場景中，我們沒有假設(shè)源圖像和目標(biāo)對比度圖像之間存在配準(zhǔn)。在這個(gè)更現(xiàn)實(shí)的場景中，無法利用像素?fù)p失，因?yàn)橄袼卦趯Ρ榷戎g沒有對齊。本文提出了cGAN，該cGAN受cycleGAN架構(gòu)的啟發(fā)，結(jié)合了循環(huán)一致性損失[17]。

此損失函數(shù)強(qiáng)制執(zhí)行將源圖像投影到目標(biāo)域后，可以在投影損失最小的情況下重新合成源圖像的屬性。進(jìn)一步將等式1中對抗性損失的負(fù)對數(shù)似然成本替換為平方損失[22](Further replacing the ?negative log-likelihood cost for adversarial loss in Eq. 1 by a squared loss [22])：

2.2 – MRI datasets

對于配準(zhǔn)圖像，我們訓(xùn)練并測試pGAN和cGAN模型。對于未配準(zhǔn)的圖像，我們只訓(xùn)練cGAN模型。實(shí)驗(yàn)在三個(gè)獨(dú)立的數(shù)據(jù)集上進(jìn)行：MIDAS數(shù)據(jù)集[23]，IXI數(shù)據(jù)集(http://brain-development.org/ixi-dataset/)還有BRATS數(shù)據(jù)集(https://sites.google.com/site/braintumorsegmentation/home/brats2015). MIDAS和IXI數(shù)據(jù)集主要包含來自健康受試者的數(shù)據(jù)，而BRATS數(shù)據(jù)集包含來自結(jié)構(gòu)異常（即腦腫瘤）患者的數(shù)據(jù)。關(guān)于每個(gè)數(shù)據(jù)集中包含的圖像的協(xié)議信息如下所述。數(shù)據(jù)集被標(biāo)準(zhǔn)化，以確保受試者的體素強(qiáng)度范圍具有可比性。對于每個(gè)對比，每個(gè)受試者的大腦體積(volume)平均強(qiáng)度標(biāo)準(zhǔn)化為1。為了獲得[01?]中的強(qiáng)度標(biāo)度，在受試者之間匯集的體素平均強(qiáng)度之上的三個(gè)標(biāo)準(zhǔn)偏差被映射為1。the mean intensity across the brain volume was ?normalized to 1 within individual subjects. To attain an intensity scale in [0 1], three standard deviations ?above the mean intensity of voxels pooled across subjects was then mapped to 1.

2.3 – Image registration

對于第一種情況，假設(shè)來自給定對象的多對比度圖像被配準(zhǔn)。MIDAS和IXI數(shù)據(jù)集中包含的圖像是未配準(zhǔn)的。因此，這些數(shù)據(jù)集中的T1和T2加權(quán)圖像是在網(wǎng)絡(luò)訓(xùn)練之前配準(zhǔn)的。對于MIDAS數(shù)據(jù)集，基于互信息使用仿射變換(affine transformation)進(jìn)行配準(zhǔn)。對于IXI數(shù)據(jù)集，基于互信息的剛性轉(zhuǎn)換(rigid transformation)。BRATS數(shù)據(jù)集不需要配準(zhǔn)。未對第二個(gè)場景執(zhí)行任何配準(zhǔn)。所有配準(zhǔn)均使用FSL軟件包[24]，[25]執(zhí)行。

2.4 – Network training

在第一個(gè)場景中，我們假設(shè)源圖像和目標(biāo)圖像之間完全對齊，然后使用pGAN學(xué)習(xí)從源到目標(biāo)對比度的映射。在pGAN的第一個(gè)變體中，輸入圖像是源對比度的單個(gè)橫截面(single cross-section)，而目標(biāo)是所需對比度的各個(gè)橫截面。請注意，MR圖像中的相鄰橫截面將顯示出顯著的相關(guān)性。因此，我們推斷，在源對比度中加入來自相鄰橫截面的附加信息應(yīng)該可以改進(jìn)合成。為此，實(shí)施了pGAN的第二種變體，其中源對比度的多個(gè)連續(xù)橫截面作為輸入，目標(biāo)對應(yīng)于中心橫截面處的期望對比度。據(jù)觀察，使用三個(gè)橫截面可產(chǎn)生接近最佳的結(jié)果，而不會(huì)顯著增加模型的復(fù)雜性。因此，第二個(gè)變體的實(shí)現(xiàn)基于此后的三個(gè)橫截面。

pGAN網(wǎng)絡(luò)的實(shí)現(xiàn)https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix使用基于256x256圖像。因此，在訓(xùn)練之前，所有MR圖像在圖像域中被零填充到該大小。我們采用了[26]中的生成器架構(gòu)，以及[13]中的鑒別器架構(gòu)。訓(xùn)練過程持續(xù)了200個(gè)epoch，Adam優(yōu)化器的最小批量為1[27]

在第二個(gè)場景中，我們沒有假設(shè)源圖像和目標(biāo)圖像之間存在任何對齊，因此我們使用cGAN來學(xué)習(xí)未配準(zhǔn)的源圖像和目標(biāo)圖像之間的映射。與pGAN類似，cGAN的兩種變體被認(rèn)為在單個(gè)橫截面和三個(gè)連續(xù)橫截面上起作用。實(shí)施cGAN的后一種變體時(shí)，源對比度的多個(gè)連續(xù)橫截面作為輸入，目標(biāo)對比度的相同數(shù)量的連續(xù)橫截面作為輸出。雖然cGAN不假設(shè)源域和目標(biāo)域之間存在任何對齊，但我們?nèi)匀幌Ｍ繖z查cGAN和pGAN中使用的不同損失函數(shù)的影響。為了進(jìn)行比較，我們還針對配準(zhǔn)的多對比度數(shù)據(jù)（cGANreg）訓(xùn)練了單獨(dú)的cGAN網(wǎng)絡(luò)。訓(xùn)練程序與pGAN相同。

2.5 – Competing methods

第一種方法是Replica，它估計(jì)從源對比度到目標(biāo)對比度的單個(gè)體素的圖像塊之間的非線性映射[3]。Replica提取不同空間尺度的圖像特征，然后通過隨機(jī)森林進(jìn)行多分辨率分析。然后將學(xué)習(xí)到的非線性映射應(yīng)用于測試圖像。根據(jù)[3]中描述的參數(shù)，使用Replica方法作者發(fā)布的代碼來訓(xùn)練模型。

第二種方法是Multimodal，即在給定源圖像作為輸入的情況下，使用端到端神經(jīng)網(wǎng)絡(luò)來估計(jì)目標(biāo)圖像。神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)隱式執(zhí)行基于這些特征的多分辨率特征提取和合成。經(jīng)過訓(xùn)練的網(wǎng)絡(luò)可以應(yīng)用于測試圖像。根據(jù)[12]中描述的參數(shù)，使用Multimodal作者發(fā)布的代碼對網(wǎng)絡(luò)進(jìn)行訓(xùn)練。

為了比較所提出的方法和競爭方法，使用了相同的訓(xùn)練和測試數(shù)據(jù)集。由于所提出的模型是針對兩個(gè)獨(dú)立對比度之間的單峰映射(unimodal mapping)實(shí)現(xiàn)的，因此Replica和 Multimodal的實(shí)現(xiàn)也僅在兩個(gè)對比度下執(zhí)行。

2.6 - Experiments

首先考慮多對比度圖像之間的配準(zhǔn)方向是否會(huì)影響合成質(zhì)量。特別是，我們從T1和T2加權(quán)圖像生成了多個(gè)配準(zhǔn)數(shù)據(jù)集。在第一組中，T2加權(quán)圖像被配準(zhǔn)到T1加權(quán)圖像上（產(chǎn)生T2*）。在第二組中，T1加權(quán)圖像被配準(zhǔn)到T2加權(quán)圖像上（產(chǎn)生T1*）。除了配準(zhǔn)的方向外，我們還考慮了兩個(gè)可能的合成方向（T2 from T1; T1 from T2）。

對于最初未配準(zhǔn)的數(shù)據(jù)集（即MIDAS和IXI），上述考慮導(dǎo)致了四種不同的情況：a）T1→T2*，b）T1*→T2，c）T2→T1*，d）T2*→T1。這里，T1和T2是未配準(zhǔn)的圖像，T1*和T2*是配準(zhǔn)的圖像，并且→ 對應(yīng)于合成的方向。對于每種情況，pGAN和cGAN網(wǎng)絡(luò)基于兩種變體進(jìn)行訓(xùn)練，一種接收單個(gè)橫截面作為輸入，另一種接收三個(gè)連續(xù)橫截面作為輸入。這導(dǎo)致總共有8個(gè)pGAN（一種變體四個(gè)，兩個(gè)變體就是8個(gè)）和4個(gè)cGAN模型（不需要配準(zhǔn)，只考慮兩種合成方向，一種變體兩個(gè)，兩種變體四個(gè)）。對于BRAT不需要配準(zhǔn)，這導(dǎo)致只需要考慮兩種不同的情況：a）T1→T2*和d）T2*→T1。pGAN和cGAN的兩種變體被認(rèn)為在單橫截面和三橫截面上工作。

將合成圖像和參考圖像歸一化為最大強(qiáng)度1。為了評估合成質(zhì)量，我們測量了合成圖像和參考圖像之間的峰值信噪比（PSNR）和結(jié)構(gòu)相似性指數(shù)（SSIM）度量。在NVIDIA Titan X Pascal和Xp GPU上進(jìn)行神經(jīng)網(wǎng)絡(luò)訓(xùn)練和評估。pGAN和cGAN的實(shí)現(xiàn)是使用Pytorch框架在Python中實(shí)現(xiàn)的[29]。REPLICA?MATLAB實(shí)現(xiàn)，以及帶有Theano后端的Multimodal ?Keras實(shí)現(xiàn)[30]。

3 – Results

這些改進(jìn)可歸因于與成對配準(zhǔn)圖像上的循環(huán)一致性損失相比，像素級損失的好處。雖然cGANunreg是在未配準(zhǔn)的圖像上訓(xùn)練的，但它可以捕獲合成對比度中的細(xì)粒度結(jié)構(gòu)。

輸入到網(wǎng)絡(luò)的源對比度圖像有時(shí)可能包含相當(dāng)大的噪聲水平。在這種情況下，可以通過在相鄰橫截面上合并相關(guān)結(jié)構(gòu)信息來提高合成質(zhì)量。

與處理成對圖像的pGAN不同，cGAN中的鑒別器處理來自源域和目標(biāo)域的未成對圖像。反過來，這會(huì)降低跨橫截面合并相關(guān)信息的效率。

4 – Discussion

comparisons between the two directions based on reference-based metrics are not informative because the references for the two directions are inevitably distinct (e.g., T2* versus T2), so determining the optimal direction of registration is challenging. 基于參考的度量的兩個(gè)方向之間的比較不是信息性的，因?yàn)閮蓚€(gè)方向的參考不可避免地是不同的（例如，T2*與T2），因此確定最佳配準(zhǔn)方向具有挑戰(zhàn)性。

在源和目標(biāo)對比度中的體素大小嚴(yán)重不匹配的情況下，cGAN方法不僅將學(xué)習(xí)合成，還將嘗試學(xué)習(xí)從源的空間采樣網(wǎng)格插值到目標(biāo)的空間采樣網(wǎng)格。為了減少潛在的性能損失，可以首先通過多模態(tài)配準(zhǔn)來估計(jì)源圖像和目標(biāo)圖像之間的空間變換。然后可以將該插值函數(shù)級聯(lián)到cGAN體系結(jié)構(gòu)的輸出。

關(guān)于基于神經(jīng)網(wǎng)絡(luò)的方法，一個(gè)重要的關(guān)注點(diǎn)是大數(shù)據(jù)集的可用性，用于成功地訓(xùn)練網(wǎng)絡(luò)參數(shù)。cGAN方法通過允許使用未配準(zhǔn)和配準(zhǔn)的多對比度數(shù)據(jù)集來促進(jìn)網(wǎng)絡(luò)訓(xùn)練。在這里，我們對成對圖像進(jìn)行訓(xùn)練，以進(jìn)行無偏比較，而cGAN允許使用來自不同受試者組的未配對圖像。因此，它可以簡化大型數(shù)據(jù)集的編譯，這些數(shù)據(jù)集是通過更深入的網(wǎng)絡(luò)提高性能所必需的。然而，通過基于成對和非成對訓(xùn)練數(shù)據(jù)的混合訓(xùn)練網(wǎng)絡(luò)，進(jìn)一步的性能改進(jìn)是可行的[35]。

5 – Conclusion

本文出了一種新的基于條件生成對抗網(wǎng)絡(luò)的多對比度MRI合成方法。與大多數(shù)傳統(tǒng)方法不同，該方法對GANs進(jìn)行端到端訓(xùn)練，GANs在給定源對比度圖像的情況下合成目標(biāo)對比度。對抗損失函數(shù)的使用提高了目標(biāo)對比度中高頻信息合成的準(zhǔn)確性。通過在已配準(zhǔn)圖像的情況下合并像素級損失，以及在未配準(zhǔn)圖像的情況下合并周期一致性損失，合成性能得到進(jìn)一步提高。最后，所提出的方法利用了每個(gè)體積內(nèi)相鄰橫截面的信息來提高合成精度。在健康受試者和膠質(zhì)瘤患者的多對比度腦MRI數(shù)據(jù)集中，該方法優(yōu)于兩種最先進(jìn)的合成方法。