文章：Deep Learning in Medical Image Registration: A Survey [paper]
主要是翻譯，水平有限大致翻譯一下 ，emmmmm大致看得懂，就湊合著看把 。
4、監(jiān)督學習變形配準方法
盡管前面描述的方法取得了一定的成功，但是這些方法中的轉(zhuǎn)換估計是通過迭代實現(xiàn)的，這可能導致配準較慢。特別是在可變形配準的情況下，解空間是高維的[70]。這推動了可以在一個步驟中估計出對應于最優(yōu)相似性的轉(zhuǎn)換的網(wǎng)絡發(fā)展。然而，完全監(jiān)督的轉(zhuǎn)換估計(僅使用真實數(shù)據(jù)來定義損失函數(shù))有幾個挑戰(zhàn)，本節(jié)將重點介紹這些挑戰(zhàn)。
圖5給出了有監(jiān)督變換估計的可視化，
表2給出了著名作品的描述。其中高亮顯示的只是我目前看的文章，沒有其他意思
4.1 全監(jiān)督轉(zhuǎn)換配準
在本節(jié)中，我們研究了使用完全監(jiān)督的方法實現(xiàn)單模態(tài)配準。與迭代優(yōu)化方法相比，使用神經(jīng)網(wǎng)絡執(zhí)行配準可以顯著加快配準過程。
4.1.1 本章梗概
由于本節(jié)討論的方法使用神經(jīng)網(wǎng)絡直接估計轉(zhuǎn)換參數(shù)，因此使用可變形轉(zhuǎn)換模型不會引入額外的計算約束?？勺冃无D(zhuǎn)換模型通常優(yōu)于剛性轉(zhuǎn)換模型[96]。本節(jié)將首先討論使用剛性轉(zhuǎn)換模型的方法，然后討論使用可變形轉(zhuǎn)換模型的方法。
4.1.1.1剛性配準
Miao et al. [89, 90]首先使用深度學習來預測剛性轉(zhuǎn)換參數(shù)。他們使用CNN來預測與二維/三維x射線衰減圖和二維x射線圖像剛性配準相關的變換矩陣。提出了將6個轉(zhuǎn)換參數(shù)劃分為3組的層次回歸方法。通過對對齊數(shù)據(jù)的轉(zhuǎn)換，合成了地面真值數(shù)據(jù)。下面介紹的三種方法也是如此。該方法優(yōu)于基于MI、CC和梯度相關的迭代配準方法。
Chee et al. [16] 使用CNN預測了用于剛性配準三維腦MR的轉(zhuǎn)換參數(shù)。在仿射圖像配準網(wǎng)絡(AIRNet)的框架中，利用預測仿射變換與真值仿射變換之間的MSE對網(wǎng)絡進行訓練。在單模態(tài)和 多模態(tài)情況下，它們都能比基于迭代MI的配準性能更好
Zheng et al. [143] 此外，鄭等[143]提出將成對域適應模塊(PDA)集成到預訓練CNN中，利用有限的訓練數(shù)據(jù)對術前三維x線圖像和術中二維x線圖像進行剛性配準。采用域自適應的方法，解決了用于訓練深度模型的綜合數(shù)據(jù)與實際數(shù)據(jù)之間的差異。
Sloan et al. [116] 利用CNN對T1和T2加權腦mr配準的剛性轉(zhuǎn)換參數(shù)進行回歸，研究了單模態(tài)配準和多模態(tài)配準。構成卷積層的參數(shù)只在單模態(tài)情況下共享，卷積層用于提取每張圖像的低層特征。在多模態(tài)情況下，這些參數(shù)分別學習。這種方法也優(yōu)于基于MI的圖像配準。
4.1.1.2 可變形配準
與上一節(jié)一樣，我們將討論同時使用真實和合成的ground truth標簽的方法。首先討論使用臨床/公開可用的ground truth標簽進行訓練的方法。這種順序反映了一個事實，即模擬真實的可變形轉(zhuǎn)換比模擬真實的剛性轉(zhuǎn)換更困難。
Yang et al. ]用FCN一步就預測出了形變場，F(xiàn)CN用于記錄二維/三維主體間腦MR。這種方法使用了類似于U-net的體系結構[103]。此外，他們還利用大的差形度量映射（large diffeomorphic
metric mapping ）作為基礎，利用圖像像素的初始動量值作為網(wǎng)絡輸入，對這些值進行演化，得到預測的變形場。該方法優(yōu)于基于半耦合字典學習（semi-coupled dictionary learning based）的配準[11]。
Rohe et al.. [102]也使用U-net [103] 啟發(fā)的網(wǎng)絡來估計用于配準三維心臟MR體積的形變場。采用網(wǎng)格分分割法計算給定圖像對的參考變換，并以預測與真正之間的SSD作為損失函數(shù)。該方法優(yōu)于基于LCC Demons的配準[80]。
Cao et al. [13] 使用CNN將一對3D腦MR的輸入圖像塊映射到各自的位移矢量。對于給定的圖像，這些位移矢量的總和構成用于進行配準的變形場。此外，他們利用輸入圖像塊之間的相似性來指導學習過程。此外，他們使用了均衡的活動點引導采樣策略，使得梯度大小和位移值較高的patch更有可能被采樣用于訓練。該方法優(yōu)于基于SyN[5]和Demons[127]的配準方法。
Jun et al. [82] 利用CNN對腹部MR圖像進行可變形配準，以補償呼吸引起的形變。該方法的配準效果優(yōu)于非運動校正配準和局部仿射配準。
Yang et al.【136】使用變換參數(shù)的變分高斯分布的低秩Hessian近似（low-rank Hessian approximation of the variational gaussian distribution），量化了與三維T1和T2加權腦MRs可變形配準相關的不確定性。該方法對實際數(shù)據(jù)和綜合數(shù)據(jù)進行了驗證。
正如深度學習實踐者使用隨機轉(zhuǎn)換來增強數(shù)據(jù)集的多樣性一樣，Sokooti et al. [117] 使用隨機DVFs來增強數(shù)據(jù)集。他們使用多尺度CNN來預測變形場。利用這種變形對三維胸部CT圖像進行單個病人圖像配準。這種方法使用的是晚期融合而不是早期融合，在早期融合中，patch被連接起來作為網(wǎng)絡的輸入。該方法的性能與基于b樣條的配準具有競爭力[117]。
這些方法在增強數(shù)據(jù)集的大小和多樣性方面具有顯著的優(yōu)勢，但能力有限。這些限制推動了更復雜的地面真相圖像生成的發(fā)展。本節(jié)中描述的其他方法為其應用程序使用模擬的地面真實數(shù)據(jù)。
Eppenhof et al.[31]使用3D CNN對吸氣-呼氣三維肺CT圖像體積進行可變形配準。一系列多尺度、隨機的對齊圖像對轉(zhuǎn)換消除了手工標注真實數(shù)據(jù)的需要，同時也保持了真實的圖像外觀。此外，與生成地面真實數(shù)據(jù)的其他方法一樣，CNN可以在監(jiān)督下使用相對較少的醫(yī)學圖像進行訓練
Uzunova et al. [125] 使用統(tǒng)計外觀模型(statistical appearance models, SAMs)生成地面真實數(shù)據(jù)。他們使用CNN估計了二維腦MR和二維心MR的配準變形場，并用FlowNet[29]實現(xiàn)。他們證明，與使用隨機生成的地面真實數(shù)據(jù)或使用[30]中描述的配準方法獲得的地面真實數(shù)據(jù)進行訓練的CNNs相比，使用SAM生成的地面真實數(shù)據(jù)進行訓練的FlowNet具有更好的性能。
與本節(jié)中使用隨機轉(zhuǎn)換或手工制作方法生成地面真實數(shù)據(jù)的其他方法不同，Ito等人[56]使用CNN學習生成真實數(shù)據(jù)的可信變形。他們在ADNI數(shù)據(jù)集中的3D腦MR卷上評估了他們的方法，并優(yōu)于[53]中提出的基于MI的方法
