論文地址：Generative Adversarial Network in Medical Imaging: A Review

github Reference link：Awesome GAN for Medical Imaging

翻譯

摘要

生成對(duì)抗網(wǎng)絡(luò)由于其數(shù)據(jù)生成能力而在沒有明確建模概率密度函數(shù)的情況下在計(jì)算機(jī)視覺社區(qū)中獲得了很多關(guān)注。 鑒別器帶來的對(duì)抗性損失提供了一種巧妙的方法，可以將未標(biāo)記的樣本納入訓(xùn)練并實(shí)現(xiàn)更高的順序一致性。 事實(shí)證明，這在許多情況下是有用的，例如域適應(yīng)，數(shù)據(jù)增強(qiáng)和圖像到圖像轉(zhuǎn)換。 這些屬性吸引了醫(yī)學(xué)成像領(lǐng)域的研究人員，我們已經(jīng)看到許多傳統(tǒng)和新穎應(yīng)用的快速采用，如圖像重建，分割，檢測(cè)，分類和跨模態(tài)合成。 根據(jù)我們的觀察，這一趨勢(shì)將繼續(xù)下去，因此我們利用對(duì)抗性訓(xùn)練計(jì)劃對(duì)醫(yī)學(xué)成像的最新進(jìn)展進(jìn)行了回顧，希望能夠使對(duì)該技術(shù)感興趣的研究人員受益。

關(guān)鍵詞：Deeplearning，Generative adversarial network，Generative model，Medical imaging，Review

1. 介紹

隨著2012年開始的計(jì)算機(jī)視覺深度學(xué)習(xí)的復(fù)興（Krizhevsky等，2012），醫(yī)學(xué)成像中深度學(xué)習(xí)方法的采用大幅增加。據(jù)估計(jì)，2016年和2017年在主要醫(yī)學(xué)影像相關(guān)會(huì)議場(chǎng)所和期刊上發(fā)表了400多篇論文（Litjens等，2017）。在醫(yī)學(xué)成像領(lǐng)域廣泛采用深度學(xué)習(xí)是因?yàn)樗哂醒a(bǔ)充圖像解釋和增強(qiáng)圖像表示和分類的潛力。在本文中，我們將重點(diǎn)放在深度學(xué)習(xí)領(lǐng)域最有趣的近期突破之一 - 生成對(duì)抗網(wǎng)絡(luò)（GAN） - 以及它們?cè)卺t(yī)學(xué)成像領(lǐng)域的潛在應(yīng)用。
GAN是一種特殊類型的神經(jīng)網(wǎng)絡(luò)模型，其中兩個(gè)網(wǎng)絡(luò)同時(shí)被訓(xùn)練，一個(gè)側(cè)重于圖像生成，另一個(gè)側(cè)重于區(qū)分。對(duì)抗性訓(xùn)練方案因其在抵制領(lǐng)域轉(zhuǎn)移方面的有用性以及產(chǎn)生新圖像樣本的有效性而在學(xué)術(shù)界和工業(yè)界引起了關(guān)注。該模型在許多圖像生成任務(wù)中實(shí)現(xiàn)了最先進(jìn)的性能，包括文本到圖像合成（Xu et al.，2017），超分辨率（Ledig等，2017）和圖像 - 圖像轉(zhuǎn)換（Zhu et al.，2017a）。
與源于20世紀(jì)80年代的深度學(xué)習(xí)不同（Fukushima和Miyake，1982），對(duì)抗性的概念相對(duì)來說是非常重要的進(jìn)步（Good-fellow et al.，2014）。本文概述了GAN，描述了它們?cè)卺t(yī)學(xué)成像中的有前途的應(yīng)用，并確定了一些需要解決的挑戰(zhàn)，以使它們能夠成功應(yīng)用于其他醫(yī)學(xué)成像相關(guān)任務(wù)。
為了全面概述醫(yī)學(xué)影像中GAN的所有相關(guān)工作，我們搜索了包括PubMed，arXiv在內(nèi)的數(shù)據(jù)庫(kù)，國(guó)際醫(yī)學(xué)圖像計(jì)算和計(jì)算機(jī)輔助干預(yù)會(huì)議（MICCAI），SPIE醫(yī)學(xué)影像，IEEE國(guó)際研討會(huì)生物醫(yī)學(xué)成像（ISBI）和國(guó)際深度學(xué)習(xí)醫(yī)學(xué)影像學(xué)會(huì)議（MIDL）。我們還合并了上述搜索過程中未識(shí)別的交叉引用作品。由于每月都有研究出版物出現(xiàn)，而且沒有失去一般性，我們將搜索的截止時(shí)間設(shè)定為2018年7月30日。僅報(bào)告初步結(jié)果的arXiv的工作被排除在本次審查之外?；谌蝿?wù)，成像模態(tài)和年份的這些論文的描述性統(tǒng)計(jì)數(shù)據(jù)可以在圖1中找到。
在本文的其余結(jié)構(gòu)如下。我們首先簡(jiǎn)要介紹第2節(jié)中GAN的原理及其一些結(jié)構(gòu)變體。然后在第3節(jié)中使用GAN對(duì)醫(yī)學(xué)圖像分析任務(wù)進(jìn)行全面審查，包括但不限于放射學(xué)領(lǐng)域，組織病理學(xué)和皮膚病學(xué)。我們根據(jù)規(guī)范任務(wù)對(duì)所有作品進(jìn)行分類：重建，圖像合成，分割，分類，檢測(cè)，注冊(cè)等。第4節(jié)總結(jié)了該評(píng)論，并討論了前瞻性應(yīng)用和識(shí)別性挑戰(zhàn)。

Figure 1.png

圖1：（a）根據(jù)規(guī)范任務(wù)對(duì)GAN相關(guān)論文進(jìn)行分類。 （b）根據(jù)成像模式對(duì)GAN相關(guān)論文進(jìn)行分類。 （c）2014年發(fā)布的GAN相關(guān)論文數(shù)量。請(qǐng)注意，一些工作執(zhí)行了各種任務(wù)，并對(duì)具有不同模態(tài)的數(shù)據(jù)集進(jìn)行了評(píng)估。 我們?cè)诶L制這些圖時(shí)多次計(jì)算這些作品。 基于源域計(jì)算與跨域圖像傳輸相關(guān)的工作。 圖（a）和（b）中的統(tǒng)計(jì)數(shù)據(jù)基于2018年7月30日或之前公布的論文。

Figure 2.png

圖2：用于在CT圖像上合成肺結(jié)節(jié)的vanilla GAN的示意圖。 上圖顯示了網(wǎng)絡(luò)配置。 下面的部分顯示了生成器G和鑒別器D的輸入，輸出和內(nèi)部特征表示.G將樣本從變換為生成的結(jié)節(jié)。 D是二元分類器，其分別區(qū)分由和形成的肺結(jié)節(jié)的生成和真實(shí)圖像。

2. 背景

2.1. Vanilla GAN

香草GAN（Goodfellow等，2014）是一種生成模型，設(shè)計(jì)用于直接從所需的數(shù)據(jù)分布中抽取樣本，而無(wú)需明確地模擬潛在的概率密度函數(shù)。它由兩個(gè)神經(jīng)網(wǎng)絡(luò)組成：發(fā)生器G和鑒別器D.G，z的輸入是從先前分布p（z）中采樣的純隨機(jī)噪聲，通常選擇為高斯分布或均勻分布。簡(jiǎn)單。預(yù)計(jì)G，xg的輸出與從真實(shí)數(shù)據(jù)分布pr（x）中提取的實(shí)際樣本xr具有視覺相似性。我們將由θg參數(shù)化的G學(xué)習(xí)的非線性映射函數(shù)表示為xg = G（z;θg）。 D的輸入是實(shí)際或生成的樣本。 D，y1的輸出是單個(gè)值，表示輸入是真實(shí)或假冒樣本的概率。由θd參數(shù)化的D學(xué)習(xí)的映射表示為y1 = D（x;θd）。生成的樣本形成分布pg（x），其在成功訓(xùn)練后需要是pr（x）的近似值。圖2的頂部顯示了香草GAN配置的圖示。在該示例中，G生成描繪肺結(jié)節(jié)的2D CT切片。
D的目標(biāo)是區(qū)分這兩組圖像，而生成器G被訓(xùn)練以盡可能地混淆辨別器D.直觀地說，G可以被視為試圖生產(chǎn)一些優(yōu)質(zhì)假冒偽劣材料的偽造者，D可以被視為試圖檢測(cè)偽造物品的警察。在另一種觀點(diǎn)中，我們可以將G視為從D接收獎(jiǎng)勵(lì)信號(hào)，這取決于生成的數(shù)據(jù)是否準(zhǔn)確。梯度信息從D傳播回G，因此G調(diào)整其參數(shù)以產(chǎn)生可以欺騙D的輸出圖像.D和G的訓(xùn)練目標(biāo)可以用數(shù)學(xué)表達(dá)為：
{%endraw%}
可以看出，D只是具有最大對(duì)數(shù)似然目標(biāo)的二元分類器。 如果鑒別器D在下一個(gè)發(fā)生器G更新之前被訓(xùn)練為最優(yōu)，則最小化LGAN被證明等同于最小化pr（x）和pg（x）之間的Jensen-Shannon（JS）偏差（Goodfellow等人，2014））。 訓(xùn)練后的預(yù)期結(jié)果是xg形成的樣本應(yīng)該接近實(shí)際數(shù)據(jù)分布pr（x）。

2.2. Variants of GANs

上述GAN訓(xùn)練目標(biāo)被認(rèn)為是鞍點(diǎn)優(yōu)化問題（Yadav等，2018），訓(xùn)練通常通過基于梯度的方法完成。 G和D從頭開始交替訓(xùn)練，以便它們可以一起進(jìn)化。但是，G和D訓(xùn)練與JS分歧之間無(wú)法保證平衡。因此，一個(gè)網(wǎng)絡(luò)可能不可避免地比另一個(gè)網(wǎng)絡(luò)更強(qiáng)大，在大多數(shù)情況下是D.當(dāng)D變得太強(qiáng)而不是G時(shí)，生成的樣本變得太容易與實(shí)際的分離，從而達(dá)到D的梯度逼近零的階段，沒有為G的進(jìn)一步訓(xùn)練提供指導(dǎo)。由于難以產(chǎn)生有意義的高頻細(xì)節(jié)，因此在生成高分辨率圖像時(shí)更頻繁地發(fā)生這種情況。
在訓(xùn)練GAN中通常面臨的另一個(gè)問題是模式崩潰，正如名稱所示，這是由G學(xué)習(xí)的分布pg（x）關(guān)注數(shù)據(jù)分布pr（x）的一些有限模式的情況。因此，它不是產(chǎn)生不同的圖像，而是產(chǎn)生一組有限的樣本。

Figure 3.png

圖3：GAN變體的示意圖。 c表示條件向量。 在CGAN和ACGAN中，c是對(duì)類標(biāo)簽進(jìn)行編碼的離散分類代碼（例如，一個(gè)熱向量），在InfoGAN中，它也可以是對(duì)屬性進(jìn)行編碼的連續(xù)代碼。 xg通常是指生成的圖像，但也可以是SGAN中的內(nèi)部表示。

2.2.1. Varying objective of D*

為了穩(wěn)定訓(xùn)練并避免模式崩潰，已經(jīng)提出了D的不同損失，例如f-發(fā)散（f-GAN）（Nowozin等，2016），最小二乘（LS-GAN）（Mao et al。，2016），鉸鏈損失（Miyato等，2018）和Wasserstein距離（WGAN，WGAN-GP）（Arjovsky等，2017; Gulrajani等，2017）。其中，Wasserstein距離可以說是最受歡迎的指標(biāo)。作為真/假歧視方案的替代方案，Springenberg（2015）提出了一個(gè)基于熵的目標(biāo)，其中鼓勵(lì)實(shí)際數(shù)據(jù)進(jìn)行自信的類預(yù)測(cè)（CatGAN，圖3b）。在EBGAN（Zhao等人，2016）和BEGAN（Berthelot等人，2017）（圖3c）中，用于鑒別器的常用編碼器架構(gòu)被替換為自動(dòng)編碼器架構(gòu)。然后，D的目標(biāo)變?yōu)槠ヅ渥詣?dòng)編碼器丟失分布而不是數(shù)據(jù)分布。
GAN本身缺乏推斷機(jī)制，根據(jù)定義，推斷機(jī)制可以預(yù)測(cè)可能編碼輸入的潛在向量。因此，在ALI（Dumoulin等人，2016）和BiGAN（Donahue等人，2016）（圖3d）中，結(jié)合了單獨(dú)的編碼器網(wǎng)絡(luò)。然后D的目標(biāo)是分離聯(lián)合樣本（xg，zg）和（xr，zr）。在InfoGAN中（圖3e），鑒別器輸出潛在向量，該潛向向量編碼所生成圖像的部分語(yǔ)義特征。鑒別器使所生成的圖像與所生成的圖像所依賴的潛在屬性向量之間的互信息最大化。成功培訓(xùn)后，InfoGAN可以探索固有的數(shù)據(jù)屬性，并根據(jù)這些屬性執(zhí)行條件數(shù)據(jù)生成。已經(jīng)證明類標(biāo)簽的使用可以進(jìn)一步提高生成圖像的質(zhì)量，并且通過強(qiáng)制D提供類概率并使用交叉熵?fù)p失進(jìn)行優(yōu)化（例如在ACGAN中使用）（Odena等， 2016）（圖3f）。

Figure 4.png

圖4：用于圖像到圖像轉(zhuǎn)換的cGAN框架。 pix2pix需要對(duì)齊的訓(xùn)練數(shù)據(jù)，而這種約束在CycleGAN中放寬，但通常會(huì)受到性能損失的影響。 請(qǐng)注意，在（a）中，我們選擇重建損失作為目標(biāo)一致性的示例。 這種監(jiān)督與任務(wù)有關(guān)，可以采取許多其他形式。 （c）它由兩個(gè)VAEGAN組成，在VAE部分具有共享的潛在向量。

2.2.2. Varying objective of G

在香草GAN中，G將噪聲z轉(zhuǎn)換為樣本xg = G（z）。這通常通過使用解碼器網(wǎng)絡(luò)逐步增加輸出的空間大小來實(shí)現(xiàn)，直到達(dá)到所需的分辨率，如圖2所示.Larsen等人。 （2015）提出了變分自動(dòng)編碼器網(wǎng)絡(luò)（VAE）作為G的基礎(chǔ)架構(gòu)（VAEGAN，圖3g），其中它可以使用逐像素重建損失來強(qiáng)制VAE的解碼器部分生成與真實(shí)圖像匹配的結(jié)構(gòu)。
GAN的原始設(shè)置對(duì)其可以生成的數(shù)據(jù)模式?jīng)]有任何限制。然而，如果在生成期間提供輔助信息，則可以驅(qū)動(dòng)GAN以輸出具有期望屬性的圖像。在這種情況下，GAN通常被稱為條件GAN（cGAN），并且生成過程可以表示為xg = G（z，c）。
最常見的條件輸入之一c是圖像。 pix2pix是第一個(gè)基于通用GAN的圖像到圖像轉(zhuǎn)換框架，由Isola等人提出。 （2016）（圖4 a）。此外，任務(wù)相關(guān)的監(jiān)督被引入發(fā)電機(jī)。例如，用于圖像恢復(fù)的重建損失和用于分割的骰子損失（Milletari等，2016）。這種形式的監(jiān)督需要一致的訓(xùn)練對(duì)。朱等人。 （2017A）; Kim等人。 （2017）通過從頭到腳拼接兩個(gè)發(fā)生器來放松這種約束，這樣圖像可以在兩組不成對(duì)的樣本之間進(jìn)行轉(zhuǎn)換（圖4b）。為簡(jiǎn)單起見，我們?cè)诒疚牡钠溆嗖糠诌x擇了CycleGAN來表示這一想法。另一個(gè)名為UNIT的模型（圖4c）也可以通過將兩個(gè)VAEGAN組合在一起來執(zhí)行不成對(duì)的圖像到圖像變換，每個(gè)模型對(duì)一種模態(tài)負(fù)責(zé)但共享相同的潛在空間（Liu et al。，2017a）。這些圖像到圖像翻譯框架由于其普遍適用性而在醫(yī)學(xué)成像領(lǐng)域中非常流行。
除了圖像，條件輸入可以是類標(biāo)簽（CGAN，圖3h）（Mirza和Osindero，2014），文本描述（Zhang et al。，2017a），對(duì)象位置（Reed等，2016a） ，b），周圍的圖像背景（Pathak等，2016），或草圖（Sangkloy等，2016）。請(qǐng)注意，上一節(jié)中提到的ACGAN也有一個(gè)類條件生成器。

2.2.3. Varying architecture

完全連接的層用作香草GAN中的構(gòu)建塊，但后來被DCGAN中的完全卷積下采樣/上采樣層取代（Radford等，2015）。 DCGAN表現(xiàn)出更好的訓(xùn)練穩(wěn)定性，因此迅速填補(bǔ)了文獻(xiàn)。如圖2所示，DCGAN架構(gòu)中的發(fā)生器通過連續(xù)的上采樣操作對(duì)隨機(jī)輸入噪聲矢量進(jìn)行處理，最終生成一個(gè)圖像。其重要的成分中的兩個(gè)是BatchNorm（約費(fèi)和Szegedy，2015）用于調(diào)節(jié)EX-牙牙特征尺度，和LeakyRelu（馬斯等人，2013），用于預(yù)排放死梯度。最近，Miyato等人。 （2018）提出了光譜歸一化層，其在鑒別器中對(duì)權(quán)重進(jìn)行歸一化以調(diào)節(jié)特征響應(yīng)值的規(guī)模。與訓(xùn)練穩(wěn)定性提高，一些作品也摻入剩余的連接到這兩個(gè)屬，Tor和鑒別器和與深得多的NET-作品試驗(yàn)（Gulrajani等人，2017年;宮戶等人，2018）。 Miyato和Koyama（2018）的工作提出了一種基于投影的方法來結(jié)合條件信息而不是直接連接，并發(fā)現(xiàn)它有利于提高生成圖像的質(zhì)量。
從噪聲矢量中直接生成高分辨率圖像很難，因此一些工作已經(jīng)提出以漸進(jìn)方式處理它。在LAPGAN（圖3i）中，Denton等人。 （2015）提出了一堆GAN，每個(gè)GAN將更高頻率的細(xì)節(jié)添加到生成的圖像中。在SGAN，甘斯的CAS-杜松也用于但每個(gè)GAN產(chǎn)生越來越低的級(jí)表示（Huang等人，2017），其與從區(qū)別地訓(xùn)練模型中提取的分層表示進(jìn)行比較?？ɡ沟热恕?（2017）采用了另一種方式，通過向它們添加新層來逐步增長(zhǎng)發(fā)生器和鑒別器，而不是在前一個(gè)GAN之上堆疊另一個(gè)GAN（PGGAN）。在條件設(shè)定中也探索了這種進(jìn)步的想法（Wang等，2017b）。
最具代表性的GAN的示意圖如圖3所示。它們是GAN，CatGAN，EBGAN / BEGAN，ALI / BiGAN，InfoGAN，ACGAN，VAEGAN，CGAN，LAPGAN，SGAN。三個(gè)流行的圖像到圖像轉(zhuǎn)換cGAN（pix2pix，CycleGAN和UNIT）如圖4所示。為了對(duì)這些不同的GAN變體進(jìn)行更深入的回顧和實(shí)證評(píng)估，我們引用了讀者（Huang et al。 ，2018; Creswell等，2018; Kurach等，2018）。

3. 在醫(yī)學(xué)成像中的應(yīng)用

GAN通常有兩種用于醫(yī)學(xué)成像的方法。 第一個(gè)側(cè)重于生成方面，它可以幫助探索和發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)的基礎(chǔ)結(jié)構(gòu)和學(xué)習(xí)生成新圖像。 這個(gè)屬性使GAN在應(yīng)對(duì)數(shù)據(jù)稀缺性和患者隱私方面非常有前途。 第二個(gè)側(cè)重于辨別方面，其中鑒別器D可以被視為正常圖像的學(xué)習(xí)先驗(yàn)，使得當(dāng)呈現(xiàn)異常圖像時(shí)它可以用作正則化器或檢測(cè)器。 圖5提供了GAN相關(guān)應(yīng)用的示例，示例（a），（b），（c），（d），（e），（f）側(cè)重于生成方面和示例（g）利用 歧視方面。

Figure 5.png

圖5：使用GAN的示例應(yīng)用程序。數(shù)字直接從相應(yīng)的紙張中裁剪。 （a）左側(cè)顯示噪聲污染的低劑量CT，右側(cè)顯示去噪的CT，其很好地保留了肝臟中的低對(duì)比度區(qū)域（Yi和Babyn，2018）。 （b）左側(cè)顯示MR圖像，右側(cè)顯示合成的相應(yīng)CT。在所生成的CT圖像中很好地描繪了骨結(jié)構(gòu)（Wolterink等，2017a）。 （c）生成的視網(wǎng)膜眼底圖像具有左側(cè)血管圖中描繪的精確血管結(jié)構(gòu)（Costa等，2017b）。 （d）隨機(jī)噪聲（惡性和良性混合物）隨機(jī)產(chǎn)生的皮膚病變（Yi et al。，2018）。 （e）成人胸部X射線的器官（肺和心臟）分割實(shí)例。肺和心臟的形狀受到對(duì)抗性損失的調(diào)節(jié)（Dai等，2017b）。 （f）第三列顯示了SWI序列中的域適應(yīng)腦損傷分割結(jié)果，未經(jīng)相應(yīng)的手動(dòng)注釋訓(xùn)練（Kamnitsas等，2017）。 （g）視網(wǎng)膜光學(xué)相干斷層掃描圖像的異常檢測(cè)（Schlegl等，2017）。

3.1. Reconstruction

由于臨床設(shè)置的限制，例如輻射劑量和患者舒適度，所獲取的醫(yī)學(xué)圖像的診斷質(zhì)量可能受到噪聲和偽影的限制。在過去的十年中，我們已經(jīng)看到了重建方法的范式轉(zhuǎn)變，從分析到迭代，現(xiàn)在轉(zhuǎn)向基于機(jī)器學(xué)習(xí)的方法。這些基于數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)的方法要么學(xué)會(huì)將原始感官輸入直接傳輸?shù)捷敵鰣D像，要么作為后處理步驟來減少圖像噪聲和消除偽像。本節(jié)中回顧的大多數(shù)方法都是直接從計(jì)算機(jī)視覺文獻(xiàn)中借鑒的，這些文獻(xiàn)將后處理作為圖像到圖像的翻譯問題，其中cGAN的條件輸入以某些形式受到損害，例如低空間分辨率，噪聲污染，欠采樣或混疊。一個(gè)例外是MR圖像，其中傅立葉變換用于將原始K空間數(shù)據(jù)合并到重建中。
基本pix2pix框架已用于低劑量CT去噪（Wolterink等，2017b），MR重建（Chen等，2018b; Kim等，2018; Dar等，2018b; Shitrit和Raviv，2017 ）和PET去噪（Wang等，2018b）。預(yù)先訓(xùn)練的VGG網(wǎng)（Simonyan和Zisserman，2014）進(jìn)一步納入優(yōu)化框架，以確保感知相似性（Yang等，2017b; Yu等，2017; Yang等，2018a; Armanious et al。，2018; Mahapatra，2017）。 Yi和Babyn（2018）介紹了一種預(yù)訓(xùn)練銳度檢測(cè)網(wǎng)絡(luò)，明確約束去噪CT的清晰度，特別是低對(duì)比度區(qū)域。 Mahapatra（2017）計(jì)算了一個(gè)局部顯著圖，以突出視網(wǎng)膜眼底成像超分辨率過程中的血管。 Liao等人研究了類似的想法。 （2018）稀疏視圖CT重建。他們計(jì)算焦點(diǎn)圖以調(diào)整重建輸出，以確保網(wǎng)絡(luò)集中在重要區(qū)域。除了確保圖像域數(shù)據(jù)保真度之外，當(dāng)在MR重建中可獲得原始K空間數(shù)據(jù)時(shí)，也施加頻域數(shù)據(jù)保真度（Quan等，2018; Mardani等，2017; Yang等，2018a）。
其他類型的損失已被用于突出重建中的局部圖像結(jié)構(gòu)，例如基于其感知相關(guān)性重新衡量每個(gè)像素的重要性的顯著性損失（Mahapatra，2017）以及PET去噪中的樣式內(nèi)容損失（ Armanious等，2018）。在運(yùn)動(dòng)器官的圖像重建中，很難獲得成對(duì)的訓(xùn)練樣本。因此，Rav`?等人。 （2018）提出了一種基于物理采集的損失來調(diào)節(jié)生成的用于內(nèi)鏡超分辨率的圖像結(jié)構(gòu)和Kang等人。 （2018）提出在心臟CT的去噪中使用CycleGAN以及身份損失。 Wolterink等人。 （2017b）發(fā)現(xiàn)，在低劑量CT去噪中，當(dāng)從pix2pix幀中去除圖像域保真度損失時(shí)，仍然可以獲得有意義的結(jié)果，但是可以改變局部圖像結(jié)構(gòu)。表1總結(jié)了與醫(yī)學(xué)圖像重建相關(guān)的論文。

可以注意到，對(duì)于所有重建任務(wù)，基礎(chǔ)方法幾乎相同。 MR是特殊情況，因?yàn)樗哂忻鞔_定義的前向和后向操作，即傅立葉變換，因此可以結(jié)合原始K空間數(shù)據(jù)?？梢詰?yīng)用相同的方法將正弦圖數(shù)據(jù)合并到CT重建過程中，但是我們還沒有看到任何使用這個(gè)想法的研究，可能是因?yàn)檎覉D數(shù)據(jù)很難獲得。使用的數(shù)據(jù)越多，原始K空間或來自其他序列的圖像，重建結(jié)果越好。一般而言，使用對(duì)抗性損失產(chǎn)生的視覺吸引力比單獨(dú)使用像素化重建損失更具吸引力。但是使用對(duì)抗性損失來匹配生成的和實(shí)際的數(shù)據(jù)分布可能會(huì)使模型隱藏不可見的結(jié)構(gòu)。如果配對(duì)樣本可用，像素重建丟失有助于解決這個(gè)問題，并且如果模型是在所有健康圖像上訓(xùn)練但是用于重建具有病理的圖像，則由于域不匹配，幻覺問題仍然存在。科恩等人。 （2018）進(jìn)行了廣泛的實(shí)驗(yàn)來研究這個(gè)問題，并建議重建圖像不應(yīng)該用于放射科醫(yī)師的直接診斷，除非模型已經(jīng)過適當(dāng)?shù)尿?yàn)證。

然而，即使數(shù)據(jù)集經(jīng)過精心策劃以匹配培訓(xùn)和測(cè)試分布，還有其他問題可以進(jìn)一步提升性能。 我們已經(jīng)看到pix2pix框架引入了各種不同的損耗，如表2所示，以提高本地結(jié)構(gòu)的重建保真度。 然而，除了依賴人類觀察者或下游圖像分析任務(wù)之外，沒有可靠的方法來比較它們的有效性。 人類觀察者目前缺乏基于GAN的重建方法的大規(guī)模統(tǒng)計(jì)分析。 此外，用于圖像重建的公共數(shù)據(jù)集不適用于進(jìn)一步的醫(yī)學(xué)圖像分析，這在上游重建和下游分析任務(wù)之間留下了空白。 應(yīng)創(chuàng)建新的參考標(biāo)準(zhǔn)數(shù)據(jù)集，以便更好地比較這些基于GAN的方法。

3.2. Medical Image Synthesis

根據(jù)機(jī)構(gòu)協(xié)議，如果診斷圖像旨在用于出版物或發(fā)布到公共領(lǐng)域，則可能需要患者同意（Clinical Pracice Committee，2000）。醫(yī)學(xué)圖像合成是GAN最重要的用途之一，因?yàn)榕c診斷醫(yī)學(xué)圖像數(shù)據(jù)相關(guān)的隱私問題以及每種病理學(xué)的陽(yáng)性病例數(shù)量通常不足。缺乏醫(yī)學(xué)圖像的專家對(duì)于采用監(jiān)督培訓(xùn)方法提出了另一個(gè)挑戰(zhàn)。盡管多個(gè)醫(yī)療保健機(jī)構(gòu)正在進(jìn)行協(xié)作，目的是建立一個(gè)大型的開放式訪問數(shù)據(jù)集，例如：生物銀行，國(guó)家生物醫(yī)學(xué)影像檔案館（NBIA），癌癥影像檔案館（TCIA）和北美放射學(xué)家協(xié)會(huì)（RSNA），這個(gè)問題仍然存在并限制了研究人員可能獲得的圖像數(shù)量。
增加訓(xùn)練樣本的傳統(tǒng)方法包括縮放，旋轉(zhuǎn)，翻轉(zhuǎn)，平移和彈性變形（Simard等，2003）。然而，這些變換不能解釋由不同成像方案或序列引起的變化，更不用說特定病理學(xué)的大小，形狀，位置和外觀的變化。 GAN提供了更通用的解決方案，并且已經(jīng)在許多工作中用于增強(qiáng)具有有希望的結(jié)果的訓(xùn)練圖像。

3.2.1. Unconditional Synthesis

無(wú)條件合成是指從隨機(jī)噪聲生成圖像而沒有任何其他條件信息。醫(yī)學(xué)成像領(lǐng)域通常采用的技術(shù)包括DCGAN，WGAN和PGGAN，因?yàn)樗鼈兙哂辛己玫挠?xùn)練穩(wěn)定性。前兩種方法可以處理高達(dá)256×256的圖像分辨率，但如果需要更高分辨率的圖像，PGGAN中提出的漸進(jìn)技術(shù)是一種選擇。只要圖像之間的圖像變化不太大，例如肺結(jié)節(jié)和肝臟病變，就可以通過直接使用作者發(fā)布的代碼庫(kù)生成逼真的圖像。為了使生成的圖像對(duì)下游任務(wù)有用，大多數(shù)研究為每個(gè)單獨(dú)的班級(jí)訓(xùn)練了一個(gè)單獨(dú)的發(fā)生器;例如，F(xiàn)rid-Adar等人。 （2018）使用三種DCGAN產(chǎn)生三類肝臟病變（囊腫，轉(zhuǎn)移瘤和血管瘤）的合成樣本;發(fā)現(xiàn)生成的樣本對(duì)于病變分類任務(wù)是有益的，當(dāng)與實(shí)際訓(xùn)練數(shù)據(jù)相結(jié)合時(shí)，其靈敏度和特異性均得到提高。 Bermudez等人。 （2018）聲稱神經(jīng)放射學(xué)家發(fā)現(xiàn)生成的MR圖像質(zhì)量與真實(shí)圖像質(zhì)量相當(dāng)，但解剖學(xué)準(zhǔn)確性存在差異。表4總結(jié)了與無(wú)條件醫(yī)學(xué)圖像合成相關(guān)的論文。

3.2.2. Cross modality synthesis

由于多種原因，交叉模態(tài)合成（例如基于MR圖像生成類似CT的圖像）被認(rèn)為是有用的，其中之一是減少額外的采集時(shí)間和成本。另一個(gè)原因是生成新的訓(xùn)練樣本，其外觀受到可用模態(tài)中描繪的解剖結(jié)構(gòu)的約束。本節(jié)中回顧的大多數(shù)方法與3.1節(jié)中的方法有許多相似之處?；趐ix2pix的框架用于可以共同注冊(cè)不同圖像模態(tài)數(shù)據(jù)以確保數(shù)據(jù)保真度的情況?；贑ycleGAN的框架用于處理注冊(cè)具有挑戰(zhàn)性的更一般情況，例如在汽車應(yīng)用中。在Wolterink等人的一項(xiàng)研究中。 （2017a）從MR圖像合成腦CT圖像，作者發(fā)現(xiàn)使用不成對(duì)圖像的訓(xùn)練甚至比使用對(duì)齊圖像更好。這很可能是因?yàn)閯傂耘錅?zhǔn)不能很好地處理咽喉，口腔，椎骨和鼻腔的局部對(duì)齊。 Hiasa等。 （2018）在訓(xùn)練中進(jìn)一步引入梯度一致性損失以提高邊界處的準(zhǔn)確性。張等人。 （2018c）發(fā)現(xiàn)在交叉模態(tài)合成中僅使用循環(huán)損失不足以減輕變換中的幾何失真。因此，他們采用了從兩個(gè)分段器（分段網(wǎng)絡(luò)）獲得的形狀一致性損失。每個(gè)分段或?qū)⑾鄳?yīng)的圖像模態(tài)分割成語(yǔ)義標(biāo)簽，并在翻譯期間提供對(duì)解剖結(jié)構(gòu)的隱式形狀約束。為了使整個(gè)系統(tǒng)端到端可訓(xùn)練，需要從兩種模態(tài)中獲得訓(xùn)練圖像的語(yǔ)義標(biāo)簽。張等人。 （2018b）和陳等人。 （2018a）提出在僅使用一種模態(tài)的標(biāo)簽的循環(huán)轉(zhuǎn)移中也使用分段器。因此，在圖像傳輸網(wǎng)絡(luò)的訓(xùn)練期間離線訓(xùn)練分段器并固定。如第2節(jié)所述，UNIT和CycleGAN是兩個(gè)同等有效的非配對(duì)交叉模態(tài)綜合框架。結(jié)果發(fā)現(xiàn)，這兩個(gè)框架幾乎同樣適用于T1和T2加權(quán)MR圖像之間的轉(zhuǎn)換（Welander等，2018）。與交叉模態(tài)醫(yī)學(xué)圖像合成相關(guān)的論文總結(jié)在表5中。

3.2.3. Other conditional synthesis

醫(yī)學(xué)圖像可以通過對(duì)分割圖，文本，位置或合成圖像等的約束來生成。這對(duì)于在非常見條件下合成圖像非常有用，例如肺結(jié)節(jié)接觸肺部邊界（Jin等，2018b）。 此外，條件分割圖也可以從GAN（Guibas等，2017）或從預(yù)訓(xùn)練的分割網(wǎng)絡(luò)（Costa等，2017a）生成，通過使該生成為兩階段過程。 Mok和Chung（2018）使用cGAN來增強(qiáng)用于腦腫瘤分割的訓(xùn)練圖像。 生成器以分割圖為條件，并以粗略到精細(xì)的方式生成腦MR圖像。 為了確保在生成的圖像中用清晰的邊界很好地描繪腫瘤，它們進(jìn)一步迫使發(fā)生器在生成過程中輸出腫瘤邊界。 表6總結(jié)了綜合工作的完整清單。

3.3. Segmentation

通常，研究人員使用像素方式或體素方式的損失（例如交叉熵）進(jìn)行分割。盡管U-net（Ronneberger等，2015）用于結(jié)合低級(jí)和高級(jí)特征，但無(wú)法保證最終分割圖中的空間一致性。傳統(tǒng)上，通過結(jié)合空間相關(guān)性，通常采用條件隨機(jī)場(chǎng)（CRF）和圖切割方法進(jìn)行分割細(xì)化。它們的局限性在于它們只考慮成對(duì)電位，這可能會(huì)導(dǎo)致低對(duì)比度區(qū)域出現(xiàn)嚴(yán)重的邊界泄漏。另一方面，鑒別器引入的對(duì)抗性損失可以考慮高階電位（Yang et al。，2017a）。在這種情況下，鑒別器可以被視為形狀調(diào)節(jié)器。這種調(diào)節(jié)效應(yīng)也可以應(yīng)用于分離器的內(nèi)部特征，以實(shí)現(xiàn)域（不同掃描儀，成像協(xié)議，模態(tài)）不變性（Kamnitsas等，2017; Dou等，2018）。
薛等人。 （2018）在判別器中使用了多尺度L1損耗，其中來自不同深度的特征被比較。這證明在分段圖上實(shí)施多尺度空間約束是有效的，并且該系統(tǒng)在BRATS 13和15挑戰(zhàn)中實(shí)現(xiàn)了最先進(jìn)的性能。張等人。 （2017c）建議在分割流水線中使用帶注釋和未注釋的圖像。注釋圖像的使用方式與（Xue et al。，2018; Son et al。，2017）相同，其中應(yīng)用了元素?fù)p失和經(jīng)濟(jì)損失。另一方面，未注釋的圖像僅用于計(jì)算分割圖以混淆鑒別器。 Li和Shen（2018）將pix2pix與ACGAN結(jié)合用于分割不同細(xì)胞類型的熒光顯微鏡圖像。他們發(fā)現(xiàn)輔助分類器分支的引入為判別器和分段器提供了調(diào)節(jié)。
與上述分段工作不同，其中使用經(jīng)驗(yàn)訓(xùn)練來確保最終分割圖上的更高階結(jié)構(gòu)一致性，（Zhu等，2017b）中的對(duì)抗訓(xùn)練方案強(qiáng)制網(wǎng)絡(luò)不變性對(duì)訓(xùn)練樣本的小擾動(dòng)。為了減少小數(shù)據(jù)集的過度擬合。表8總結(jié)了與醫(yī)學(xué)圖像分割相關(guān)的論文。

3.4. Classification

胡等人。 （2017a）在組織病理學(xué)圖像中使用組合的WGAN和InfoGAN進(jìn)行無(wú)監(jiān)督的細(xì)胞水平特征表示學(xué)習(xí)，而Yi等人。 （2018）將WGAN和CatGAN組合用于皮膚鏡檢查圖像的無(wú)監(jiān)督和半監(jiān)督特征表示學(xué)習(xí)。兩個(gè)作品都從鑒別器中提取特征，并在頂部構(gòu)建分類器。 Madani等人。 （2018b）和Lahiri等。 （2017）分別采用DCGAN的半監(jiān)督訓(xùn)練方案進(jìn)行胸部異常分類和視網(wǎng)膜血管分類。他們發(fā)現(xiàn)，半監(jiān)督的DCGAN可以實(shí)現(xiàn)與傳統(tǒng)監(jiān)督的CNN相當(dāng)?shù)男阅?，其中?biāo)記數(shù)據(jù)的數(shù)量級(jí)更少。此外，Madani等人。 （2018b）還表明，通過簡(jiǎn)單地向鑒別器提供未標(biāo)記的測(cè)試域圖像，平面損失可以減少域過度擬合。
大多數(shù)使用GAN生成新訓(xùn)練樣本的其他作品已在第3.2.1節(jié)中提及。這些研究應(yīng)用了兩個(gè)階段的過程，第一階段學(xué)習(xí)增強(qiáng)圖像，第二階段學(xué)習(xí)通過采用傳統(tǒng)的分類網(wǎng)絡(luò)進(jìn)行分類。這兩個(gè)階段是脫節(jié)訓(xùn)練的，兩者之間沒有任何溝通。優(yōu)點(diǎn)是，如果提出更先進(jìn)的無(wú)條件綜合架構(gòu)，這兩個(gè)組件可以輕松更換，而下端則必須分別對(duì)每個(gè)類進(jìn)行生成（N類N個(gè)模型），這不是內(nèi)存并且計(jì)算效率高。能夠執(zhí)行多個(gè)類別的條件合成的單個(gè)模型是積極的研究方向（Brock等，2018）。令人驚訝的是，F(xiàn)rid-Adar等人。 （2018）發(fā)現(xiàn)，對(duì)于每個(gè)病變類別使用單獨(dú)的GAN（DCGAN）導(dǎo)致病變分類的性能比對(duì)所有類別使用統(tǒng)一的GAN（ACGAN）更好。潛在的原因還有待探索。此外，（Fin- layson等，2018）認(rèn)為，從GAN產(chǎn)生的圖像可以作為中等數(shù)據(jù)體系中的有效增強(qiáng)，但在高或低數(shù)據(jù)體系中可能沒有幫助。

3.5. Detection

Schlegl等人。 （2017）使用GAN來學(xué)習(xí)一系列正常的解剖變異性，并提出了一種新的異常評(píng)分方案，該方案基于測(cè)試圖像潛在代碼對(duì)學(xué)習(xí)流形的適應(yīng)性。學(xué)習(xí)過程以無(wú)人監(jiān)督的方式進(jìn)行，并通過最佳的異常檢測(cè)在光學(xué)相干斷層掃描（OCT）圖像上的表現(xiàn)來證明其有效性。 Alex等人。 （2017）使用GAN對(duì)MR圖像進(jìn)行腦損傷檢測(cè)。發(fā)生器用于模擬正常貼片的分布，并且訓(xùn)練的鑒別器用于計(jì)算以測(cè)試圖像中的每個(gè)像素為中心的貼片的后驗(yàn)概率。 Chen和Konukoglu（2018）使用對(duì)抗性自動(dòng)編碼器來學(xué)習(xí)健康腦MR圖像的數(shù)據(jù)分布。然后通過探索學(xué)習(xí)的潛在空間將病變圖像映射到?jīng)]有病變的圖像，并且可以通過計(jì)算這兩個(gè)圖像的殘差來突出病變。我們可以看到所有檢測(cè)研究都針對(duì)難以枚舉的異常。
在圖像重建部分中，已經(jīng)觀察到如果目標(biāo)分布是由沒有病理學(xué)的醫(yī)學(xué)圖像形成的，則由于分布匹配效應(yīng)，可以在基于CycleGAN的非配對(duì)圖像轉(zhuǎn)移中去除圖像內(nèi)的病變。然而，在這里可以看出，如果目標(biāo)和源域具有相同的成像模態(tài)，僅在正常和異常組織方面不同，則這種不良效應(yīng)實(shí)際上可以用于異常檢測(cè)。

3.6. Registration

cGAN還可用于多模態(tài)或單模式圖像配準(zhǔn)。在這種情況下，生成器將生成變換參數(shù)，例如， 6用于3D剛性變換，12用于3D仿射變換，或變換后的圖像。然后，鑒別器從未對(duì)準(zhǔn)的圖像對(duì)中區(qū)分對(duì)齊的圖像對(duì)?？臻g轉(zhuǎn)換網(wǎng)絡(luò)（Jaderberg等，2015）通常插在這兩個(gè)網(wǎng)絡(luò)之間，以實(shí)現(xiàn)端到端的培訓(xùn)。嚴(yán)等人。 （2018b）使用該框架對(duì)前列腺M(fèi)R進(jìn)行經(jīng)直腸超聲（TRUS）圖像配準(zhǔn)。配對(duì)的培訓(xùn)數(shù)據(jù)是通過專家手動(dòng)注冊(cè)獲得的。 （Mahapatra等，2018）使用CycleGAN進(jìn)行多模態(tài)（視網(wǎng)膜）和單模（MR）可變形配準(zhǔn)，其中發(fā)生器產(chǎn)生變換圖像和變形場(chǎng)。 Tanner等。 （2018）通過首先將源域圖像變換到目標(biāo)域然后采用單模態(tài)圖像相似性度量來進(jìn)行配準(zhǔn)，采用CycleGAN用于MR和CT之間的可變形圖像配準(zhǔn)。他們發(fā)現(xiàn)這種方法最多只能達(dá)到與傳統(tǒng)的多模態(tài)可變形配準(zhǔn)方法相似的性能。

3.7. Other works

cGAN已被用于基于單個(gè)術(shù)前圖像對(duì)患者特定運(yùn)動(dòng)分布進(jìn)行建模（Hu等，2017c）; 突出顯示對(duì)疾病最負(fù)責(zé)的區(qū)域（Baumgartner等，2017）和內(nèi)窺鏡視頻數(shù)據(jù)的重新著色（Ross等，2018）。 在（Mahmood等，2018）中，pix2pix用于放射治療中的治療計(jì)劃，通過預(yù)測(cè)CT圖像的劑量分布圖。

4. 討論

可在我們的GitHub存儲(chǔ)庫(kù)中找到已審閱論文的完整列表。在2017年和2018年，GAN相關(guān)論文的數(shù)量顯著增加。這些論文中約有50％研究圖像合成，交叉模態(tài)圖像合成是GAN最重要的應(yīng)用。 MR被列為GAN相關(guān)文獻(xiàn)中探索的最常見的成像模式。我們認(rèn)為應(yīng)用GAN進(jìn)行MR圖像分析的部分原因是由于常規(guī)獲取多個(gè)序列以提供補(bǔ)充信息。由于獲取每個(gè)序列需要大量的采集時(shí)間，如果可以減少采集序列的數(shù)量，GAN有可能減少M(fèi)R采集時(shí)間。由于圖像到圖像轉(zhuǎn)換框架的普及，這些研究中的另外35％屬于分割和重建組。在這些情況下的平行訓(xùn)練對(duì)發(fā)電機(jī)的輸出施加了強(qiáng)大的形狀和紋理調(diào)節(jié)，這使得它在這兩項(xiàng)任務(wù)中非常有前途。這些研究中只有6％用于分類，最有效的用例是對(duì)抗域轉(zhuǎn)移。檢測(cè)和注冊(cè)的研究數(shù)量非常有限，很難得出任何結(jié)論。
對(duì)于那些使用GAN進(jìn)行分類數(shù)據(jù)增強(qiáng)的研究，大多數(shù)都專注于生成易于對(duì)齊的微小物體，如結(jié)節(jié)，病變和細(xì)胞。我們認(rèn)為部分原因是這些圖像的內(nèi)容變化相對(duì)于完整的上下文圖像相對(duì)較小，這使得當(dāng)前技術(shù)的訓(xùn)練更加穩(wěn)定。另一個(gè)原因可能與研究的計(jì)算預(yù)算有關(guān)，因?yàn)楦叻直媛蕡D像的訓(xùn)練需要大量的GPU時(shí)間。盡管有研究將GAN應(yīng)用于合成整個(gè)胸部X射線（Madani等，2018a，b），但有效性僅在相當(dāng)容易的任務(wù)中顯示，例如心臟異常分類和中等大小的數(shù)據(jù)方案，例如幾千張圖片。隨著大量標(biāo)記數(shù)據(jù)集的出現(xiàn)，例如CheXpert（Irvin等，2019），GAN的潛力將在于合成非常見的病理病例，最有可能通過條件生成來?xiàng)l件信息由醫(yī)學(xué)專家。
不同的成像模式通過利用組織對(duì)某些物理介質(zhì)（例如X射線或磁場(chǎng)）的響應(yīng)而起作用，因此可以彼此提供互補(bǔ)的診斷信息。作為監(jiān)督深度學(xué)習(xí)的常見實(shí)踐，標(biāo)記一種模態(tài)類型的圖像以訓(xùn)練網(wǎng)絡(luò)以完成期望的任務(wù)。即使基礎(chǔ)解剖結(jié)構(gòu)相同，當(dāng)切換模態(tài)時(shí)也重復(fù)該過程，導(dǎo)致人力的浪費(fèi)。對(duì)數(shù)訓(xùn)練，或更具體地說是不成對(duì)的交叉模態(tài)翻譯，可以在所有模態(tài)中重復(fù)使用標(biāo)簽，并為無(wú)監(jiān)督轉(zhuǎn)移學(xué)習(xí)開辟了新途徑（Dou et al。，2018）。

4.1. Future challenges

在圖像重建和交叉模態(tài)圖像合成中，大多數(shù)工作仍然采用傳統(tǒng)的淺參考指標(biāo)，如MAE，PSNR或SSIM進(jìn)行定量評(píng)估。但是，這些測(cè)量不符合圖像的視覺質(zhì)量。即使像素方式丟失的直接優(yōu)化產(chǎn)生次優(yōu)（模糊）結(jié)果，但它為這些測(cè)量提供的數(shù)字高于使用對(duì)抗性損失。在基于GAN的工程的水平比較中解釋這些數(shù)字變得越來越困難，特別是當(dāng)結(jié)合表2所示的外部損失時(shí)。緩解此問題的一種方法是使用下游任務(wù)（例如分段或分類）來驗(yàn)證生成樣本的質(zhì)量。另一種方法是招募領(lǐng)域?qū)＜遥@種方法昂貴，耗時(shí)且難以擴(kuò)展。最近，張等人。 （2018a）提出了學(xué)習(xí)的感知圖像路徑相似性（LPIPS），其優(yōu)于先前的度量。 MedGAN（Armanious等，2018）已經(jīng)采用它來評(píng)估生成的圖像質(zhì)量，但是與經(jīng)驗(yàn)豐富的人類觀察者的主觀測(cè)量相比，看到它對(duì)不同類型的醫(yī)學(xué)圖像的有效性是有意義的。廣泛的研究。對(duì)于自然圖像，無(wú)條件生成的樣本質(zhì)量和多樣性通常通過初始評(píng)分（Salimans等，2016），隨機(jī)選擇的合成樣本對(duì)中的平均MS-SSIM度量來衡量（Odena等，2016），或Fre chet Inception distance（FID）（Heusel et al。，2017）。這些醫(yī)學(xué)圖像指標(biāo)的有效性仍有待探索。
除了GAN的許多積極效用之外，現(xiàn)有的文獻(xiàn)也突出了它們?cè)卺t(yī)學(xué)成像方面的缺點(diǎn)。雖然跨域圖像到圖像轉(zhuǎn)換在醫(yī)學(xué)成像中提供了許多GAN的預(yù)期應(yīng)用，但Cohen等人。 （2018）警告不要使用生成的圖像進(jìn)行解釋。他們觀察到，由于匹配目標(biāo)域的數(shù)據(jù)分布（從訓(xùn)練數(shù)據(jù)中獲?。?，并且可能與測(cè)試數(shù)據(jù)分布完全不同，因此CycleGAN網(wǎng)絡(luò)（對(duì)于非配對(duì)數(shù)據(jù)）可能會(huì)受到偏差。當(dāng)目標(biāo)域中提供的數(shù)據(jù)具有某些類的過高或過低表示時(shí)，作者還觀察到條件GAN（對(duì)于配對(duì)數(shù)據(jù)）的偏差。最近的另一項(xiàng)工作（Mirsky等，2019）證明了使用3D條件GAN對(duì)3D醫(yī)學(xué)成像進(jìn)行嚴(yán)重篡改的可能性。

4.2. Interesting future applications

與其他深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型類似，本文中演示的各種GAN應(yīng)用直接關(guān)系到改善放射學(xué)工作流程和患者護(hù)理。然而，GAN的優(yōu)勢(shì)在于他們以無(wú)人監(jiān)督和/或弱監(jiān)督的方式學(xué)習(xí)的能力。特別是，我們認(rèn)為由cGAN實(shí)現(xiàn)的圖像到圖像的轉(zhuǎn)換可以在醫(yī)學(xué)成像中具有各種其他有用的應(yīng)用。例如，恢復(fù)使用某些偽影（例如運(yùn)動(dòng)）獲取的MR圖像，尤其是在兒科設(shè)置中，可能有助于減少重復(fù)檢查的次數(shù);檢測(cè)植入裝置，例如， X射線上的釘，線，管，起搏器和人工瓣膜。
探索用于圖像字幕任務(wù)的GAN（Dai等人，2017a; Shetty等人，2017; Melnyk等人，2018; Fedus等人，2018）可能導(dǎo)致半自動(dòng)生成醫(yī)學(xué)成像報(bào)告（Jing等人。，2017）可能會(huì)縮短圖像報(bào)告時(shí)間。對(duì)抗性文本分類的成功（Liu et al。，2017b）也提示了GAN在從自由文本臨床適應(yīng)癥中提高自動(dòng)MR協(xié)議生成等系統(tǒng)的性能方面的潛在用途（Sohn等，2017）。自動(dòng)化系統(tǒng)可以改善MRI等待時(shí)間
正在崛起（CIHI，2017）以及加強(qiáng)患者護(hù)理。 cGAN，特別是CycleGAN應(yīng)用，例如卸妝（Chang et al。，2018），可以擴(kuò)展到醫(yī)療成像應(yīng)用
通過去除諸如石膏之類的偽像來改善骨骼X射線圖像，以便于增強(qiáng)觀察效果。這可能有助于放射科醫(yī)師評(píng)估細(xì)骨特征，可能有助于更好地檢測(cè)最初隱匿性骨折，并有助于更有效地評(píng)估骨愈合的進(jìn)展。 GAN在無(wú)監(jiān)督異常檢測(cè)中的成功（Schlegl等，2017）可以幫助實(shí)現(xiàn)以無(wú)人監(jiān)督的方式檢測(cè)各種模態(tài)的醫(yī)學(xué)圖像中的異常的任務(wù)。這種算法可用于確定放射科醫(yī)師工作清單的優(yōu)先順序，從而縮短報(bào)告臨界發(fā)現(xiàn)的周轉(zhuǎn)時(shí)間（Gal Yaniv，2018）。我們還期望通過文本描述（Bodnar，2018）見證GAN在醫(yī)學(xué)圖像合成中的實(shí)用性，特別是對(duì)于罕見病例，以填補(bǔ)用于醫(yī)學(xué)圖像分類任務(wù)的訓(xùn)練監(jiān)督神經(jīng)網(wǎng)絡(luò)所需的訓(xùn)練樣本的差距。 。
最后，我們想指出的是，盡管文獻(xiàn)中報(bào)道了許多有希望的結(jié)果，但在醫(yī)學(xué)成像中采用GAN仍處于起步階段，目前尚無(wú)臨床應(yīng)用于基于GAN的方法的突破性應(yīng)用。