一、四大醫(yī)學(xué)成像【medical imaging technology】

1、X射線成像技術(shù)

2、CT成像技術(shù)

3、磁共振成像(MRI)技術(shù)

4、超聲成像技術(shù)(Ultrasound)

二、CT射線成像中的深度學(xué)習(xí)?

（一）低劑量->后處理高劑量

1、GAN

《Low Dose CT Image Denoising Using a Generative Adversarial Network with Wasserstein Distan》...TMI2018

（1）、結(jié)構(gòu)：

整體結(jié)構(gòu)就如上圖所示，part1生成器部分8個卷積層的CNN用于進行CT圖像的重建；part2感知損失結(jié)構(gòu)用預(yù)訓(xùn)練好的VGG-19將生成器生成的圖像G(z)和ground truth（x）喂到VGG里用于特征提取，然后根據(jù)上式更新生成器的權(quán)重；part3判別器網(wǎng)絡(luò)，結(jié)構(gòu)如下圖所示，6個卷積層，3*3的卷積核，最后一層沒有sigmod。

（2）、LOSS

普通計算Loss方式和gan的loss計算方式一起訓(xùn)練

不同loss影像訓(xùn)練效果

（3）、數(shù)據(jù)：

在4k張CT中隨機抽取100096對patch，

2、編碼-解碼結(jié)構(gòu)

Low-Dose CT with a Residual Encoder-Decoder Convolutional Neural Network MI 2017

（1）、結(jié)構(gòu)[ 2016 NIPS RED]

（2）、loss

MSE【pixel level】

（3）、數(shù)據(jù)

實驗數(shù)據(jù)包括兩部分，一個是AAPM比賽的10位病人的HDCT和LDCT圖像，另一個是作者在 the National Biomedical Imaging Archive (NBIA)的165名患者的HDCT上通過正弦圖域增加泊松噪聲來模擬LDCT。但代碼中并沒有這一部分的數(shù)據(jù)，而是將AAPM的10位病人數(shù)據(jù)按照8+2分成了訓(xùn)練和測試數(shù)據(jù)集。訓(xùn)練中圖像裁剪成55*55的patch，下表是隨機挑選出的100張圖像的測試結(jié)果，相比較BM3D有不小的提升。

（二）學(xué)習(xí)迭代方案

《Learned Primal-dual Reconstruction》 TMI 2017

學(xué)習(xí)迭代過程中的正則化參數(shù)，不需要全連接層，缺點是整個過程非常耗費時間。

（三） 投影數(shù)據(jù)預(yù)處理

三、磁共振成像(MRI)技術(shù)中的深度學(xué)習(xí)

（一）、直接構(gòu)造

《Image reconstruction by domain-transform manifold learning》

1、結(jié)構(gòu)

3個全連接層[2n2 * 1]? ?2個卷積層? ?????5個反卷積層

2、loss

MSE

3、數(shù)據(jù)集

Image Net 植物 動物

腦圖

該數(shù)據(jù)集被轉(zhuǎn)換為頻率空間以模擬MRI原始數(shù)據(jù)。他們證明該算法可以從不同采集方案（即軸位，螺旋等掃描）獲得數(shù)據(jù)重建MR圖像，并使不足采樣數(shù)據(jù)的顯示性能改善，具有優(yōu)異的去噪性能和抗偽影能力，可以再使用諸如RMSE的定量指標(biāo)分析。作為本研究的一部分，他們還證明了CNN可以“學(xué)習(xí)”轉(zhuǎn)換以將PET正弦圖數(shù)據(jù)轉(zhuǎn)換為圖像空間。全連接層的使用使得AUTOMAP很難應(yīng)用于較小的數(shù)據(jù)集，因為它存在過度擬合和計算量大的問題。最近，H?ggstr?m等人展示了使用計算效率更高的編碼器-解碼器，從正弦圖數(shù)據(jù)重建PET圖像的更廣泛工作，與標(biāo)準(zhǔn)迭代技術(shù)（例如有序子集期望最大化（OSEM））相比，具有快100倍的重建優(yōu)勢。其他研究小組已經(jīng)表明，編碼器-解碼器網(wǎng)絡(luò)和變換網(wǎng)絡(luò)可以從欠采樣數(shù)據(jù)中獲得出色的MR重建圖像。這項工作對MRI成像的重要性在于它能夠顯著加快成像采集速度，這對于增加掃描儀的使用量或?qū)τ诓荒苋淌軜?biāo)準(zhǔn)成像檢查時間的患者是有用的。

（二）GAN

Deep Generative Adversarial Networks for Compressed Sensing Automates MRI

摘要：磁共振成像（MRI）重建是一個嚴(yán)重病態(tài)線性逆向任務(wù)，需要時間和資源密集型計算，在實時成像中因為速度大大降低準(zhǔn)確性。另外，最先進的壓縮感測（CS）分析不能識別診斷級別的圖像。為了應(yīng)對這些挑戰(zhàn)，我們提出了一種新型CS框架，它利用生成對抗網(wǎng)絡(luò)（GAN）的益處來訓(xùn)練歷史患者的（低維）多種診斷質(zhì)量MR圖像。利用最小二乘（LS）GAN和逐像素L1代價的混合，將具有跳躍連接的深度殘差網(wǎng)絡(luò)作為生成器來進行訓(xùn)練，通過投影到流形上來學(xué)習(xí)消除混疊偽影。LSGAN學(xué)習(xí)紋理細(xì)節(jié)，而L1控制高頻噪聲。然后基于診斷質(zhì)量的圖像聯(lián)合訓(xùn)練多層卷積神經(jīng)網(wǎng)絡(luò)以區(qū)分投影質(zhì)量。測試階段在生成器網(wǎng)絡(luò)上執(zhí)行前饋傳播，計算開銷非常低。對兒科患者對比增強MR數(shù)據(jù)集進行評估。具體而言，以專家放射科醫(yī)師評級的圖像為基準(zhǔn)，GANCS相對于傳統(tǒng)的CS和像素方案具有更詳細(xì)紋理的高對比度圖像。此外，它在幾毫秒內(nèi)就可以重建，比現(xiàn)有技術(shù)的CS-MRI方案快兩個數(shù)量級。

當(dāng)磁共振成像（MRI）的采樣率過低而無法快速成像時，便會出現(xiàn)混疊偽影。常規(guī)CS MRI重建使用基于預(yù)定義稀疏變換的正則化迭代重建，該稀疏變換通常包括耗時的迭代優(yōu)化，并且可能會導(dǎo)致不期望的偽影，例如過度平滑。在這里，我們提出了一種新穎的CS框架，該框架滲透了深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GAN）的好處，可以對來自歷史患者的MR圖像進行建模。對大型兒科MRI數(shù)據(jù)集進行的廣泛評估表明，與傳統(tǒng)的CS和逐像素深度學(xué)習(xí)方案相比，該方法可實現(xiàn)卓越的性能，檢索質(zhì)量更高，細(xì)節(jié)更細(xì)的圖像。?

（三）卷積神經(jīng)網(wǎng)絡(luò) U-net

Deep convolutional neural networks for accelerated dynamic magnetic resonance imaging

stanford

摘要：使用壓縮感知（CS）重建方法可以加速動態(tài)磁共振成像（MRI）掃描，可以從欠采樣數(shù)據(jù)中生成診斷質(zhì)量圖像。不幸的是，CS重建是耗時的，在動態(tài)MRI掃描和圖像可診斷之間需要數(shù)小時。在這項工作中，我們訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)（CNN）來快速重建嚴(yán)重欠采樣的動態(tài)心臟MRI數(shù)據(jù)，并探索將CNNs用于進一步加速動態(tài)MRI掃描時間上的效用。與最先進的CS重建技術(shù)相比，我們的CNN實現(xiàn)提高150倍重建速度，而且圖像質(zhì)量沒有明顯損失。此外，初步結(jié)果表明CNN可能比CS允許的掃描時間快兩倍。

四、超聲成像技術(shù)中的深度學(xué)習(xí)

（一）卷積神經(jīng)網(wǎng)絡(luò)直接從RF中重建

《Towards CT-quality Ultrasound Imaging using Deep Learning》 IUS2017

第一層用于壓縮信號，其余層負(fù)責(zé)執(zhí)行重建【簡單的直接把結(jié)構(gòu)化信息拿來做實驗】

超聲成像的成本效益和實際無害性使其成為醫(yī)學(xué)診斷中最廣泛的工具之一。不幸的是，基于波束形成的圖像形成會產(chǎn)生顆粒狀的斑點噪聲，模糊，陰影和其他偽影。為了克服這些影響，最終目標(biāo)將是通過解決全波傳播逆問題來重建組織聲學(xué)特性。在這項工作中，我們使用多分辨率卷積神經(jīng)網(wǎng)絡(luò)（CNN）向著這一目標(biāo)邁出了一步。結(jié)果，我們能夠從通過反射從人體的真實CT掃描獲得的仿真超聲射頻（RF）數(shù)據(jù)重建CT質(zhì)量圖像。我們還證明了CNN能夠模仿現(xiàn)有的計算繁重的去斑點方法，

數(shù)據(jù)集：

IEEE 17年公開的PICMUS數(shù)據(jù)集

使用峰信噪比（PSNR）評估圖像質(zhì)量

（二）卷積神經(jīng)網(wǎng)絡(luò)從RF中重建

Efficient B-Mode Ultrasound Image Reconstruction From Sub-Sampled RF Data Using Deep Learning?TMI 2018

在便攜式，3-D和超快速超聲成像系統(tǒng)中，由于接收器（Rx）或發(fā)射器（Xmit）的限制，需要通過有限數(shù)量的射頻（RF）測量來重建高質(zhì)量圖像的需求不斷增長）事件子采樣。但是，由于存在來自RF子采樣的旁瓣偽像，因此標(biāo)準(zhǔn)波束形成器通常會生成對比度較低的模糊圖像，這不適用于診斷目的?，F(xiàn)有的壓縮感測方法經(jīng)常需要硬件改變或計算上昂貴的算法，但是它們的質(zhì)量改進是有限的。為了解決這個問題，在本文中，我們提出了一種新穎的深度學(xué)習(xí)方法，該方法通過利用Rx-Xmit平面中的冗余直接內(nèi)插丟失的RF數(shù)據(jù)。

現(xiàn)有工作直接從RF中提取出信號

此篇從原RF采樣得到的子RF中采樣進行訓(xùn)練重建

自己的數(shù)據(jù)集做驗證

（三）細(xì)節(jié)方面做改進 Deep Neural Networks for Ultrasound Beamforming? ? ?TMI 2018

摘要：我們研究了使用深度神經(jīng)網(wǎng)絡(luò)（DNN）抑制超聲通道數(shù)據(jù)中的軸外散射。我們的實現(xiàn)通過短時傅立葉變換在頻域中運行。 DNN的輸入由在整個陣列孔徑上以單個頻率和單個深度觀察到的分離的實部和虛部分量（即同相和正交分量）組成。為不同的頻率訓(xùn)練了不同的網(wǎng)絡(luò)。輸出具有與輸入相同的結(jié)構(gòu)，并且在使用逆短時傅立葉逆變換來重建通道數(shù)據(jù)之前，將實部和虛部組合為復(fù)雜數(shù)據(jù)。使用模擬，物理幻像實驗和人體肝臟的體內(nèi)掃描，我們將這種DNN方法與標(biāo)準(zhǔn)延遲總和（DAS）波束形成技術(shù)和使用相干因子的自適應(yīng)成像技術(shù)進行了比較。對于模擬的點目標(biāo)，使用DNN方法時的旁瓣比標(biāo)準(zhǔn)DAS的旁瓣低約60 dB。對于模擬的無回聲囊腫，與DAS相比，DNN方法分別將對比度（CR）和對比度噪聲（CNR）比提高了8.8 dB和0.3 dB。對于物理模型中的消聲囊腫，DNN方法將CR和CNR分別提高了17.1 dB和0.7 dB。對于兩次體內(nèi)掃描，DNN方法將CR和CNR分別提高了13.8 dB和9.7 dB。我們還探索了檢查本文中網(wǎng)絡(luò)功能的方法。

數(shù)據(jù)集：仿真做的

當(dāng)磁共振成像（MRI）的采樣率過低而無法快速成像時，便會出現(xiàn)混疊偽影。常規(guī)CS MRI重建使用基于預(yù)定義稀疏變換的正則化迭代重建，該稀疏變換通常包括耗時的迭代優(yōu)化，并且可能會導(dǎo)致不期望的偽影，例如過度平滑。在這里，我們提出了一種新穎的CS框架，該框架滲透了深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GAN）的好處，可以對來自歷史患者的MR圖像進行建模。對大型兒科MRI數(shù)據(jù)集進行的廣泛評估表明，與傳統(tǒng)的CS和逐像素深度學(xué)習(xí)方案相比，該方法可實現(xiàn)卓越的性能，檢索質(zhì)量更高，細(xì)節(jié)更細(xì)的圖像。

當(dāng)磁共振成像（MRI）的采樣率過低而無法快速成像時，便會出現(xiàn)混疊偽影。常規(guī)CS MRI重建使用基于預(yù)定義稀疏變換的正則化迭代重建，該稀疏變換通常包括耗時的迭代優(yōu)化，并且可能會導(dǎo)致不期望的偽影，例如過度平滑。在這里，我們提出了一種新穎的CS框架，該框架滲透了深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GAN）的好處，可以對來自歷史患者的MR圖像進行建模。對大型兒科MRI數(shù)據(jù)集進行的廣泛評估表明，與傳統(tǒng)的CS和逐像素深度學(xué)習(xí)方案相比，該方法可實現(xiàn)卓越的性能，檢索質(zhì)量更高，細(xì)節(jié)更細(xì)的圖像。當(dāng)磁共振成像（MRI）的采樣率過低而無法快速成像時，便會出現(xiàn)混疊偽影。常規(guī)CS MRI重建使用基于預(yù)定義稀疏變換的正則化迭代重建，該稀疏變換通常包括耗時的迭代優(yōu)化，并且可能會導(dǎo)致不期望的偽影，例如過度平滑。在這里，我們提出了一種新穎的CS框架，該框架滲透了深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)（GAN）的好處，可以對來自歷史患者的MR圖像進行建模。對大型兒科MRI數(shù)據(jù)集進行的廣泛評估表明，與傳統(tǒng)的CS和逐像素深度學(xué)習(xí)方案相比，該方法可實現(xiàn)卓越的性能，檢索質(zhì)量更高，細(xì)節(jié)更細(xì)的圖像。

五、融合PET成像

PET具有探測人體活體內(nèi)的分子過程的能力。然而，盡管由于它在分子層面的高敏感性而賦予的巨大價值，但由于輻射，通常用于老年人或終末期病人，而不是用于隨訪研究。因此，減少輻射劑量對增加其潛在受眾人群是有益的。由于先前的工作已經(jīng)證明了另一種基于輻射的影像技術(shù)（CT）的降噪能力[11]，可以邏輯上檢驗應(yīng)用這種方法是否也適用于PET。應(yīng)用深度學(xué)習(xí)方法對PET圖像去噪具有一些優(yōu)勢，如根據(jù)應(yīng)用程序平衡劑量與床位時間的能力，使用列表模式數(shù)據(jù)以真實的方式合成噪聲圖像的能力，以及使用雜合成像模式（如CT和MR）改進去噪過程的能力。圖2顯示了一個FDG PET掃描的例子，該掃描增加了稀疏采樣計數(shù)，可用于創(chuàng)建合成的低劑量圖像。

最初由Xiang等學(xué)者證明一個CNN（卷積神經(jīng)網(wǎng)絡(luò)）可用于PET圖像的去噪處理 [29]。作者在這項研究結(jié)果表明,縮減75%的床位時間重建的低劑量PET圖像，可以用T1加權(quán)圖像作為輸入數(shù)據(jù)建立的深度學(xué)習(xí)模型，預(yù)測全劑量PET圖像。該方法理論上可將掃描時間或劑量減少4倍。從劑量上著手是特別現(xiàn)實的，事實上可能低估了這種性能，因為隨著劑量減低，相機的真實事件呈線性下降，而隨機事件呈二次函數(shù)關(guān)系遞減