深度混合散射圖像學(xué)習(xí)

??一個(gè)訓(xùn)練有素的深度神經(jīng)網(wǎng)絡(luò)被證明能夠同時(shí)恢復(fù)兩種圖像，這兩種圖像分別被兩種不同的散射介質(zhì)完全破壞。 基于U-net架構(gòu)的網(wǎng)絡(luò)可以通過斑點(diǎn) - 參考圖像對的混合數(shù)據(jù)集來訓(xùn)練。 我們通過實(shí)驗(yàn)證明了網(wǎng)絡(luò)在重建由玻璃漫射器或多模光纖強(qiáng)烈漫射的圖像時(shí)的能力。 學(xué)習(xí)模型進(jìn)一步顯示出良好的重建與訓(xùn)練數(shù)據(jù)集不同的圖像的概括能力。 我們的工作促進(jìn)了光學(xué)傳輸?shù)难芯?，并擴(kuò)展了機(jī)器學(xué)習(xí)在光學(xué)領(lǐng)域的應(yīng)用。

??散射介質(zhì)，如生物組織和海水，會(huì)導(dǎo)致光束變形，這在許多光學(xué)應(yīng)用中都會(huì)受到嚴(yán)重限制。在強(qiáng)散射介質(zhì)之后，遠(yuǎn)場圖像將擴(kuò)散成散斑圖案。在過去的十年中，已經(jīng)提出了各種方法，例如波前整形[1,2]，光學(xué)相位組合[3,4]和傳輸矩陣（TM）測量[5]。然而，所有這些傳統(tǒng)方法都遇到了一些缺點(diǎn)。波前整形基于光學(xué)記憶效應(yīng)，這限制了視野。具有復(fù)雜成像裝置的相位共軛和TM測量必須執(zhí)行復(fù)雜的校準(zhǔn)和掃描過程。

??機(jī)器學(xué)習(xí)的發(fā)展引起了人們的極大關(guān)注，并為解決散射圖像重建問題提供了新的思路。 Horisaki等[6]使用支持向量回歸（SVR）通過從散斑圖案采樣的像素通過散射介質(zhì)恢復(fù)面部圖像。人工神經(jīng)網(wǎng)絡(luò)也被用于再現(xiàn)散射光的復(fù)振幅[7]。這些任務(wù)需要實(shí)驗(yàn)數(shù)據(jù)預(yù)處理，例如采樣，而不是端到端的圖像到圖像學(xué)習(xí)過程。最近，深度神經(jīng)網(wǎng)絡(luò)（DNN）是更廣泛的機(jī)器學(xué)習(xí)方法系列的深層結(jié)構(gòu)之一，已被用于光學(xué)成像的研究，如無透鏡計(jì)算成像[8]，鬼影成像[9] ]，波前傳感[10]和湍流校正[11]。結(jié)合幾種特殊處理方法，創(chuàng)建了著名的網(wǎng)絡(luò)結(jié)構(gòu)，如卷積深度神經(jīng)網(wǎng)絡(luò)（CNN）和遞歸深度神經(jīng)網(wǎng)絡(luò)（RNN），并廣泛應(yīng)用于圖像分類[12,13]，人臉識別[14]，在真實(shí)[15]和倒數(shù)空間[16]和模式檢測[17,18]中進(jìn)行相位重建。 DNN訓(xùn)練可以被認(rèn)為是可以表征物理過程的通用函數(shù)的近似值。訓(xùn)練過程取決于大量樣本，通常稱為“大數(shù)據(jù)”，旨在生成一種計(jì)算架構(gòu)，將所有輸入精確映射到其輸出。圖像重建和優(yōu)化可以轉(zhuǎn)化為監(jiān)督學(xué)習(xí)問題，旨在通過毀滅性的光學(xué)系統(tǒng)找到原始圖像和圖形之間的映射關(guān)系。

??在本文中，我們使用語義分段的端到端DNN來實(shí)現(xiàn)圖像重建，其中它們通過強(qiáng)散射介質(zhì)和多模光纖（MMF）進(jìn)行擴(kuò)散。一些使用類似設(shè)置的工作最近進(jìn)行了[19-22]。與這些工作相比，我們工作的一個(gè)主要優(yōu)點(diǎn)是神經(jīng)網(wǎng)絡(luò)能夠同時(shí)重建兩種不同類型的散斑圖像，而無需進(jìn)一步的獨(dú)立訓(xùn)練。 DNN的結(jié)構(gòu)是U-net [23]架構(gòu)，它由兩部分組成：獲取上下文信息的收縮路徑和精確定位的對稱擴(kuò)展路徑。該網(wǎng)絡(luò)有三個(gè)優(yōu)點(diǎn)：（i）它支持僅從少量數(shù)據(jù)中學(xué)習(xí); （ii）通過對每個(gè)像素進(jìn)行分類，實(shí)現(xiàn)了更高的分割精度; （iii）用訓(xùn)練的模型快速劃分圖像。我們的訓(xùn)練集是基于著名數(shù)據(jù)集MNIST [24]的高分辨率手寫數(shù)字。顯示網(wǎng)絡(luò)可以很好地重建手寫數(shù)字。訓(xùn)練好的網(wǎng)絡(luò)具有很強(qiáng)的泛化能力，可以進(jìn)一步用于重建手寫字母。此外，它還可以用于重構(gòu)穿過漫射器不同位置的散斑圖像，這意味著DNN學(xué)到的是隱藏的散射模型，而不僅僅是映射函數(shù)。

??在我們的工作中，我們采用了一種方案，包括從“散斑對象”對中學(xué)習(xí)映射函數(shù)Hθ并預(yù)測散斑圖案。計(jì)算機(jī)成像系統(tǒng)由三部分組成，即數(shù)據(jù)預(yù)處理部分，光學(xué)系統(tǒng)和神經(jīng)網(wǎng)絡(luò)。在訓(xùn)練過程中，我們首先從數(shù)據(jù)集MNIST加載原始圖像。由于原始數(shù)據(jù)集的分辨率為28×28像素，我們需要通過上采樣將分辨率擴(kuò)展到512×512像素，以便它可以耦合到光學(xué)系統(tǒng)中。然后，將這些圖像發(fā)送到不同的光學(xué)通道以分別獲得散斑圖像和對象圖像。大量的“斑點(diǎn) - 物體”對用于訓(xùn)練DNN。在測試過程中，我們以相同的方式加載測試集（與訓(xùn)練集不同），并且僅從光學(xué)散射通道獲得散斑圖像。然后使用訓(xùn)練有素的DNN來重建具有這些散斑圖案的非干涉圖像。

??DNN的U-net架構(gòu)如圖1所示。輸入層和輸出層為512×512像素，對應(yīng)于光學(xué)系統(tǒng)的圖像。 U-net由兩條路徑組成。在收縮路徑中，有五個(gè)塊，每個(gè)塊包括兩個(gè)卷積層，后面是最大池層。在擴(kuò)展路徑中，它連接五個(gè)塊，兩個(gè)卷積層后面是一個(gè)上采樣層。收縮路徑中的一些卷積層與擴(kuò)展路徑中的相應(yīng)卷積層合并以避免像素的丟失。輸入圖像最終通過此DNN轉(zhuǎn)換為另一個(gè)圖像，因此它是端到端的進(jìn)度。遵循U-net架構(gòu)的慣例，優(yōu)化器是Adam [25]，損失函數(shù)是二元交叉熵，定義為 - 1 n×N k，i，j [yk（i，j）log ak（i，j）+（1-yk（i，j））log（1-ak（i，j））]。 k是樣本序列號，i，j表示像素序列號; y表示參考圖像的強(qiáng)度; a是DNN的輸出圖像; n是每個(gè)圖像的所有像素的數(shù)量，N是所有樣本的數(shù)量。

??我們在實(shí)驗(yàn)裝置中生成了一個(gè)數(shù)據(jù)集，如圖2所示。借助于先前工作[26-28]中演示的方法，使用了僅相位空間光調(diào)制器（SLM，Hamamatsu，像素間距12.5μm）產(chǎn)生所需的強(qiáng)度模式。從在線數(shù)據(jù)庫MNIST獲取2000張28×28像素分辨率手寫數(shù)字的圖像，然后對其進(jìn)行上采樣并光柵化為僅相位計(jì)算機(jī)生成的全息圖并顯示在SLM的中心560×560像素上（手寫數(shù)字3）以示例為例）。從SLM反射的擴(kuò)展的880nm激光器和全息圖有效地使入射光束不同。一階衍射帶有表示原始輸入圖像的強(qiáng)度圖案，并通過孔徑傳播，而其他順序由孔徑進(jìn)行空間濾波。

??使用三個(gè)成像通道：（a）自由空間傳輸; （b）玻璃擴(kuò)散板（Thorlabs，220 Grits），安裝在電動(dòng)旋轉(zhuǎn)支架上以備將來使用，其角度在整個(gè)訓(xùn)練過程中固定，并通過主光軸對齊; （c）多模光纖（Ideaoptics，L = 1m，芯直徑600μm，N.A。= 0.22）。在設(shè)置（a）中收集的圖案被用作地面實(shí)況標(biāo)簽，并且設(shè)置（b）和（c）中的輸出光束形成不同種類的散斑圖案。在CCD相機(jī)處收集的每個(gè)圖像被歸一化并以512×512像素大小保存以匹配神經(jīng)網(wǎng)絡(luò)的規(guī)模。 SLM迭代了超過2100個(gè)kinoforms以創(chuàng)建相應(yīng)的圖像。

??在訓(xùn)練過程中，將來自（a）/（b）（1000對）和（a）/（c）（2000對）的“物體 - 斑點(diǎn)”夫婦混合起來形成混合訓(xùn)練數(shù)據(jù)集然后喂給DNN模型。培訓(xùn)是在配有兩臺(tái)NVIDIA GTX 1080Ti圖形處理器的計(jì)算機(jī)上進(jìn)行的。 U-net建立在TensorFlow API框架之上。使用具有10-6的特征學(xué)習(xí)率的Adam優(yōu)化器，處理模型被迭代地?cái)M合1000個(gè)時(shí)期，并且控制模型適合于100個(gè)時(shí)期。訓(xùn)練過程超過2天。在擬合每個(gè)時(shí)期后，保存預(yù)測模型，并將測試散斑圖像（不同于訓(xùn)練集），50由漫射器散射和50后纖維傳輸產(chǎn)生，發(fā)送到U-凈預(yù)測。圖3顯示了DNN在開始，50,200,600個(gè)時(shí)期和培訓(xùn)結(jié)束時(shí)提供的一些預(yù)測結(jié)果。圖形結(jié)果表明神經(jīng)網(wǎng)絡(luò)能夠從兩種散射圖像重建原始圖案。

??通過計(jì)算它們的MSE和Corr來進(jìn)行原始模式和重建模式之間的比較。值。對于兩個(gè)彼此密切相關(guān)的模式，MSE應(yīng)該消失并且Corr。應(yīng)該走向統(tǒng)一。圖4顯示了MSE和Corr的趨勢。重建（通過治療模型）和參考模式，對十個(gè)測試樣本進(jìn)行平均，針對訓(xùn)練時(shí)期繪制。

??在1000個(gè)時(shí)期訓(xùn)練期間，重建的模式顯示出與參考模式逐漸更接近的相似性。在訓(xùn)練過程結(jié)束時(shí)，對應(yīng)于漫射器和MMF散射介質(zhì)的重建和參考圖案之間的MSE分別低于3×10-3和10-2。此外，玻璃擴(kuò)散器和MMF實(shí)驗(yàn)中回收和參考圖案之間的相關(guān)值分別限制在約0.90和0.76。相反，僅由玻璃漫射器圖案訓(xùn)練的DNN模型不能重建MMF漫射圖案，反之亦然。總之，我們只使用一個(gè)神經(jīng)網(wǎng)絡(luò)同時(shí)實(shí)現(xiàn)兩種類型的圖像恢復(fù)。

??我們進(jìn)一步證明，雖然訓(xùn)練數(shù)據(jù)集MNIST由手寫數(shù)字組成，但在經(jīng)過足夠數(shù)量的數(shù)據(jù)訓(xùn)練后，DNN也獲得了重建簡單符號模式的能力。如圖5所示，DNN預(yù)測了磨砂玻璃散斑圖像的手寫字母，MSE和Corr。分別為2.65×10-3和0.89，這表明在機(jī)器視圖中這兩個(gè)數(shù)據(jù)集不太可能是嚴(yán)格正交或不相關(guān)的。

??通過在測試過程中移動(dòng)散射板的位置來進(jìn)行模型推廣能力的另一個(gè)試驗(yàn)。在獲取由50個(gè)散斑標(biāo)記圖像對組成的測試數(shù)據(jù)集期間，漫射器在每個(gè)測試圖像之間旋轉(zhuǎn)13°，使得每次測量的散射過程不同。我們之前建立的模型，盡管在訓(xùn)練期間沒有關(guān)于擴(kuò)散器周邊部分的詳細(xì)信息，仍然展示了預(yù)測通過相同擴(kuò)散器的隨機(jī)部分產(chǎn)生的散斑圖像的能力，參見圖6，其具有兩個(gè)測試數(shù)字，5和9 ， 例如。數(shù)值結(jié)果表明，該交叉數(shù)據(jù)集重建獲得了MSE和Corr。分別為1.2×10-2和0.65。這個(gè)結(jié)果表明DNN不是簡單地學(xué)習(xí)漫射器通道中指定位置的映射矩陣，而是學(xué)習(xí)漫射器本身的散射機(jī)制。

??我們更加注重網(wǎng)絡(luò)的泛化能力，只用一個(gè)神經(jīng)網(wǎng)絡(luò)成功地實(shí)現(xiàn)了兩種散射圖像的重建，并證明了神經(jīng)網(wǎng)絡(luò)解決光傳輸問題的泛化能力。 使用混合訓(xùn)練數(shù)據(jù)集，通過散射玻璃和多模光纖重建圖像的MSE小于10-2。 重建圖像與原始圖像的相關(guān)性分別超過0.90和0.76。 我們還得到了幾個(gè)有趣的結(jié)論，包括受過訓(xùn)練的模型可以恢復(fù)一些未經(jīng)訓(xùn)練的模式，例如： 重建手寫拉丁字母的圖像，以及由類似屬性的漫射器散布的圖案。
??用于端到端圖像恢復(fù)問題的DNN具有回歸收斂特性和強(qiáng)大的泛化能力。 我們的研究結(jié)果表明，借助深度學(xué)習(xí)可以解決更復(fù)雜的問題。

1. 該深度學(xué)習(xí)算法學(xué)習(xí)的是散射模型而并非只是單純的對應(yīng)函數(shù)。
2. I`(x, y)= H(?I(x, y)) ≈ I(x, y)。旨在縮小前后差異。