概述性說明熱與視覺合成與現(xiàn)有基于可見光的面部識別系統(tǒng)的互操作性

陸軍研究人員開發(fā)了一種人工智能和機(jī)器學(xué)習(xí)技術(shù)，通過在低光照或夜間條件下拍攝人臉熱圖像產(chǎn)生可見的人臉圖像。這種發(fā)展可能導(dǎo)致增強(qiáng)的實(shí)時生物特征識別和后期任務(wù)取證分析，用于隱蔽的夜間操作。

像FLIR這樣的熱像儀或前視紅外傳感器主要用于高空和地面車輛，監(jiān)視塔和檢查站以進(jìn)行監(jiān)視。最近，熱像儀正在變得可用作身體穿戴相機(jī)。使用這種熱成像攝像頭在夜間進(jìn)行自動臉部識別的能力有助于通知士兵個人感興趣的人，例如可能在觀察名單上的人。

這項(xiàng)技術(shù)的動機(jī) - 由Drs開發(fā)。來自美國陸軍研究實(shí)驗(yàn)室的Benjamin S. Riggan，Nathaniel J. Short和Shuowen“Sean”Hu將增強(qiáng)自動和人工匹配能力。

研究科學(xué)家Riggan說：“這項(xiàng)技術(shù)可以在熱圖像和現(xiàn)有的僅包含可見面部圖像的生物識別人臉數(shù)據(jù)庫/觀察列表之間進(jìn)行匹配?！?“該技術(shù)為人類提供了一種方式，通過熱到可見的面部合成，在視覺上比較可見和熱面部圖像。”

他表示，在夜間和光線不足的情況下，傳統(tǒng)相機(jī)沒有足夠的光線捕捉面部圖像進(jìn)行識別，而沒有主動照明，如閃光燈或聚光燈，這會放棄此類監(jiān)控攝像頭的位置;?然而，捕獲活性皮膚組織自然產(chǎn)生的熱信號的熱攝像頭非常適合這種情況。

Riggan說：“當(dāng)使用熱像儀捕獲面部圖像時，主要挑戰(zhàn)是捕獲的熱圖像必須與僅包含來自已知感興趣人員的傳統(tǒng)可見圖像的觀察列表或圖庫匹配。“因此，這個問題就變成了所謂的互譜或異質(zhì)的人臉識別，在這種情況下，一種模式下獲取的面部探測圖像與使用不同成像模式獲取的圖庫數(shù)據(jù)庫相匹配?！?/span>

這種方法利用了基于深度神經(jīng)網(wǎng)絡(luò)的先進(jìn)的領(lǐng)域適應(yīng)技術(shù)。基本方法由兩個關(guān)鍵部分組成：非線性回歸模型，將給定的熱圖映射為相應(yīng)的可見潛在表示，以及將潛在投影投影回圖像空間的優(yōu)化問題。

這項(xiàng)工作的詳細(xì)內(nèi)容在3月份的技術(shù)論文“Thermal to Visible Synthesis of Face Images using Multiple Regions”中被發(fā)表在IEEE計算機(jī)視覺應(yīng)用冬季會議或WACV在內(nèi)華達(dá)州塔霍湖的技術(shù)會議上，該會議包括來自學(xué)術(shù)界，工業(yè)界和政府的學(xué)者和科學(xué)家。

在會議上，陸軍研究人員證明，將全局信息（例如整個臉部的特征）與局部信息（例如來自識別性基準(zhǔn)區(qū)域的特征，例如眼睛，鼻子和嘴巴）相結(jié)合，增強(qiáng)了合成的可區(qū)分性圖像。他們展示了來自全局和局部區(qū)域的熱 - 可見映射表示如何可以結(jié)合使用來合成精致的可見面部圖像。

合成圖像的優(yōu)化問題試圖共同保留整個臉部的形狀和局部基準(zhǔn)細(xì)節(jié)的外觀。使用合成的熱變圖像和現(xiàn)有的可見圖庫圖像，他們使用常見的開源深度神經(jīng)網(wǎng)絡(luò)架構(gòu)進(jìn)行人臉驗(yàn)證實(shí)驗(yàn)，用于人臉識別。所使用的架構(gòu)明確設(shè)計用于基于可見的人臉識別。最令人驚訝的結(jié)果是他們的方法比先前顯示照片般逼真屬性的生成對抗網(wǎng)絡(luò)方法取得了更好的驗(yàn)證性能。

Riggan將這一結(jié)果歸因于GAN的游戲理論目標(biāo)立即尋求在動態(tài)范圍和類似于照片的外觀上產(chǎn)生足夠類似于訓(xùn)練圖像的圖像，而有時忽略保留識別特征的事實(shí)，他說。由ARL開發(fā)的方法保留了身份信息以增強(qiáng)可辨識性，例如，自動人臉識別算法和人體裁判的識別準(zhǔn)確性提高。

作為論文演示的一部分，ARL研究人員展示了這項(xiàng)技術(shù)的近實(shí)時演示。概念驗(yàn)證演示包括使用FLIR Boson 320熱成像攝像頭和幾乎實(shí)時運(yùn)行算法的筆記本電腦。該演示向觀眾展示了一個人可以采集的熱圖像在現(xiàn)場生成合成的可見圖像。這項(xiàng)工作在會議的面孔/生物識別會議上獲得了最佳論文獎，其中有70多篇論文被提交。

里格根說，他和他的同事們將繼續(xù)在國防取證和生物識別機(jī)構(gòu)的贊助下擴(kuò)大這項(xiàng)研究，為士兵開發(fā)強(qiáng)大的夜間人臉識別能力。