姓名：張鈺??學(xué)號：21011210154??學(xué)院：通信工程學(xué)院
【嵌牛導(dǎo)讀】簡述深度學(xué)習(xí)換臉技術(shù)，對論文DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection中關(guān)于人臉操作部分內(nèi)容的總結(jié)
【嵌牛鼻子】人臉操作、Deepfake
【嵌牛提問】人臉圖像操作技術(shù)的分類以及Deepfake技術(shù)發(fā)展帶來的利與弊
【嵌牛正文】
DeepFakes and Beyond: A Survey of Face Manipulation and Fake Detection論文鏈接：https://arxiv.org/pdf/2001.00179.pdf
初識Deepfake
深度偽造技術(shù)Deepfake，是由“deep learning”（深度學(xué)習(xí)）和“fake photo”（假照片）組合而成，本質(zhì)是一種深度學(xué)習(xí)模型在圖像合成、替換領(lǐng)域的技術(shù)框架，屬于深度圖像生成模型的一次成功應(yīng)用。它可以將目標(biāo)人物面部的圖像疊加到視頻原人物面部的相應(yīng)位置，從而創(chuàng)建包含目標(biāo)人物的視頻，使目標(biāo)人物說一些不曾說過的話，做一些不曾做過的動作，以達(dá)到混淆視聽的目的。盡管該技術(shù)可用于實(shí)現(xiàn)聲音合成、視頻分辨率修復(fù)和圖像藝術(shù)風(fēng)格遷移等，但總體而言，其弊端仍大于優(yōu)勢。
深度偽造技術(shù)的快速發(fā)展使網(wǎng)絡(luò)虛假視頻數(shù)量呈快速上升趨勢，由于深度偽造視頻的制作門檻低、仿真度高、欺騙性強(qiáng)，因此該技 術(shù)可能被濫用。就公民個人而 言，包含其人臉的偽造視頻在互聯(lián)網(wǎng)上傳播可能侵犯其名譽(yù)和隱私；就社會而言，深度偽造可通過制造虛假新聞引起金融市場的混亂；就國家而言，若深度偽造被用于制造政治矛盾、傳播極端思想、煽動不安情緒，將會對國家安全造成巨大威脅。
一些團(tuán)隊(duì)利用自動編碼器和生成對抗網(wǎng)絡(luò)開發(fā)出了相應(yīng)的深度偽造項(xiàng)目和工具，這些深度偽造項(xiàng)目和工具的盛行雖起到一定的娛樂作用，但也存在因協(xié)議不規(guī)范而泄露用戶相關(guān)隱私數(shù)據(jù)的風(fēng)險，為詐騙等違法犯罪提供可能。因此，深度偽造視頻檢測技術(shù)的提出極為必要。
人臉操作分類
- entire face synthesis（全臉合成）
??這種操作通常通過強(qiáng)大的GAN（例如StyleGAN方法）創(chuàng)建整個不存在的人臉圖像。這些技術(shù)取得了驚人的效果，生成了具有高度真實(shí)感的高質(zhì)量面部圖像。圖1顯示了使用StyleGAN5生成的整個面部合成的一些示例。這種操縱可能使許多不同的行業(yè)受益，如視頻游戲和3D建模行業(yè)，但也可能被用于有害的應(yīng)用，如在社交網(wǎng)絡(luò)中創(chuàng)建非常逼真的虛假個人資料，以產(chǎn)生錯誤信息。 - identity swap（身份交換）
??身份交換這種操作包括將視頻中一個人的臉替換為另一個人的臉。通?？紤]兩種不同的方法：i）基于經(jīng)典計算機(jī)圖形學(xué)的技術(shù)，如FaceSwap6；ii）稱為DeepFakes7的新型深度學(xué)習(xí)技術(shù)，如最近的ZAO移動應(yīng)用程序。在Youtube8上可以看到這種操縱的非常逼真的視頻。這種類型的操縱可能使許多不同的部門受益，尤其是電影業(yè)。然而，在另一方面，它也可能被用于不良目的，如制作名人色情視頻、惡作劇和金融欺詐等。 - attribute manipulation（屬性操作）
??這種操作也稱為面部編輯或面部修飾，包括修改面部的一些屬性，如頭發(fā)或皮膚的顏色、性別、年齡、添加眼鏡等。這種操縱過程通常通過GAN進(jìn)行，如StarGAN方法。這種操作的一個例子是流行的FaceApp移動應(yīng)用程序。消費(fèi)者可以使用這項(xiàng)技術(shù)在虛擬環(huán)境中試穿各種各樣的產(chǎn)品，如化妝品和化妝品、眼鏡或發(fā)型。 - expression swap（表情交換）
??表情交換操作，也稱為面部重現(xiàn)，包括修改人的面部表情。雖然文獻(xiàn)中提出了不同的操作技術(shù)，例如通過流行的GAN架構(gòu)在圖像層面上進(jìn)行操作，但在本組中，我們重點(diǎn)關(guān)注最流行的技術(shù)Face2Face和NeuralTextures，它將視頻中一個人的面部表情替換為另一個人的面部表情。這種類型的操縱可能會帶來嚴(yán)重后果，例如馬克·扎克伯格說出他從未說過的話的流行視頻。
所有這些方面，加上改進(jìn)的GAN方法的發(fā)展和最近的DeepFake Detection將培育新一代更真實(shí)的假圖像/視頻，以及更先進(jìn)的人臉操縱檢測技術(shù)。
