• Abstract

面對人臉數(shù)據(jù)缺失的問題，提出了用D-GAN生成人臉從而增加數(shù)據(jù)量的方法。D-GAN可以用很小的訓(xùn)練數(shù)據(jù)生成逼真人臉。

'end to end' D-GAN structure

一般的用gan生成特殊表情的思維就是上面一半，用“默無表情”的圖作為約束，生成有表情的圖，然后用一個標(biāo)準(zhǔn)判別器判斷哪個生成的表情是真實(shí)的。但是問題是這個約束并不能保證能生成我們要的表情，它只能保證生成的圖片足夠真實(shí)（因?yàn)榕袆e器只能判斷哪個更加真實(shí)）。所以這里它增加了一個“差值判別器”作為輔助，這個差值判別器把原先標(biāo)準(zhǔn)判別器需要判斷的兩張圖片，分別和輸入的“默無表情圖”做差，得到兩張差值圖片（誰笑的更厲害），再把這兩張插值圖片輸入這個新的差值判別器，來判別哪個是真哪個是假（這樣，就把“哪張圖片更真”的約束變成了“誰笑的更真”的約束）。一開始的輸入是用一個one-hot vector的label code 生成的label channel,然后用這個channel作為約束圖片的條件，一并輸入生成器得到表情圖片。

• label code to label channel

label code(10 x 1) =>fully convolution =>256 x 1 => fully convolution =>4096 x 1 vector => transformed/reshaped to label channel indicating spacial position where the face needs to be changed

• Approximated face manifold

這篇論文還有意思的一點(diǎn)就是，它通過改變輸入one-hot vector的不同表情標(biāo)簽值的大小，可以找到高維空間manifold里面的不同的圖片，有點(diǎn)類似vae所用的手段。這個牙齒一樣的幾個數(shù)字，可以看成高位空間運(yùn)動的方向盤，它能帶我們找到不同表情在超空間的位置。甚至可以把不同表情混合，找到“愉悅的憂傷”或者“痛并快樂著”的位置：）

image.png

image.png

image.png

• Conclusion

image.png