? ? ? ?說在前面的話，我認(rèn)為這篇文章的核心思想是，使得G(z)與真實(shí)圖片接近的保證，除了直接匹配比較兩者，還有更多的保證手段，如在真實(shí)圖像中捕捉到的某種特征，在G(z)中也能捕捉到。這些保證可以作為輔佐保證來提高G的生成質(zhì)量。（在此文中，可檢測(cè)旋轉(zhuǎn)角度的一種特征便是我這里的某種特征。）

? ? ? ?文章核心思想實(shí)現(xiàn)的細(xì)節(jié)是，G和D都保留原始GAN損失函數(shù)項(xiàng)；另，D要以真實(shí)數(shù)據(jù)的旋轉(zhuǎn)角度損失，去鍛煉區(qū)分某種特征的能力（那么這種能力同樣可應(yīng)用于G(z)上；而，G要生成這樣一些圖像，其在鑒別器的特征空間中的表示允許檢測(cè)旋轉(zhuǎn)。因此，可以看到G和D都各自增加了一項(xiàng)loss。

1.introduction

? ? ? ?開頭闡明GAN是一種無監(jiān)督的生成式模型，但具有訓(xùn)練不穩(wěn)定的缺點(diǎn)。在不穩(wěn)定的在線環(huán)境中，神經(jīng)網(wǎng)絡(luò)會(huì)忘記之前的任務(wù)， 如果鑒別器忘記了先前的分類邊界，則訓(xùn)練可能變得不穩(wěn)定或循環(huán)。 這個(gè)問題通常通過重復(fù)使用舊樣本或應(yīng)用連續(xù)學(xué)習(xí)技術(shù)來解決。在復(fù)雜數(shù)據(jù)集的背景下，這些問題變得更加突出。

? ? ? ?條件GAN應(yīng)運(yùn)而生，來抵抗這種致命的忘記。

? ? ? ?我們的目標(biāo)是保留條件GAN的好處，同時(shí)無需標(biāo)記數(shù)據(jù)。我們給鑒別器加了一個(gè)自監(jiān)督的loss，以使鑒別器學(xué)到的表示更穩(wěn)定和有用。因?yàn)殍b別器學(xué)到的表示對(duì)生成器輸出質(zhì)量的依賴性降低了。

? ? ? ?貢獻(xiàn)總結(jié)：總的說，展示了一種無監(jiān)督的生成模型，它結(jié)合了對(duì)抗訓(xùn)練和自監(jiān)督學(xué)習(xí)。細(xì)說，首先在不要求標(biāo)簽數(shù)據(jù)的情況下保留條件GAN的效果，這句話就代表此模型可能會(huì)消除無條件與有條件模型下圖像生成的差距；其次這樣一來，鑒別器學(xué)到的表示的質(zhì)量大大提高，在遷移學(xué)習(xí)中應(yīng)該很有趣味。最后，實(shí)現(xiàn)了一個(gè)實(shí)驗(yàn)，無條件基于Imagenet生成，得到可人的結(jié)果。

2. A Key Issue: Discriminator Forgetting

在GAN的背景下，學(xué)習(xí)不同級(jí)別的細(xì)節(jié)，結(jié)構(gòu)和紋理可以被認(rèn)為是不同的任務(wù)。例如，如果生成器首先學(xué)習(xí)全局結(jié)構(gòu)，則鑒別器將自然地嘗試構(gòu)建表示，該表示允許其僅基于全局結(jié)構(gòu)的差異或缺乏局部結(jié)構(gòu)來有效地懲罰生成器。 因此，訓(xùn)練中的一個(gè)不穩(wěn)定源是，只要當(dāng)前表示對(duì)于區(qū)分類別是有用的，就不會(huì)激勵(lì)鑒別器來維持有用的數(shù)據(jù)表示。SS-GAN緩解了這個(gè)問題。

3. The Self-Supervised GAN

在鑒別器遺忘的主要挑戰(zhàn)的推動(dòng)下，我們的目標(biāo)是為鑒別器注入一種機(jī)制，允許學(xué)習(xí)有用的表示，而不受當(dāng)前發(fā)生器質(zhì)量的影響。為此，我們利用自我監(jiān)督在學(xué)習(xí)表示方法上的最新進(jìn)展。 自我監(jiān)督背后的主要思想是在預(yù)先任務(wù)上訓(xùn)練模型，例如預(yù)測(cè)圖像塊的旋轉(zhuǎn)角度或相對(duì)位置，然后從結(jié)果網(wǎng)絡(luò)中提取表示。

我們建議在我們的鑒別器中添加一個(gè)自我監(jiān)督的任務(wù)。自我監(jiān)督的任務(wù)是預(yù)測(cè)圖像的旋轉(zhuǎn)角度。

這種額外損失對(duì)圖像分類任務(wù)的影響很明顯：當(dāng)與自我監(jiān)督的損失相結(jié)合時(shí)，網(wǎng)絡(luò)學(xué)習(xí)一些跨任務(wù)傳遞的表示，并且性能不斷提高。直觀地，這種損失促使分類器學(xué)習(xí)有用的圖像表示以檢測(cè)旋轉(zhuǎn)角度，其轉(zhuǎn)移到圖像分類任務(wù)。

Collaborative Adversarial Training

在我們的模型中，生成器和鑒別器在預(yù)測(cè)真假的損失V（G，D）方面是對(duì)抗的，然而，它們?cè)谛D(zhuǎn)任務(wù)方面是協(xié)作的。首先，考慮發(fā)生器的值函數(shù)，該函數(shù)將偏向于對(duì)圖像的生成，當(dāng)旋轉(zhuǎn)時(shí)，鑒別器可以檢測(cè)它們的旋轉(zhuǎn)角度。

請(qǐng)注意，生成器不是有條件的，而是僅生成“直立”圖像，隨后將其旋轉(zhuǎn)并饋送到鑒別器。

另一方面，訓(xùn)練鑒別器僅基于真實(shí)數(shù)據(jù)來檢測(cè)旋轉(zhuǎn)角度。換句話說，鑒別器僅基于真實(shí)數(shù)據(jù)上的旋轉(zhuǎn)損失作參數(shù)更新。這防止了不期望的協(xié)作解決方案，即發(fā)生器會(huì)生成其旋轉(zhuǎn)很容易被檢測(cè)的圖像。因此，生成器被鼓勵(lì)去生成可旋轉(zhuǎn)檢測(cè)的圖像（當(dāng)然生成的仍為直立圖像，具有旋轉(zhuǎn)后可檢測(cè)的內(nèi)在特征而已），因?yàn)樗鼈儯ㄟ@些生成圖像）與用于旋轉(zhuǎn)分類的真實(shí)圖像共享特征。

在實(shí)踐中，我們使用具有兩個(gè)輸出的單個(gè)鑒別器網(wǎng)絡(luò)來計(jì)算PD和QD。圖1描繪了訓(xùn)練總流程。我們以四種旋轉(zhuǎn)去旋轉(zhuǎn)實(shí)際圖像和生成圖像。未旋轉(zhuǎn)圖像上的鑒別器的目標(biāo)是預(yù)測(cè)輸入圖片的真假。在旋轉(zhuǎn)的真實(shí)圖像上，其目標(biāo)是檢測(cè)旋轉(zhuǎn)角度。

生成器的目標(biāo)是生成與觀察到的數(shù)據(jù)相匹配的圖像，其在鑒別器的特征空間中的表示允許檢測(cè)旋轉(zhuǎn)。當(dāng)α> 0，不能保證一定存在收斂真實(shí)數(shù)據(jù)分布PG = Pdata。然而，在訓(xùn)練期間將α退回到零將恢復(fù)這個(gè)保證。

初次發(fā)文，小白純白。