About this paper
- Title: Maximum Classifier Discrepancy for Unsupervised Domain Adaptation
- Authors:Kuniaki Saito, KoheiWatanabe, Yoshitaka Ushiku, and Tatsuya Harada
- Topic: Domain Adaptation
- From:CVPR 2018
Background
目前解決無(wú)監(jiān)督領(lǐng)域自適應(yīng)（Domain Adaptation）的一類主要方法是對(duì)抗學(xué)習(xí)，這類方法的思想主要來(lái)源于生成式對(duì)抗網(wǎng)絡(luò)（GAN）。
這類方法主要包括三部分
- 域分類器（Domain Classifier）
- 標(biāo)簽分類器 (Label Predictor)
- 特征生成器（Feature Generator）
域分類器來(lái)判斷特征是來(lái)自源域（source domain）還是目標(biāo)域（target domain）。
標(biāo)簽分類器通過(guò)訓(xùn)練預(yù)測(cè)源域數(shù)據(jù)額類別標(biāo)簽。
特征生成器（feature generator）有兩個(gè)作用，一是通過(guò)訓(xùn)練正確的預(yù)測(cè)源域數(shù)據(jù)類別標(biāo)簽，二是盡量去欺騙域分類器，生成域分類器無(wú)法分辨的特征。
Motivation
作者提出這類基于對(duì)抗學(xué)習(xí)的方法有兩個(gè)問(wèn)題。
- 域分類器只是區(qū)分特征是來(lái)自源域還是目標(biāo)域，沒(méi)有考慮特定任務(wù)的類間決策邊界。這樣特征提取器會(huì)產(chǎn)生在決策邊界附近的任意特征。
- 這類方法的目標(biāo)是完全匹配兩個(gè)不同域的特征分布。但是因?yàn)槊總€(gè)域都有自己特性，想做到這點(diǎn)是非常困難的。
下圖左側(cè)展示了之前的方法只是考慮對(duì)齊源域和目標(biāo)域的整體分布，沒(méi)有考慮目標(biāo)域樣本和特定任務(wù)分類邊界的關(guān)系，導(dǎo)致目標(biāo)域特征會(huì)出現(xiàn)在決策邊界附近，造成錯(cuò)分類。
為了解決這些問(wèn)題，作者提出了一種利用特定任務(wù)決策邊界的方法來(lái)對(duì)齊源域和目標(biāo)域的分布。
這個(gè)方法的主要思想是：最大化兩個(gè)分類器輸出的差異，來(lái)檢測(cè)離源域比較遠(yuǎn)的目標(biāo)域樣本。特征生成器最小化這個(gè)差異來(lái)生成靠近源域的目標(biāo)域特征。
Method
overall Idea
其實(shí)作者提出的方法也是一種對(duì)抗學(xué)習(xí)的方法，只是與之前的對(duì)抗學(xué)習(xí)方法不同的是，之前的方法是域分類器與特征生成器對(duì)抗。作者提出的方法是特定任務(wù)的分類器與特征生成器對(duì)抗。
作者提出的模型主要分有三個(gè)組成部分：兩個(gè)與任務(wù)相關(guān)的分類器，還有一個(gè)特征生成器。
