遷移學(xué)習(xí)的分類:
按遷移情景分類
- 歸納式遷移:不論源域與目標(biāo)域是否相同,目標(biāo)域任務(wù)都是不同于源域任務(wù)的。
- 直推式遷移:源域與目標(biāo)域是不相同的,但是源域任務(wù)和目標(biāo)域任務(wù)是相同的。
- 無(wú)監(jiān)督遷移:與歸納式遷移類似,目標(biāo)域任務(wù)與源域任務(wù)相關(guān)但是不相同。此外,無(wú)監(jiān)督遷移關(guān)注的是在目標(biāo)域上的無(wú)監(jiān)督學(xué)習(xí)(聚類,降維等)。
按遷移方法分類
- 基于實(shí)例的遷移:對(duì)源域的樣本不斷更新權(quán)重并應(yīng)用在目標(biāo)域中,這種方法停留在樣本的層面。
- 基于特征的遷移:尋求一種更合適的特征表示,使得目標(biāo)域和源域的特征分布差異更小。
- 基于關(guān)系的遷移:通過(guò)建立源域和目標(biāo)域之間相關(guān)知識(shí)的映射來(lái)進(jìn)行遷移。
- 基于模型的遷移:挖掘源域和目標(biāo)域模型可以共享的模型參數(shù)或者先驗(yàn),從而進(jìn)行遷移。
按特征空間分類
同構(gòu)遷移學(xué)習(xí):源域特征空間與目標(biāo)域特征空間相同。
異構(gòu)遷移學(xué)習(xí):源域特征空間與目標(biāo)域特征空間不相同。
負(fù)遷移:
負(fù)遷移(Negative transfer )是遷移學(xué)習(xí)領(lǐng)域一個(gè)很重要的概念,它是指在進(jìn)行遷移學(xué)習(xí)之后目標(biāo)域預(yù)測(cè)器的性能反而下降這一現(xiàn)象。顯然,負(fù)遷移對(duì)目標(biāo)域預(yù)測(cè)器的構(gòu)建十分有害,但是不幸的是我們現(xiàn)在仍然無(wú)法十分有效的解決之一問(wèn)題。我個(gè)人認(rèn)為,如果想要預(yù)防負(fù)遷移的影響,那么仍然需要從上面提到的遷移學(xué)習(xí)的三個(gè)問(wèn)題入手:何時(shí)遷移、遷移什么、如何遷移。在這三個(gè)環(huán)節(jié)上都有可能會(huì)引發(fā)負(fù)遷移,所以需要時(shí)時(shí)注意自己算法的設(shè)計(jì)。
Domain Separation Networks(https://arxiv.org/pdf/1608.06019v1.pdf)這篇文章就解決了負(fù)遷移的問(wèn)題。
參考資料:
- https://zhuanlan.zhihu.com/p/47991650 (根據(jù)港科大楊強(qiáng)教授的survey進(jìn)行總結(jié),概念全面)