Transfer Learning基礎(chǔ)知識(shí)記錄與學(xué)習(xí)

遷移學(xué)習(xí)的分類:

按遷移情景分類
  • 歸納式遷移:不論源域與目標(biāo)域是否相同,目標(biāo)域任務(wù)都是不同于源域任務(wù)的。
  • 直推式遷移:源域與目標(biāo)域是不相同的,但是源域任務(wù)和目標(biāo)域任務(wù)是相同的。
  • 無(wú)監(jiān)督遷移:與歸納式遷移類似,目標(biāo)域任務(wù)與源域任務(wù)相關(guān)但是不相同。此外,無(wú)監(jiān)督遷移關(guān)注的是在目標(biāo)域上的無(wú)監(jiān)督學(xué)習(xí)(聚類,降維等)。
按遷移方法分類
  • 基于實(shí)例的遷移:對(duì)源域的樣本不斷更新權(quán)重并應(yīng)用在目標(biāo)域中,這種方法停留在樣本的層面。
  • 基于特征的遷移:尋求一種更合適的特征表示,使得目標(biāo)域和源域的特征分布差異更小。
  • 基于關(guān)系的遷移:通過(guò)建立源域和目標(biāo)域之間相關(guān)知識(shí)的映射來(lái)進(jìn)行遷移。
  • 基于模型的遷移:挖掘源域和目標(biāo)域模型可以共享的模型參數(shù)或者先驗(yàn),從而進(jìn)行遷移。
按特征空間分類

同構(gòu)遷移學(xué)習(xí):源域特征空間與目標(biāo)域特征空間相同。
異構(gòu)遷移學(xué)習(xí):源域特征空間與目標(biāo)域特征空間不相同。

負(fù)遷移:

負(fù)遷移(Negative transfer )是遷移學(xué)習(xí)領(lǐng)域一個(gè)很重要的概念,它是指在進(jìn)行遷移學(xué)習(xí)之后目標(biāo)域預(yù)測(cè)器的性能反而下降這一現(xiàn)象。顯然,負(fù)遷移對(duì)目標(biāo)域預(yù)測(cè)器的構(gòu)建十分有害,但是不幸的是我們現(xiàn)在仍然無(wú)法十分有效的解決之一問(wèn)題。我個(gè)人認(rèn)為,如果想要預(yù)防負(fù)遷移的影響,那么仍然需要從上面提到的遷移學(xué)習(xí)的三個(gè)問(wèn)題入手:何時(shí)遷移、遷移什么、如何遷移。在這三個(gè)環(huán)節(jié)上都有可能會(huì)引發(fā)負(fù)遷移,所以需要時(shí)時(shí)注意自己算法的設(shè)計(jì)。

Domain Separation Networks(https://arxiv.org/pdf/1608.06019v1.pdf)這篇文章就解決了負(fù)遷移的問(wèn)題。
參考資料:

  1. https://zhuanlan.zhihu.com/p/47991650 (根據(jù)港科大楊強(qiáng)教授的survey進(jìn)行總結(jié),概念全面)
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書(shū)系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

  • 1、隱式解析可選類型 有時(shí)候在程序架構(gòu)中,第一次被賦值之后,可以確定一個(gè)可選類型總會(huì)有值,這時(shí)候每次使用時(shí)都判斷和...
    Mr_xuy閱讀 619評(píng)論 1 4
  • 1 為什么要對(duì)特征做歸一化 特征歸一化是將所有特征都統(tǒng)一到一個(gè)大致相同的數(shù)值區(qū)間內(nèi),通常為[0,1]。常用的特征歸...
    顧子豪閱讀 7,125評(píng)論 2 22
  • 1 為什么要對(duì)特征做歸一化 特征歸一化是將所有特征都統(tǒng)一到一個(gè)大致相同的數(shù)值區(qū)間內(nèi),通常為[0,1]。常用的特征歸...
    顧子豪閱讀 1,851評(píng)論 0 1
  • 最近開(kāi)始了隱私保護(hù)計(jì)算的學(xué)習(xí)。參考內(nèi)容包括網(wǎng)絡(luò)、圈內(nèi)朋友和信通院的《隱私保護(hù)計(jì)算技術(shù)研究報(bào)告(2020年)》。本文...
    小葉與小茶閱讀 9,151評(píng)論 2 4
  • 注:題中所指的『機(jī)器學(xué)習(xí)』不包括『深度學(xué)習(xí)』。本篇文章以理論推導(dǎo)為主,不涉及代碼實(shí)現(xiàn)。 前些日子定下了未來(lái)三年左右...
    我偏笑_NSNirvana閱讀 40,572評(píng)論 12 145

友情鏈接更多精彩內(nèi)容