[機(jī)器學(xué)習(xí)入門] 李宏毅機(jī)器學(xué)習(xí)筆記-21（Transfer Learning part 1 ; 遷移學(xué)習(xí) part 1）

Transfer Learning

利用與task沒有直接相關(guān)的data
什么叫沒有直接相關(guān)呢？
比如：

這里寫圖片描述

why

這里寫圖片描述

Example in real life

從漫畫家的法則，來理解研究生法則

這里寫圖片描述

Overview

分成四個象限：下面將以象限作為小標(biāo)題。
Target Data：直接相關(guān)的數(shù)據(jù)。
Source Data：沒有直接相關(guān)的數(shù)據(jù)。

這里寫圖片描述

第一象限

Traget Data labelled，Source Data labelled。

Model Fine-tuning

這里寫圖片描述

把在source data上train出來的model當(dāng)作是training的initial value。
由于target data可能很少，極有可能過擬合，所以train的時候要很小心，這里有一下幾種技巧。

Conservative Training

讓左右兩個model差距不要太大。

這里寫圖片描述

Layer Transfer
將Source data train好的model，復(fù)制幾個參數(shù)到新的model里，然后再利用Target data訓(xùn)練沒有被復(fù)制來的參數(shù)，這樣每次訓(xùn)練的參數(shù)都較少，避免了過擬合。

這里寫圖片描述

那么那些layer 的參數(shù)可以copy呢？
因任務(wù)而異，case by case
? Speech: usually copy the last few layers
? Image: usually copy the first few layers

Multitask Learning

這里寫圖片描述

Multilingual Speech Recognition
目前發(fā)現(xiàn)，幾乎所有的語言都可以互相transfer。

這里寫圖片描述

實(shí)驗(yàn)表明transfer 果然是很有幫助的

這里寫圖片描述

第四象限

Traget Data unlabelled，Source Data labelled。un
Target Description：

這里寫圖片描述

Domain-adversarial training

當(dāng)我們利用neutral network抽取feature和做classification時，可以看到，藍(lán)色部分抽取的feature分成10塊，而紅色部分并沒有被區(qū)分開來，所以后面的分類也不可能做好。

這里寫圖片描述

運(yùn)用Domain-adversarial training

這里寫圖片描述

全部分類為零就可以騙過Domain classifier，所以要加一個Label predictor。使之不僅要騙過Domain classifier，還要同時滿足label classifier。
這是一個很龐大的網(wǎng)絡(luò)，不同于以往所有的參數(shù)都目標(biāo)一致，這個網(wǎng)絡(luò)中的參數(shù)可謂各懷鬼胎。
藍(lán)色部分參數(shù)想讓Domain classifier做得更好。
紅色部分參數(shù)想要正確預(yù)測來者屬于哪個domain。
綠色部分參數(shù)想同時做兩件事，提高藍(lán)色部分的預(yù)測正確率，最小化紅色部分的分類正確率。
可以看到紅色與綠色是在相互對抗的。

這里寫圖片描述

這里寫圖片描述

效果

這里寫圖片描述

下見part 2