[機(jī)器學(xué)習(xí)入門] 李宏毅機(jī)器學(xué)習(xí)筆記-22（Transfer Learning part 2；遷移學(xué)習(xí) part 2）
| VIDEO |
|---|
接part 1
第四象限
Target data unlabelled，Source Data labelled
Zero-shot learning
今天想要辨識草泥馬，但是source data中沒有一只草泥馬！
Representing each class by its attributes
通過特征表來進(jìn)行分類，當(dāng)輸入一只草泥馬時;
Attribute embedding
x 是一張圖片，通過函數(shù)（NN）f()，可以投影到embedding space成為一個向量f（x）；
y 是特征表里的一行特征向量，通過函數(shù)（NN）g（()，降維到embedding space成為向量g(y);
然后使f(x123)，g(y123)上越接近越好，當(dāng)我們輸入一張不知道的圖片比如草泥馬，通過比較f(草泥馬)與哪個g(y)比較接近，得到它的類別。但是會有一個問題，當(dāng)我們并不知道特征表時，怎么解決呢，那么就需要用Attribute embedding + word embedding。我們知道word embedding 中的每一維度，其實就代表了一個特征，所以就不需要一個database來告訴每種動物的特征是啥。
回到剛剛在embedding space 上的距離比較，通過這個公式比較可以嗎？
答案是不可以的，很明顯，為了使結(jié)果更接近，全部投影到一個點上顯然可以，但明顯不合適。所以loss function這樣定義是不行的。
上述公式只考慮了同一組x，y越接近越好，但沒有考慮到，不同組的x，y距離要拉大。 所以要改成：
其實還有一個Zero-shot 的方法叫做Convex Combination of Semantic Embedding。
其實就是取NN得出的分類的概率中點，然后word vector 與該中點比較。
Example of Zero-shot Learning
比如 本來只有中英、日法翻譯，通過transfer，學(xué)會了中法翻譯。
第二象限
Target data labelled，Source Data unlabelled
Self-taught learning
第三象限
Target data unlabelled，Source Data unlabelled
