在零樣本學(xué)習(xí)(ZSL)中，一個重要的問題是如何有效的從其他來源獲取知識?，F(xiàn)在通行的ZSL方法中。Word-Embedding/Attribute是主要的知識來源，統(tǒng)稱為Semantic Embeddings。然而其他的知識來源也可能非常有效。
馬普所在論文Evaluation of output embeddings for fine-grained image classification中衡量了多種不同Semantic embedding對ZSL的效果。然而該論文對各種Semantic Embedding的來龍去脈甚為含糊，后續(xù)的研究中也鮮有提及。為了搞清楚各種不同的知識來源的來龍去脈，我們回顧馬普所的系列研究中的經(jīng)典論文之二：Evaluating Knowledge Transfer and Zero-Shot Learning in a Large-Scale Setting
經(jīng)典論文之一：經(jīng)典重讀：What Helps Where – And Why? Semantic Relatedness for Knowledge Transfer
本文關(guān)注了大規(guī)模數(shù)據(jù)集ILSVRC2010上，使用不同的Knowledge來挖掘有效信息（Attribute或Hierarchy結(jié)構(gòu)），本文評估了這些Knowledge為分類任務(wù)帶來的影響。評估主要在普通分類和Zero Shot分類兩個任務(wù)上進(jìn)行。
本文評估的Knowledge包括：
-
ILSVRC數(shù)據(jù)集中的Hierarchy結(jié)構(gòu)。這種結(jié)構(gòu)體現(xiàn)了物體類別的總-分結(jié)構(gòu)如下圖所示：
數(shù)據(jù)集中的Hierachy結(jié)構(gòu)
該結(jié)構(gòu)為物體分類提供了額外的信息，例如：普通的1000-way分類只知道parsnip和turnip是不同的物體。但是利用Hierarchy結(jié)構(gòu)提供的信息表明Parsnip和turnip雖然不同，但是實(shí)際上有相同的父節(jié)點(diǎn)，因而兩者比其他類別更相似。使用Hierachy結(jié)構(gòu)信息輔助分類有下述三種方式：
- Baseline:只使用Hierarchy中的葉節(jié)點(diǎn)監(jiān)督訓(xùn)練，即普通的1000-way分類
- 使用Hierarchy中的內(nèi)部節(jié)點(diǎn)作為一個標(biāo)簽參與監(jiān)督訓(xùn)練（參照公式1）
- 使用Hierarchy中的內(nèi)部節(jié)點(diǎn)+葉節(jié)點(diǎn)監(jiān)督訓(xùn)練（參照公式2）
-
借助WordNet的整體-局部關(guān)系挖掘的Attribute（得到811個Attribute）。整體-局部關(guān)系在WordNet中的編碼如下圖所示：
WordNet中包含的整體-局部關(guān)系
Attribute賦值由以下方法實(shí)現(xiàn):
- 賦值（即計算label與每一個Attribute的相似度）由基于Wiki的詞向量內(nèi)積實(shí)現(xiàn)
- 賦值由 Web搜索引擎的label和Attribute的記錄數(shù)量決定（Yahoo Holonyms與Yahoo Snippet是經(jīng)典論文之一中Yahoo Web的兩種不同改進(jìn)，該改進(jìn)啟發(fā)和貢獻(xiàn)不大，因而此處略過不談）。
- 賦值由 圖像搜搜引擎的label和Attribute的記錄數(shù)量決定。
- 越過Attribute，直接使用一組基類別y_i來表示其他類別z（參照本鏈接中的圖2.b）。即有z = \sum_i \alpha_iy_i。為了確定系數(shù)\alpha_i，本文使用類似于賦值A(chǔ)ttribute的方式：
- \alpha_i（即計算z與每一個yi的相似度）為詞向量(基于Wiki)內(nèi)積。
- \alpha_i由 Web搜索引擎的label和Attribute的記錄數(shù)量決定（Yahoo Holonyms與Yahoo Snippet）。
- \alpha_i由 圖像搜搜引擎(Yahoo Image)的label和Attribute的記錄數(shù)量決定。
這些方法在普通分類上的結(jié)果如下表：
在ZSL分類上的結(jié)果如下表：
上述結(jié)果的啟示有：
1.Hierarchy信息對普通分類帶來了一些干擾，這說明Hierarchy信息當(dāng)中存在噪音。
- Hierarchy信息對ZSL帶來了改善，這說明Hierarchy當(dāng)中存在有益于知識遷移的部分。
- 基于Attribute的方法在兩個任務(wù)中都表現(xiàn)不佳，這是因?yàn)锳ttribute Mining（即決定采用哪811個Attribute，以及為什么是811個）和Attribute Association（即為Attribute賦值）兩個過程都引入了噪聲。
- Combine Attribute能夠融合各屬性的優(yōu)點(diǎn)，但是具體Combine的過程論文一筆帶過，含糊其辭。
由于工作量大，出力不討好，Hierarchy和Attribute Mining+Association的研究進(jìn)展緩慢，但是這為可能的改進(jìn)方向提出了一些問題，有待后人來回答。
