論文閱讀《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》

八月啦!小李月更來了!
時間過得好快 好像一個夏天就要過了!這個夏天因為留校 感覺壓力比以往來得多 也經(jīng)歷了比以往更苦的事 只希望努力不會白費 都值得!

論文名稱:
《TRANSITIVE TRANSFER SPARSE CODING FOR DISTANT DOMAIN》
論文地址:https://ieeexplore.ieee.org/document/9415021
論文參考閱讀:https://blog.csdn.net/qq_39751437/article/details/106290640

Background

The transfer learning between the source and target domain has already achieved significant success in machine learning areas.
However, the existing methods can not achieve satisfactory result when solving the two distant domains transfer learning problem.
In the worst case, it could lead to the negative transfer.
源域和目標(biāo)域之間的遷移學(xué)習(xí)已經(jīng)在機器學(xué)習(xí)領(lǐng)域取得了重大成功。
然而,現(xiàn)有的方法在解決兩個遠(yuǎn)域遷移學(xué)習(xí)問題時,并不能得到令人滿意的結(jié)果。
在最壞的情況下,它可能會導(dǎo)致負(fù)轉(zhuǎn)移。
此篇文章就是針對距離較遠(yuǎn)的域 跨域遷移學(xué)習(xí)的問題展開研究。

補充:
遷移學(xué)習(xí)指利用數(shù)據(jù)和領(lǐng)域之間存在的相似性關(guān)系,把之前學(xué)習(xí)到的知識,應(yīng)用于新的未知領(lǐng)域。
負(fù)遷移是指遷移學(xué)習(xí)中這個相似性不合理,,即兩個領(lǐng)域之間不存在相似性,或者基本不相似,那么,就會大大損害遷移學(xué)習(xí)的效果。

Work

In this paper, we propose a novel framework to solve the DDTL problem called transitive transfer sparse coding (TTSC).
First, TTSC can utilize three domains to learn a high-level dictionary and to simultaneously obtain three sparse representations.
Second, TTSC can achieve valid instances selection and can transfer useful
knowledge between the two distant domains.
Finally, TTSC can help build a precise classifier for the target domain.
我們提出了一個新的框架來解決遠(yuǎn)距離遷移學(xué)習(xí)即傳遞轉(zhuǎn)移稀疏編碼(TTSC)
首先,TTSC可以利用三個領(lǐng)域來學(xué)習(xí)一個高級字典,并同時獲得三個稀疏表示。
其次,TTSC可以實現(xiàn)有效的實例選擇,并可以在兩個遙遠(yuǎn)域之間傳輸有用的知識。
最后,TTSC可以幫助為目標(biāo)域構(gòu)建一個精確的分類器。

Method

問題定義:

遠(yuǎn)距離的遷移學(xué)習(xí)包括源域 中間域 目標(biāo)域
源域和中間域具有一些相似的特征,中間域和目標(biāo)域具有一些相似的特征,但源域和目標(biāo)域的特征不相似或基本不相同。
這邊補充一下 傳遞式遷移學(xué)習(xí)(相當(dāng)于利用中間域遷移學(xué)習(xí) 直接放圖更詳細(xì)一點)

The first goal is to construct a robust and high-level dictionary based on three domains and to simultaneously obtain three good sparse representations.
The second goal is to transfer useful instances from the source domain to the target domain based on the robust dictionary and sparse representations.
TTSC兩個目標(biāo):
1.構(gòu)建一個強大的基于三個域的高級詞典同時獲得三個良好的稀疏表示。
2實現(xiàn)有用的實例選擇策略基于健壯的字典和稀疏表示從源域到目標(biāo)選擇有用的實例
針對第一個目標(biāo),本文方法修改了圖正則化稀疏編碼方法,
它可以獲得一組基向量,并捕獲跨三個領(lǐng)域的內(nèi)在幾何信息。
這樣一來,TTSC就可以提取三個域提取稀疏表示,并通過中間域構(gòu)建高級字典。
tr(·) denotes the trace of the input matrices. B and L represent dictionary matrix and graph-laplacian matrix
針對第一個目標(biāo),本文設(shè)計了三種不同的樣本選擇策略模型。但對于這三種模型,源域的選擇策略是相同的

TTSC-A模型:利用源域標(biāo)記的信息和源域的重建錯誤來選擇有用的源域?qū)嵗?br> TTSC-B模型:從源域和中間領(lǐng)域轉(zhuǎn)移有價值的知識。對于每個中間域?qū)嵗?,利用源域?gòu)造偽標(biāo)簽
TTSC-C模型:仍然從中間域和源域中選擇有用的實例。但與TTSC-B模型不同的是,使用TTSC-B模型得到的中間域偽標(biāo)簽作為中間域真標(biāo)簽,然后計算重構(gòu)誤差來選擇中間域樣本

目標(biāo)函數(shù)優(yōu)化

具體優(yōu)化可以看原文這邊不展開

Experiment

Dataset



其實原來看這篇文章 最想看的是在遠(yuǎn)距離跨域上 是如何構(gòu)造中間域 結(jié)果看到數(shù)據(jù)集這邊才一筆帶過了 失策失策…哈哈哈哈

論文整體是從改善稀疏表示和學(xué)習(xí)三個域的特征(包括中間域當(dāng)做橋梁傳遞)出發(fā)的,結(jié)果如上圖。

ENDING

八月加油!

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容