【NLP論文筆記】SimCSE: Simple Contrastive Learning of Sentence Embeddings--random dropout mask(SimCSE)

本文主要用于記錄DANQI大神組于2021年提出的一篇關(guān)于利用對(duì)比學(xué)習(xí)的思路來(lái)生成句向量的工作。論文中最大的創(chuàng)新點(diǎn)就是利用dropout來(lái)實(shí)現(xiàn)正例樣本的構(gòu)造工作。該方法的實(shí)現(xiàn)簡(jiǎn)單且有效,非常適合奮斗在一線的NLPer借鑒參考并落地。本筆記主要為方便初學(xué)者快速入門,以及自我回顧。

論文鏈接:https://arxiv.org/pdf/2104.08821.pdf

參考博客1:https://zhuanlan.zhihu.com/p/368353121
參考博客2:https://zhuanlan.zhihu.com/p/377612458
參考博客3:https://www.sohu.com/a/469789611_121119001

基本目錄如下:

  1. 摘要
  2. 核心思想
  3. 總結(jié)

------------------第一菇 - 摘要------------------

1.1 論文摘要

------------------第一菇 - 核心思想------------------

2.1 核心思想

------------------第三菇 - 總結(jié)------------------

3.1 總結(jié)
最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容