背景:基于大規(guī)模的語言模型。在pretrain-fineTuning兩階段的范式下,pretrain 階段,數(shù)據(jù)量較大,學習到的知識泛化能力較強...
任務背景:社區(qū)問答中,識別用戶相似的問題。主要應用在兩個產(chǎn)品中。1是,當用戶提問時,需要一段時間后,才會有反饋。此時,可以給用戶推薦相似問題的已...
1. 模型結(jié)構 orginal dropout : 對單個樣本,進行單次drop out。 2. 思想 stacking方法中的子模型。事實...
場景:有監(jiān)督模型中,利用dropout的方式,增強模型的泛化能力。 drop-out在無監(jiān)督學習上的應用 :用于對比學習。同個query,dro...
主題:根據(jù)額外的信息輸入(實體),增強語言表征能力。利用大規(guī)模的文本語料庫以及KG圖,訓練得到一個增強的語言表示模型。 問題:將額外的知識加入語...
背景:隨著科技發(fā)展。出現(xiàn)處理更多的高維數(shù)據(jù),比如圖像、語音。1)傳統(tǒng)的統(tǒng)計學-機器學習方法:由于數(shù)據(jù)維度過高,數(shù)據(jù)單調(diào),噪聲分布廣,傳統(tǒng)的特征工...
DataLoader: 數(shù)據(jù)的迭代器,數(shù)據(jù)是model直接可用的格式。分成一個個的batch。 DataSet : 根據(jù)索引,拿到數(shù)據(jù)后。對數(shù)據(jù)...
最近研究poly-encoder ,用的是pytorch 進行的開發(fā)。在代碼優(yōu)化時,調(diào)研到torch本身的DataParallel實現(xiàn),在效率上...
boosting思想:疊加多個弱模型,漸進的逼近真實情況。問題在于:如何保證擬合方向正確,如何疊加弱模型的結(jié)果。 問題: 以什么目標學習下一棵樹...