發(fā)簡信
IP屬地：香港
-
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning背景：基于大規(guī)模的語言模型。在pretrain-fineTuning兩階段的范式下，pretrain 階段，數(shù)據(jù)量較大，學習到的知識泛化能力較強...
-
Match2: A matching over Matching Model for Similar Question Identification
任務背景：社區(qū)問答中，識別用戶相似的問題。主要應用在兩個產(chǎn)品中。1是，當用戶提問時，需要一段時間后，才會有反饋。此時，可以給用戶推薦相似問題的已...
-
Multi-Sample Dropout1. 模型結(jié)構 orginal dropout ： 對單個樣本，進行單次drop out。 2. 思想 stacking方法中的子模型。事實...
-
drop-out在有監(jiān)督任務上的應用—Rdrop場景：有監(jiān)督模型中，利用dropout的方式，增強模型的泛化能力。 drop-out在無監(jiān)督學習上的應用 ：用于對比學習。同個query，dro...
-
ERNIE主題：根據(jù)額外的信息輸入（實體），增強語言表征能力。利用大規(guī)模的文本語料庫以及KG圖，訓練得到一個增強的語言表示模型。 問題：將額外的知識加入語...
-
降噪自動編碼器（Denoising AutoEncoder）+BERT
背景：隨著科技發(fā)展。出現(xiàn)處理更多的高維數(shù)據(jù)，比如圖像、語音。1）傳統(tǒng)的統(tǒng)計學-機器學習方法：由于數(shù)據(jù)維度過高，數(shù)據(jù)單調(diào)，噪聲分布廣，傳統(tǒng)的特征工...
-
Pytorch中的DataLoader, DataSet, Sampler
DataLoader： 數(shù)據(jù)的迭代器，數(shù)據(jù)是model直接可用的格式。分成一個個的batch。 DataSet : 根據(jù)索引，拿到數(shù)據(jù)后。對數(shù)據(jù)...
-
python3+pytorch+horovod 安裝最近研究poly-encoder ，用的是pytorch 進行的開發(fā)。在代碼優(yōu)化時，調(diào)研到torch本身的DataParallel實現(xiàn)，在效率上...
-
lambdaMART-1.GBDTboosting思想：疊加多個弱模型，漸進的逼近真實情況。問題在于：如何保證擬合方向正確，如何疊加弱模型的結(jié)果。 問題： 以什么目標學習下一棵樹...