發(fā)簡(jiǎn)信
IP屬地：甘肅
-
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning背景：基于大規(guī)模的語(yǔ)言模型。在pretrain-fineTuning兩階段的范式下，pretrain 階段，數(shù)據(jù)量較大，學(xué)習(xí)到的知識(shí)泛化能力較強(qiáng)...
-
Match2: A matching over Matching Model for Similar Question Identification
任務(wù)背景：社區(qū)問(wèn)答中，識(shí)別用戶(hù)相似的問(wèn)題。主要應(yīng)用在兩個(gè)產(chǎn)品中。1是，當(dāng)用戶(hù)提問(wèn)時(shí)，需要一段時(shí)間后，才會(huì)有反饋。此時(shí)，可以給用戶(hù)推薦相似問(wèn)題的已...
-
Multi-Sample Dropout1. 模型結(jié)構(gòu) orginal dropout ： 對(duì)單個(gè)樣本，進(jìn)行單次drop out。 2. 思想 stacking方法中的子模型。事實(shí)...
-
drop-out在有監(jiān)督任務(wù)上的應(yīng)用—Rdrop場(chǎng)景：有監(jiān)督模型中，利用dropout的方式，增強(qiáng)模型的泛化能力。 drop-out在無(wú)監(jiān)督學(xué)習(xí)上的應(yīng)用 ：用于對(duì)比學(xué)習(xí)。同個(gè)query，dro...
-
ERNIE主題：根據(jù)額外的信息輸入（實(shí)體），增強(qiáng)語(yǔ)言表征能力。利用大規(guī)模的文本語(yǔ)料庫(kù)以及KG圖，訓(xùn)練得到一個(gè)增強(qiáng)的語(yǔ)言表示模型。 問(wèn)題：將額外的知識(shí)加入語(yǔ)...
-
降噪自動(dòng)編碼器（Denoising AutoEncoder）+BERT
背景：隨著科技發(fā)展。出現(xiàn)處理更多的高維數(shù)據(jù)，比如圖像、語(yǔ)音。1）傳統(tǒng)的統(tǒng)計(jì)學(xué)-機(jī)器學(xué)習(xí)方法：由于數(shù)據(jù)維度過(guò)高，數(shù)據(jù)單調(diào)，噪聲分布廣，傳統(tǒng)的特征工...
-
Pytorch中的DataLoader, DataSet, Sampler
DataLoader： 數(shù)據(jù)的迭代器，數(shù)據(jù)是model直接可用的格式。分成一個(gè)個(gè)的batch。 DataSet : 根據(jù)索引，拿到數(shù)據(jù)后。對(duì)數(shù)據(jù)...
-
python3+pytorch+horovod 安裝最近研究poly-encoder ，用的是pytorch 進(jìn)行的開(kāi)發(fā)。在代碼優(yōu)化時(shí)，調(diào)研到torch本身的DataParallel實(shí)現(xiàn)，在效率上...
-
lambdaMART-1.GBDTboosting思想：疊加多個(gè)弱模型，漸進(jìn)的逼近真實(shí)情況。問(wèn)題在于：如何保證擬合方向正確，如何疊加弱模型的結(jié)果。 問(wèn)題： 以什么目標(biāo)學(xué)習(xí)下一棵樹(shù)...