背景：基于大規(guī)模的語(yǔ)言模型。在pretrain-fineTuning兩階段的范式下，pretrain 階段，數(shù)據(jù)量較大，學(xué)習(xí)到的知識(shí)泛化能力較強(qiáng)。fine tuning階段的...
發(fā)簡(jiǎn)信
IP屬地：四川
-
Raise a Child in Large Language Model: Towards Effective and Generalizable Fine-tuning -
Match2: A matching over Matching Model for Similar Question Identification
任務(wù)背景：社區(qū)問(wèn)答中，識(shí)別用戶相似的問(wèn)題。主要應(yīng)用在兩個(gè)產(chǎn)品中。1是，當(dāng)用戶提問(wèn)時(shí)，需要一段時(shí)間后，才會(huì)有反饋。此時(shí)，可以給用戶推薦相似問(wèn)題的已有答案。2是，需要減少相似的問(wèn)...
-
Multi-Sample Dropout1. 模型結(jié)構(gòu) orginal dropout ： 對(duì)單個(gè)樣本，進(jìn)行單次drop out。 2. 思想 stacking方法中的子模型。事實(shí)證明，用多個(gè)子模型做模型融合可...
-
drop-out在有監(jiān)督任務(wù)上的應(yīng)用—Rdrop場(chǎng)景：有監(jiān)督模型中，利用dropout的方式，增強(qiáng)模型的泛化能力。 drop-out在無(wú)監(jiān)督學(xué)習(xí)上的應(yīng)用 ：用于對(duì)比學(xué)習(xí)。同個(gè)query，drop前后的預(yù)測(cè)結(jié)果相同。不同qu...
-
-
降噪自動(dòng)編碼器（Denoising AutoEncoder）+BERT
背景：隨著科技發(fā)展。出現(xiàn)處理更多的高維數(shù)據(jù)，比如圖像、語(yǔ)音。1）傳統(tǒng)的統(tǒng)計(jì)學(xué)-機(jī)器學(xué)習(xí)方法：由于數(shù)據(jù)維度過(guò)高，數(shù)據(jù)單調(diào)，噪聲分布廣，傳統(tǒng)的特征工程很難奏效。2）降維方法，如線...
-
Pytorch中的DataLoader, DataSet, Sampler
DataLoader： 數(shù)據(jù)的迭代器，數(shù)據(jù)是model直接可用的格式。分成一個(gè)個(gè)的batch。 DataSet : 根據(jù)索引，拿到數(shù)據(jù)后。對(duì)數(shù)據(jù)進(jìn)行 自定義的處理。具體處理邏...
-
python3+pytorch+horovod 安裝最近研究poly-encoder ，用的是pytorch 進(jìn)行的開(kāi)發(fā)。在代碼優(yōu)化時(shí)，調(diào)研到torch本身的DataParallel實(shí)現(xiàn)，在效率上不如distributedDa...
-
lambdaMART-1.GBDTboosting思想：疊加多個(gè)弱模型，漸進(jìn)的逼近真實(shí)情況。問(wèn)題在于：如何保證擬合方向正確，如何疊加弱模型的結(jié)果。 問(wèn)題： 以什么目標(biāo)學(xué)習(xí)下一棵樹(shù)，保證損失函數(shù)的迭代方向正確？...
-
高效地向Redis插入大量的數(shù)據(jù)
Redis是一種基于客戶端-服務(wù)端模型以及請(qǐng)求/響應(yīng)協(xié)議的TCP服務(wù)。這意味著通常情況下一個(gè)請(qǐng)求會(huì)遵循以下步驟： 客戶端向服務(wù)端發(fā)送一個(gè)查詢請(qǐng)求，并監(jiān)聽(tīng)Socket返回，通常...
-
搜索引擎中“相關(guān)推薦”的場(chǎng)景
廣義上搜索引擎的“相關(guān)推薦”包含這么幾個(gè)模塊： 1、suggest模塊：輸入query（關(guān)鍵詞）過(guò)程中出現(xiàn)在搜索框下方的智能推薦。 2、相關(guān)搜索模塊：就是搜索結(jié)果底部的那堆文...
-
Graph-Embedding在淘寶“湊單”的應(yīng)用（帶權(quán)游走）場(chǎng)景：幫助用戶找到商品，達(dá)成某個(gè)滿減門檻（比如滿400減50），完成跨店湊單。 對(duì)場(chǎng)景的理解：認(rèn)為湊單的重要場(chǎng)景是當(dāng)用戶已經(jīng)加購(gòu)了商品A，還想找一個(gè)能一起打包買的商品B，而不...
-
idea dependencies波浪線-缺少依賴問(wèn)題
第一問(wèn)題描述 對(duì)于 idea 下的 maven 工程，特別是從其他地方導(dǎo)入的新工程，右邊 maven 管理工具中 dependencies 若出現(xiàn)紅色波浪線。通常用以下方式嘗...
-
基于Network Embedding 給客戶推薦股票網(wǎng)絡(luò)構(gòu)成中，邊上帶了很豐富的交互信息，如何同時(shí)利用這部分信息進(jìn)行節(jié)點(diǎn)Embedding。比如“用戶”－“股票“之間的交易網(wǎng)絡(luò)，邊上帶有豐富的“時(shí)間、價(jià)格、數(shù)量”特征，如何結(jié)合...
-
Deep&Wide實(shí)踐——讀“深度學(xué)習(xí)在美團(tuán)點(diǎn)評(píng)推薦平臺(tái)排序中的運(yùn)用”
線上場(chǎng)景： 首頁(yè)推薦 場(chǎng)景特點(diǎn)： 業(yè)務(wù)形態(tài)多樣、消費(fèi)場(chǎng)景多樣；推薦系統(tǒng)，需要準(zhǔn)確捕獲用戶的興趣點(diǎn)或用戶的實(shí)時(shí)意圖。而且我們推薦的場(chǎng)景也會(huì)隨著用戶興趣、地點(diǎn)、環(huán)境、時(shí)間等變化而...
-
升級(jí)tensorflow 遇到 no space left on device問(wèn)題
罪魁禍?zhǔn)卓赡苁悄愕?tmp目錄由于某種原因沒(méi)有足夠的空間。在pip安裝期間，pip將使用臨時(shí)目錄來(lái)執(zhí)行執(zhí)行安裝所需的操作(例如下載源等)。因此，如果您在/tmp中沒(méi)有足夠的空...
-
Approximate Nearest Neighbor搜索典型場(chǎng)景：圖像檢索。高維檢索。 本質(zhì)： 很多稠密向量，要迅速找到某個(gè)點(diǎn)的臨近點(diǎn)，并認(rèn)為這是相似度最高的點(diǎn)。 原始數(shù)據(jù)的表達(dá)形式為，N維連續(xù)值的向量。如果針對(duì)一個(gè)query，進(jìn)...
-
-
基于cosin 距離的LSH
就是隨機(jī)的生成一些超平面（如1024個(gè)），哈希方法是看一個(gè)特征向量對(duì)應(yīng)的點(diǎn)，是在平面的哪一側(cè)，從而得到一組1,-1 的列表 l 。再用新生成的向量去計(jì)算相似度。= （1024...