背景:基于大規(guī)模的語(yǔ)言模型。在pretrain-fineTuning兩階段的范式下,pretrain 階段,數(shù)據(jù)量較大,學(xué)習(xí)到的知識(shí)泛化能力較強(qiáng)。fine tuning階段的...
背景:基于大規(guī)模的語(yǔ)言模型。在pretrain-fineTuning兩階段的范式下,pretrain 階段,數(shù)據(jù)量較大,學(xué)習(xí)到的知識(shí)泛化能力較強(qiáng)。fine tuning階段的...
任務(wù)背景:社區(qū)問(wèn)答中,識(shí)別用戶相似的問(wèn)題。主要應(yīng)用在兩個(gè)產(chǎn)品中。1是,當(dāng)用戶提問(wèn)時(shí),需要一段時(shí)間后,才會(huì)有反饋。此時(shí),可以給用戶推薦相似問(wèn)題的已有答案。2是,需要減少相似的問(wèn)...
1. 模型結(jié)構(gòu) orginal dropout : 對(duì)單個(gè)樣本,進(jìn)行單次drop out。 2. 思想 stacking方法中的子模型。事實(shí)證明,用多個(gè)子模型做模型融合可...
場(chǎng)景:有監(jiān)督模型中,利用dropout的方式,增強(qiáng)模型的泛化能力。 drop-out在無(wú)監(jiān)督學(xué)習(xí)上的應(yīng)用 :用于對(duì)比學(xué)習(xí)。同個(gè)query,drop前后的預(yù)測(cè)結(jié)果相同。不同qu...
背景:隨著科技發(fā)展。出現(xiàn)處理更多的高維數(shù)據(jù),比如圖像、語(yǔ)音。1)傳統(tǒng)的統(tǒng)計(jì)學(xué)-機(jī)器學(xué)習(xí)方法:由于數(shù)據(jù)維度過(guò)高,數(shù)據(jù)單調(diào),噪聲分布廣,傳統(tǒng)的特征工程很難奏效。2)降維方法,如線...
DataLoader: 數(shù)據(jù)的迭代器,數(shù)據(jù)是model直接可用的格式。分成一個(gè)個(gè)的batch。 DataSet : 根據(jù)索引,拿到數(shù)據(jù)后。對(duì)數(shù)據(jù)進(jìn)行 自定義的處理。具體處理邏...
最近研究poly-encoder ,用的是pytorch 進(jìn)行的開(kāi)發(fā)。在代碼優(yōu)化時(shí),調(diào)研到torch本身的DataParallel實(shí)現(xiàn),在效率上不如distributedDa...
boosting思想:疊加多個(gè)弱模型,漸進(jìn)的逼近真實(shí)情況。問(wèn)題在于:如何保證擬合方向正確,如何疊加弱模型的結(jié)果。 問(wèn)題: 以什么目標(biāo)學(xué)習(xí)下一棵樹(shù),保證損失函數(shù)的迭代方向正確?...
Redis是一種基于客戶端-服務(wù)端模型以及請(qǐng)求/響應(yīng)協(xié)議的TCP服務(wù)。這意味著通常情況下一個(gè)請(qǐng)求會(huì)遵循以下步驟: 客戶端向服務(wù)端發(fā)送一個(gè)查詢請(qǐng)求,并監(jiān)聽(tīng)Socket返回,通常...
廣義上搜索引擎的“相關(guān)推薦”包含這么幾個(gè)模塊: 1、suggest模塊:輸入query(關(guān)鍵詞)過(guò)程中出現(xiàn)在搜索框下方的智能推薦。 2、相關(guān)搜索模塊:就是搜索結(jié)果底部的那堆文...
場(chǎng)景:幫助用戶找到商品,達(dá)成某個(gè)滿減門檻(比如滿400減50),完成跨店湊單。 對(duì)場(chǎng)景的理解:認(rèn)為湊單的重要場(chǎng)景是當(dāng)用戶已經(jīng)加購(gòu)了商品A,還想找一個(gè)能一起打包買的商品B,而不...
第一問(wèn)題描述 對(duì)于 idea 下的 maven 工程,特別是從其他地方導(dǎo)入的新工程,右邊 maven 管理工具中 dependencies 若出現(xiàn)紅色波浪線。通常用以下方式嘗...
網(wǎng)絡(luò)構(gòu)成中,邊上帶了很豐富的交互信息,如何同時(shí)利用這部分信息進(jìn)行節(jié)點(diǎn)Embedding。比如“用戶”-“股票“之間的交易網(wǎng)絡(luò),邊上帶有豐富的“時(shí)間、價(jià)格、數(shù)量”特征,如何結(jié)合...
線上場(chǎng)景: 首頁(yè)推薦 場(chǎng)景特點(diǎn): 業(yè)務(wù)形態(tài)多樣、消費(fèi)場(chǎng)景多樣;推薦系統(tǒng),需要準(zhǔn)確捕獲用戶的興趣點(diǎn)或用戶的實(shí)時(shí)意圖。而且我們推薦的場(chǎng)景也會(huì)隨著用戶興趣、地點(diǎn)、環(huán)境、時(shí)間等變化而...
罪魁禍?zhǔn)卓赡苁悄愕?tmp目錄由于某種原因沒(méi)有足夠的空間。在pip安裝期間,pip將使用臨時(shí)目錄來(lái)執(zhí)行執(zhí)行安裝所需的操作(例如下載源等)。因此,如果您在/tmp中沒(méi)有足夠的空...
典型場(chǎng)景:圖像檢索。高維檢索。 本質(zhì): 很多稠密向量,要迅速找到某個(gè)點(diǎn)的臨近點(diǎn),并認(rèn)為這是相似度最高的點(diǎn)。 原始數(shù)據(jù)的表達(dá)形式為,N維連續(xù)值的向量。如果針對(duì)一個(gè)query,進(jìn)...
就是隨機(jī)的生成一些超平面(如1024個(gè)),哈希方法是看一個(gè)特征向量對(duì)應(yīng)的點(diǎn),是在平面的哪一側(cè),從而得到一組1,-1 的列表 l 。再用新生成的向量去計(jì)算相似度。= (1024...