第一個(gè)，求的是p(wt=i|wt-1,..wt-n+1),即用前n個(gè)詞來(lái)計(jì)算當(dāng)前詞的概率，其中解碼空間是整個(gè)詞表，也就是對(duì)于第t個(gè)詞，我們用前n個(gè)詞計(jì)算他是詞表中第i個(gè)詞的概率；
第二個(gè)問(wèn)題，對(duì)所有語(yǔ)料下進(jìn)行計(jì)算概率后求和，其概率為1
神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型（NNLM）首先看一個(gè)例子： ztc/ 上下/ 齊/ 拼搏/ ，誓為/ 春戰(zhàn)/ 做/ 貢獻(xiàn) 這句話呢通順，意思明白，那如果換一下詞的位置： 上下/ 齊/ 拼搏/ ztc/ ，春站/ 做/...
更好的閱讀體驗(yàn)，請(qǐng)?zhí)D(zhuǎn)至如何提升bert在下游任務(wù)中的性能[https://xv44586.github.io/2020/11/24/fine-tune/] 隨著Transf...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至AdaBelief-更穩(wěn)定的優(yōu)化器[https://xv44586.github.io/2020/10/25/adabelief/] 對(duì)Adam 進(jìn)行改...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至模型增強(qiáng)(1)利用NLG 增強(qiáng)QA 任務(wù)性能[https://xv44586.github.io/2020/08/22/qa-augmentation/...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至模型增強(qiáng)(2) 從label下手[https://xv44586.github.io/2020/09/13/classification-label-a...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至樣本不均衡之難易不均衡[https://xv44586.github.io/2020/10/14/focal-loss/] 上篇看樣本下菜的FastBE...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至PET-文本分類的又一種妙解[https://xv44586.github.io/2020/10/25/pet/] 之前的一篇《模型增強(qiáng)-從label下...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至Knowledge Distillation (3) 看樣本下菜的FastBERT[https://xv44586.github.io/2020/09...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至Knowledge Distillation (2) 知識(shí)遷移[https://xv44586.github.io/2020/08/31/bert-01...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至Knowledge Distillation (1) 模塊替換之bert-of-theseus-上篇[https://xv44586.github.io...
更好的閱讀體驗(yàn)請(qǐng)?zhí)D(zhuǎn)至Knowledge Distillation (1) 模塊替換之bert-of-theseus-下篇[https://xv44586.github.i...
這兩周玩了一下ccf 2020 中的房產(chǎn)聊天問(wèn)答匹配[https://www.datafountain.cn/competitions/474]比賽，雖然還沒(méi)完賽，但是先總結(jié)...
最近有同學(xué)問(wèn)nlp中如何做data augmentation，這篇總結(jié)下目前知道的方法。 數(shù)據(jù)增強(qiáng) 數(shù)據(jù)增強(qiáng)技術(shù)已經(jīng)是圖像領(lǐng)域的標(biāo)配了，如旋轉(zhuǎn)、鏡像、翻轉(zhuǎn)等。由于圖像本身的特...
前言 bert中使用的優(yōu)化器整體是一個(gè)帶有線性調(diào)整學(xué)習(xí)率的帶有 權(quán)重衰減 而不進(jìn)行bias correct的Adam優(yōu)化器。下面一步一步介紹。 優(yōu)化器 首先，在上一篇 《深度...
本文嘗試通過(guò)一個(gè)框架來(lái)梳理深度學(xué)習(xí)中的常用優(yōu)化算法，即從SGD到NAdam。 整體框架 我們?cè)O(shè)待學(xué)習(xí)參數(shù)為 w , 目標(biāo)函數(shù)為 f(w)， 初始學(xué)習(xí)率為α。第t時(shí)刻的梯度為g...
yolov4出來(lái)后，簡(jiǎn)單做下測(cè)試，看到結(jié)果還是相當(dāng)給力的。 注意看中間有個(gè)被遮擋的馬，在yolov3中是檢測(cè)不到的，yolov4中檢測(cè)出來(lái)了，精度確實(shí)提升了。 那再來(lái)測(cè)試一下...
深度神經(jīng)網(wǎng)絡(luò)由于其巨大的參數(shù)量，可以很方便的擬合非常復(fù)雜的非線性關(guān)系，同時(shí)，巨大的參數(shù)量也給模型帶來(lái)了過(guò)擬合的問(wèn)題。為了解決這個(gè)問(wèn)題，也有人提出了早停和加入正則項(xiàng)等手段。而在...
你這電影看了個(gè)啥？基本劇情都沒(méi)看明白還在這評(píng)價(jià)呢？不管申公豹還是敖丙還是哪吒，三人都是在對(duì)抗成見，這么直白的主題都看不明白你就別瞎評(píng)論了行嗎
為什么被你們吹爆了的《哪吒》，我只看到了滿屏的尷尬？昨天我看了個(gè)動(dòng)畫片。片子講的是一個(gè)村里有個(gè)小孩子自出生起體內(nèi)就封印了一股強(qiáng)大的妖力，于是村民們把他當(dāng)做妖怪，畏懼他，疏遠(yuǎn)他，避之唯恐不及。他表面上滿不在乎，在村子里為非作歹，...
