一、前言 1、什么是分詞 在講分詞算法之前,先來研究一下什么是分詞?分詞是將語句按照語境,以字詞為單位劃分的一個(gè)過程,如下圖所示: 2、為什么需...
一、前言 詞袋模型是早些年使用的詞向量模型,該模型假設(shè)每個(gè)詞都是獨(dú)立的,僅僅使用詞在文章中的頻率來決定如何表達(dá)詞,并將每個(gè)詞的表達(dá)通過組合來表征...
一、簡要說明 Bert火遍了2019,不少修行者躍躍欲試,然而訓(xùn)練bert模型是一次很昂貴的過程,想簡單地先享受一下成果變得有些困難。幸而goo...
一、引言 偶然有了個(gè)歪主意,想看看群里哪些人交流較為頻繁,哪些人更傾向于潛水,同時(shí)觀察哪些人喜歡用哪些詞聊天,于是找了個(gè)死黨群,導(dǎo)出了一份QQ群...
一、引言 在NLP-統(tǒng)計(jì)語言模型中已經(jīng)簡要介紹過語言模型的相關(guān)知識,該文中已闡述語言模型的應(yīng)用場景和一些傳統(tǒng)的實(shí)現(xiàn)方式,本文接著演示n-gram...
一、引言 本文借助Q-learning簡單的實(shí)現(xiàn)一個(gè)機(jī)器人認(rèn)錯的demo,先一睹效果: 為了簡化問題,筆者給它預(yù)設(shè)了三個(gè)答案: ['你管我', ...
一、引言 在NLP-統(tǒng)計(jì)語言模型中簡要介紹了統(tǒng)計(jì)語言模型的原理和實(shí)現(xiàn)方法,以bigram為例,計(jì)算了 的概率,這是比較理想的情況,而現(xiàn)實(shí)與理想的...
一、問題引出 有時(shí)候比較懶,各種文件都堆積在桌面或者某個(gè)文件夾,想整理的時(shí)候發(fā)現(xiàn)已是滿屏,不知如何下手?。?!筆者最近又遇見此問題,哎,要是能寫個(gè)...
一、數(shù)學(xué)模型 1、由來 語言模型起初是為了計(jì)算句子的合理性。在我們看來一句話是否合理主要還是判斷其是否合乎語法,表達(dá)清晰,通俗的來講就是:說的是...