參考n-gram：
https://blog.csdn.net/songbinxu/article/details/80209197
本篇講述語(yǔ)言模型及重要的幾個(gè)概念，nlp基礎(chǔ)補(bǔ)一下。
語(yǔ)言模型概念
LM（language model）
語(yǔ)言模型用來(lái)判斷：是否一句話從語(yǔ)法上通順。
通過(guò)概率來(lái)判斷
鏈?zhǔn)椒▌tCHAIN RULE
聯(lián)合概率通過(guò)條件概率和邊緣概率來(lái)表達(dá)
馬爾科夫假設(shè)
Markov Assumption
是什么？
一件事情發(fā)生僅與最近的幾次相關(guān)性大
為什么要用？
一個(gè)這么長(zhǎng)的句子出現(xiàn)的次數(shù)肯定很少，導(dǎo)致概率稀疏性，也就是0.
也就是右邊句子很長(zhǎng)，概率大部分都是0.
解決：
最大似然估計(jì)
上面的p概率怎么計(jì)算？就是用MLE。
語(yǔ)言模型--unigram
語(yǔ)言模型--Bigram
語(yǔ)言模型--N-gram
unigram：Estimating Probability
評(píng)估語(yǔ)言模型
不依賴任何任務(wù)、場(chǎng)景
語(yǔ)言模型修正：平滑
語(yǔ)言模型修正：插值
