對于序列標注來講,普通CNN有一個劣勢,就是卷積之后,末層神經(jīng)元可能只是得到了原始輸入數(shù)據(jù)中一小塊的信息。而對NER來講,整個句子的每個字都有可能都會對當前需要標注的字做出影響。為了覆蓋到輸入的全部信息就需要加入更多的卷積層, 導致層數(shù)越來越深,參數(shù)越來越多,而為了防止過擬合又要加入更多的Dropout之類的正則化,帶來更多的超參數(shù),整個模型變得龐大和難以訓練。因為CNN這樣的劣勢,大部分序列標注問題人們還是使用biLSTM之類的網(wǎng)絡結(jié)構(gòu),盡可能使用網(wǎng)絡的記憶力記住全句的信息來對單個字做標注。
9NER實戰(zhàn)-(4)IDCNN+CRF
最后編輯于 :
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務。
相關(guān)閱讀更多精彩內(nèi)容
- Training spaCy’s Statistical Models訓練spaCy模型 This guide d...
- 1.文本分類 轉(zhuǎn)眼學生生涯就結(jié)束了,在家待就業(yè)期間正好有一段空閑期,可以對曾經(jīng)感興趣的一些知識點進行總結(jié)。 本文介...
- 前面的文章主要從理論的角度介紹了自然語言人機對話系統(tǒng)所可能涉及到的多個領(lǐng)域的經(jīng)典模型和基礎知識。這篇文章,甚至之后...
- 命名體識別(Name Entity Recognition)是自然語言處理(Nature Language Pro...
- 【收盤播報】滬指四連陽沖擊3400點 創(chuàng)業(yè)板重上1900點整數(shù)關(guān)口 滬指今日強勢震蕩,收盤微幅上揚0.03%,收報...