自然語(yǔ)言處理是人工智能皇冠上的明珠
自然語(yǔ)言處理的基本流程：
- 分詞（Segment）
- 命名實(shí)體識(shí)別（NER）
- 詞性標(biāo)注（Pos Tagging）
- 句法分析（短語(yǔ)結(jié)構(gòu)分析、句子依存分析）
- 語(yǔ)義分析（包括：語(yǔ)義消歧，主要針對(duì)多義詞在文中的意思；語(yǔ)義角色標(biāo)注，主要是標(biāo)注出一個(gè)句子中主謂賓狀語(yǔ)等。語(yǔ)義角色標(biāo)注過于依賴句法分析的準(zhǔn)確性，不過目前句法分析的準(zhǔn)確性并不是特別高，因此語(yǔ)義角色標(biāo)注的效果一般。）
-
篇章分析（在一篇文章中段落的順序、句子的順序都是很重要的，按照正確的表達(dá)序列排序才能構(gòu)成完整的篇章。在篇章分析中可以劃分的結(jié)構(gòu)有篇章-段落-句子-詞、篇章-句子-詞、篇章-詞等。）
以上的六個(gè)基本流程是自然語(yǔ)言處理中無法繞開的步驟，也是做好自然語(yǔ)言處理中最重要的環(huán)節(jié)。
自然語(yǔ)言處理的應(yīng)用：
- 文本分類與情感分析（如：新聞自動(dòng)分類、商品評(píng)價(jià)情感分析）
- 信息抽取與自動(dòng)文摘（如：非結(jié)構(gòu)化數(shù)據(jù)中抽取實(shí)體信息）
- 問答系統(tǒng)（如：IBM的Watson系統(tǒng)）
- 信息檢索（如：搜索引擎）
- 人機(jī)對(duì)話系統(tǒng)Chatbot（如：微軟小冰）
- 機(jī)器翻譯（如：谷歌翻譯）
