之前查找了很多資料，發(fā)現語料準備這塊的方法論很有限，在我看來如果說AI是個學生，語料其實是教科書，是知識的海洋，是AI的糧食，非常重要。
本文主要探討有充分的語料基礎后對語料進行預處理的辦法。
1，眾包打標簽
2，手工規(guī)則提取
關鍵詞特征，使用數據庫進行批量標記。
實體識別后特征選取，使用分詞工具根據詞性來標記。
詞頻統計，對高頻特殊詞單獨標記。
### Dialogflow 邊標記邊訓練，不斷校正測試效果。
Explosion.ai 的 Prodigy ， 快速手工標記，后臺學習，提供預判，個人覺得并不好用。
3, 專家手工打標簽
推薦Excel，可以與數據庫互傳數據，可以指定標簽詞匯范圍，進行快速輸入。
我總覺得語料工具應該有更大的發(fā)展空間，需要做的更好！