Jieba使用實驗
本文嘗試了jieba的三種分詞模式、自定義字典、計算頻數(shù)并將頻數(shù)較高的分詞結(jié)果存入csv文件。
1. 配置
安裝jieba
pip install jieba
2. jieba三種分詞模式嘗試
jieba的分詞一般用cut函數(shù)完成，函數(shù)定義如下：
def cut(sentence,cut_all=False,HMM=True):
其中sentence是需要分詞的句子樣本；cut_all是分詞的模式，默認是false是精準模式；HMM就是隱馬爾可夫鏈，這個是在分詞的理論模型中用到的，默認是開啟的。
jieba分詞的模式分為三種：
- 精確模式，試圖將句子最精確地切開，適合文本分析；
- 全模式，把句子中所有的可以成詞的詞語都掃描出來, 速度非?？?，但是不能解決歧義；
- 搜索引擎模式，在精確模式的基礎上，對長詞再次切分，提高召回率，適合用于搜索引擎分詞。
由于本組的課程設計為導師搜索引擎，所以本次實驗的分詞對象選用了四川大學公共管理學院官網(wǎng)的夏志強教師的簡介文本：
實現(xiàn)jieba三種分詞模式的python代碼如下：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
#全模式
seg_list = jieba.cut(text,cut_all=True)
print "[全模式]: ","/ ".join(seg_list)
#精確模式
seg_list = jieba.cut(text,cut_all=False)
print "[精確模式]: ","/ ".join(seg_list)
#搜索引擎模式
seg_list = jieba.cut_for_search(text)
print "[搜索引擎模式]: ","/ ".join(seg_list)
運行結(jié)果如下：
3. 自定義字典
從結(jié)果中我們可以看出，專有名詞"公共管理學院、"博士生導師"、"政治學類"可能因分詞而分開，這也是很多分詞工具的又一個缺陷。但是Jieba分詞支持開發(fā)者使用自定定義的詞典，以便包含jieba詞庫里沒有的詞語。雖然結(jié)巴有新詞識別能力，但自行添加新詞可以保證更高的正確率，尤其是專有名詞。
- 新建dict.txt
在代碼中引入自定義字典：
jieba.load_userdict("dict.txt") #自定義字典-
結(jié)果：
我們可以看到由于添加了自定義詞典，“公共管理學院”、“博士生導師”、“副主任”等詞被連起來了。
4. 計算詞頻并存入文件后，得到最終結(jié)果
為實現(xiàn)計數(shù)并存入文件，我使用了python的Counter模塊對分詞結(jié)果列表進行計數(shù)，使用了csv模塊將結(jié)果寫入csv編輯。
最終代碼如下：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import jieba
import csv
from collections import Counter
import codecs
jieba.load_userdict("dict.txt") #自定義字典
def word_frequency(text):
seg_list = [seg for seg in jieba.cut(text,cut_all=False) if len(seg)>=2] #字符串長度為2及以上的精確分詞的list
count = Counter(seg_list) #計數(shù)
csv =open('result.csv','w') #打開或新建一個csv文件
csv.write(codecs.BOM_UTF8) #防止亂碼
for wordcount in count.most_common(50):
word,freq=wordcount
csv.write(word+','+str(freq)+'\n') #寫入csv文件
print (word,freq)
if __name__=='__main__':
with open('text1.txt','r') as t:
text=t.read() #打開待分詞文本文件
word_frequency(text)
運行結(jié)果，輸出了50個頻次最高的分詞及其對應的頻數(shù)：
順便用在線工具按詞頻做了一個詞云：
IK Analyzer使用實驗
配置
1. 安裝Apache Solr
wget [http://mirror.bit.edu.cn/apache/lucene/solr/7.3.1/solr-7.3.1.tgz](http://mirror.bit.edu.cn/apache/lucene/solr/7.3.1/solr-7.3.1.tgz)
tar zxvf solr-7.3.1.tgz
啟動solr服務
sudo ./solr start -p 8983 -force
啟動成功（圖中是8080端口，但實際上我們最后用的是8983）
2. 配置IK Analyzer
- 將IK分詞器 JAR 包拷貝到../server/solr-webapp/webapp/WEB-INF/lib下
- 將詞典配置文件拷貝到 ../server/solr-webapp/webapps/solr/WEB-INF/classes下
- 新建core
sudo ./solr create -c hyjcore -p 8983 -force
在core下，conf中放的是配置文件，stopwords中放的是停用詞 - 修改conf下的managed-schema配置文件，添加ik analyzer的相關配置
- 在bin下重啟solr服務
sudo ./solr start -p 8983 -force
進行分詞
使用chrome瀏覽器進入http://139.199.177.192:8983（公網(wǎng)ip和solr運行端口）/solr/#/
運行結(jié)果：
從分詞結(jié)果來看，IK Analyzer和Jieba的全模式和搜索引擎模式結(jié)果較為相似，但從語義上來看精確度不如Jieba的精確模式。
