搜狗詞庫的批量下載#Python

在制作電子病歷全文索引時,需要建立索引,索引是根據(jù)索引詞建立的,現(xiàn)有索引詞匱乏,不能滿足需求,搜尋之后,發(fā)現(xiàn)搜狗輸入法的醫(yī)學(xué)詞庫很龐大,所以,想著自學(xué)寫一個Python腳本,完成詞庫的自動下載工作。

正文

分析參考資料代碼

通過分析代碼發(fā)現(xiàn),思路是:

  1. 獲取分類鏈接
  2. 獲取該分類的分頁鏈接
  3. 獲取該頁下載鏈接-->生成一個list
  4. 通過list下載內(nèi)容

所需模塊知識補(bǔ)充

1、requests和BeautifulSoup模塊(分類、分頁、下載鏈接都涉及)

  • 爬取網(wǎng)頁過程
  • 獲取網(wǎng)頁數(shù)據(jù)-->requests模塊,并轉(zhuǎn)換成txt格式
  • 解析數(shù)據(jù)-->BeautifulSoup模塊,txt轉(zhuǎn)換成bs對象
  • 提取相關(guān)數(shù)據(jù)-->需要分析url找到想要的數(shù)據(jù)內(nèi)容,確定對應(yīng)的class_
  • 舉例,小分類的全部鏈接可以在cate_words_list的table下面全部找到,所以提取整體內(nèi)容items = soup.find_all('table', class_='cate_words_list')
image

2、write模塊

def download_dict(dl_url, path):    
    res = requests.get(dl_url, timeout=5)    
    with open(path, "wb") as fw:        
          fw.write(res.content)

總結(jié)

解析網(wǎng)頁和下載內(nèi)容部分進(jìn)行了詳細(xì)解釋,針對如何將scel文件轉(zhuǎn)換成txt文件,這里先不做講解了(我也沒弄明白呢),下次有機(jī)會再給大家分析分析。

附贈代碼下載鏈接

我用夸克網(wǎng)盤分享了「搜狗詞庫的批量下載#Python」,點擊鏈接即可保存。打開「夸克APP」,無需下載在線播放視頻,暢享原畫5倍速,支持電視投屏。
鏈接:https://pan.quark.cn/s/2d42c4b3ee60
提取碼:dtp5

參考資料

  1. Python 搜狗詞庫的批量下載
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容