1.背景
上一篇利用xlwings庫，實現(xiàn)文件名與excel表格內(nèi)容的極大似然匹配標注（一）文章（以下簡稱文章一）的末尾提到存在的不足與改進的方向。
-
先來簡單說明一下任務：當前文件夾中存放著目標表格（hotels.xlsx），表格中內(nèi)容是收集上來各個酒店的詳細信息，包括全稱以及其他信息，表格如下圖所示：
部分表格.png目前征集上來收取的各個賓館的承諾書存放在當前目錄下“住宿行業(yè)承諾書”這個文件夾。我們需要根據(jù)收取到的承諾書，在hotels.xlsx上面賓館名稱一列標出顏色，從而篩選出沒有交的企業(yè)。
當前目錄結(jié)構(gòu)住宿行業(yè)承諾書文件夾內(nèi)部 文章一的不足在于，承諾書的文件名稱需要與表格中的完全匹配，一個字符都不能差。然而現(xiàn)實工作中這樣的要求是很苛刻的，一般收取上來的承諾書有賓館的簡稱就已經(jīng)很不錯了。
帶著問題，博主咨詢了在字節(jié)、快手互聯(lián)網(wǎng)大廠工作的三位大佬@江風不眠晚來霧@黃_01fd@麻辣小王子。三位大佬各自提出了切實有效的解決方法。經(jīng)過電話連線討論，博主最終決定采用如下的方法：計算每個文件名與表格每個賓館名稱文本的相似度，文本相似度最高的，確定為極大似然匹配，之后在表格中標注。
2.實現(xiàn)
- 需要用到jieba分詞以及gensim等工具。
- 思路如下：
1.在hotels.xlsx單元表格中獲取所有賓館的名字全稱并存至列表生成文本集hotel_names。在住宿行業(yè)承諾書文件夾獲取所有賓館簡稱，生成關(guān)鍵字keywords庫；
2.用jieba分詞對hotel_names處理，生成分詞列表hotel_names；
3.基于分詞列表hotel_names建立詞典dictionary，并獲得詞典特征數(shù)num_features；
4.基于詞典dictionary，將分詞列表集hotel_names轉(zhuǎn)換成稀疏向量集corpus，稱作語料庫corpus；
5.用詞典dictionary將keywords庫中的每一個keyword轉(zhuǎn)換成稀疏向量；
6.創(chuàng)建TF-IDF模型，傳入語料庫corpus訓練；
7.用TF-IDF模型處理語料庫，得到sparse_matrix；
8.對于每一個keyword，用TF-IDF模型處理，得到相似度。獲取相似度最大的那一個的索引，在表格上找出標黃。
- 代碼貼上：
'''
Descripttion: 利用xlwings庫，實現(xiàn)文件名與excel表格內(nèi)容的極大似然匹配標注
version: V2.0
Author: HK
Date: 2022-04-11 22:25:44
LastEditors: HK
LastEditTime: 2022-04-13 23:36:30
'''
import os
from sklearn.decomposition import sparse_encode
import xlwings as xw
from jieba import lcut
from gensim.similarities import SparseMatrixSimilarity
from gensim.corpora import Dictionary
from gensim.models import TfidfModel
import numpy as np
hotel_names = []
hotel_file_path = "./hotels.xlsx"
hotel_names_path = "./住宿行業(yè)承諾書/"
keywords = os.listdir(hotel_names_path)
for i in range(len(keywords)):
index = keywords[i].rfind('.')
keywords[i] = keywords[i][0:index]
try:
app = xw.App(visible=False,add_book=False)
wb = app.books.open(hotel_file_path)
sht = wb.sheets("Sheet1")
info = sht.used_range
nrows = info.last_cell.row
for i in range(3,nrows + 1):
rng = "C%d" % i
item = sht.range(rng)
hotel_names.append(item.value)
hotel_names = [lcut(hotel_name) for hotel_name in hotel_names]
dictionary = Dictionary(hotel_names)
num_features = len(dictionary.token2id)
corpus = [dictionary.doc2bow(hotel_name) for hotel_name in hotel_names]
kw_vectors = [dictionary.doc2bow(lcut(keyword)) for keyword in keywords]
tfidf = TfidfModel(corpus)
tf_texts = tfidf[corpus]
sparse_matrix = SparseMatrixSimilarity(tf_texts,num_features)
for kw_vector in kw_vectors:
tf_kw = tfidf[kw_vector]
similarities = sparse_matrix.get_similarities(tf_kw)
index = np.argmax(similarities)
item = sht.range(f'C{index + 3}')
item.color = (255,255,0)
finally:
wb.save()
wb.close()
app.quit()
3.總結(jié)
- 跑了二十多個測試用例，結(jié)果還不錯，后面還需要增加測試用例，進行準確率分析。感謝三位大佬的建議，讓博主減少了很多工作量，也懇請各位看官批評指正。
