來源:https://www.cnblogs.com/aaronthon/p/9974546.html
關(guān)鍵方法
提取文檔內(nèi)容
讀取TXT文檔
txt文檔的讀取很簡單,直接用python自帶的open()方法就好,代碼如下所示:
讀取TXT文檔
def read_txt(path):
'''實現(xiàn)TXT文檔的讀取,一次將內(nèi)容全部取出'''
content = ''
with open(path) as f:
content = f.read()
return content
也可以用readline()讀取每一行
讀取Word文檔
讀取Word文檔也比較簡單,導入第三方庫python-docx,安裝指令為pip install python-docx,實例代碼如下:
import docx # 安裝指令:pip install python-docx
def translate(self):
'''翻譯'''
# 獲取文檔對象
doc = docx.Document(self.fullName)
# 創(chuàng)建內(nèi)存中的word文檔對象
new_doc = docx.Document()
# 遍歷每一段文本
for para in doc.paragraphs:
# 翻譯
trans = baidu_translate(para.text)
# 寫入新文件
new_doc.add_paragraph(para.text)
new_doc.add_paragraph(trans)
# 保存到本地文件
new_doc.save(self.new_fullPath)
讀取PDF文檔
讀取PDF文檔同樣需要安裝第三方庫,主要有PyPDF2和pdfminer,這兩個庫我都有去了解,算是各有特點吧。
PyPDF2使用相對簡單,但只支持英文,對中文支持不太友好;相反pdfminer使用相對而言要復雜點,僅僅是相對而言,其支持多種語言,圖表、圖片等,功能較強大。這兩種方式我在代碼中均有實現(xiàn),其實例代碼如下:
PyPDF2
安裝指令:pip install pypdf2
from PyPDF2.pdf import PdfFileReader
def translate(self):
'''讀取pdf內(nèi)容,并翻譯,寫入txt文件'''
f = open(self.fullPath,'rb')
pdf = PdfFileReader(f)
for i in range(0,pdf.getNumPages()):
extractedText = pdf.getPage(i).extractText()
content = extractedText.split('\n')
content = self.removeBlankFromList(content)
# 拼接之后的文本,如果單詞間歇超過一個空格的,認為是需要換行處理的
content_list = self.enter_symbol(content)
for line in content_list:
trans = baidu_translate(line)
self.write(line + '\n')
self.write(trans)
f.close()
Logger().write(self.fileName + '翻譯完成,新文檔:' + self.new_fullPath)
pdfminer
安裝指令:pip install pdfminer3k
from pdfminer.pdfparser import PDFParser,PDFDocument
from pdfminer.pdfinterp import PDFResourceManager,PDFPageInterpreter
from pdfminer.layout import LAParams,LTTextBoxHorizontal
from pdfminer.converter import PDFPageAggregator
from pdfminer.pdfinterp import PDFTextExtractionNotAllowed
def translate(self):
'''讀取pdf內(nèi)容,并翻譯,寫入txt文件'''
# 以二進制讀模式打開本地pdf文件
fp = open(self.fullPath,'rb')
# 用文件對象來創(chuàng)建一個pdf文檔分析器
praser_pdf = PDFParser(fp)
# 創(chuàng)建一個PDF文檔
doc_pdf = PDFDocument()
# 連接分析器與文檔對象
praser_pdf.set_document(doc_pdf)
doc_pdf.set_parser(praser_pdf)
# 提供初始化密碼doc.initialize("123456"),如果沒有密碼 就創(chuàng)建一個空的字符串
doc_pdf.initialize()
# 檢查文檔是否提供txt轉(zhuǎn)換,不提供就無法翻譯文檔
if not doc_pdf.is_extractable:
Logger().write(self.fileName + '未能提取有效的文本,停止翻譯。')
return
else:
# 創(chuàng)建PDF資源管理器來共享資源
rsrcmgr = PDFResourceManager()
# 創(chuàng)建一個PDF參數(shù)分析器
laparams = LAParams()
# 創(chuàng)建聚合器
device = PDFPageAggregator(rsrcmgr,laparams=laparams)
# 創(chuàng)建一個PDF頁面解釋器對象
interpreter = PDFPageInterpreter(rsrcmgr,device)
# 循環(huán)遍歷列表,每次處理一頁的內(nèi)容
for page in doc_pdf.get_pages():
# 使用頁面解釋器來讀取
interpreter.process_page(page)
# 使用聚合器獲取內(nèi)容
layout = device.get_result()
# 這里layout是一個LTPage對象 里面存放著 這個page解析出的各種對象 一般包括LTTextBox, LTFigure, LTImage, LTTextBoxHorizontal 等等 想要獲取文本就獲得對象的text屬性,
for out in layout:
# 判斷是否含有g(shù)et_text()方法,圖片之類的就沒有
if isinstance(out,LTTextBoxHorizontal):
content = out.get_text()
trans = baidu_translate(content)
self.write(content)
self.write(trans)
Logger().write(self.fileName + '翻譯完成,新文檔:' + self.new_fullPath)
調(diào)用翻譯接口
利用python網(wǎng)絡爬蟲可以很輕松的實現(xiàn)數(shù)據(jù)爬取,這里就是利用這種“手段”實現(xiàn)翻譯功能,對此,還是要感謝這些接口提供商,感謝CCTV、鐵嶺TV。
百度翻譯
百度翻譯有反爬機制,電腦端的爬蟲會被干掉,所幸手機端可以使用,代碼如下所示:
import urllib.request
import urllib.parse
import json
百度翻譯方法
def baidu_translate(content,type=1):
'''實現(xiàn)百度翻譯'''
baidu_url = 'http://fanyi.baidu.com/basetrans'
data = {}
data['from'] = 'en'
data['to'] = 'zh'
data['query'] = content
data['transtype'] = 'translang'
data['simple_means_flag'] = '3'
data['sign'] = '94582.365127'
data['token'] = 'ec980ef090b173ebdff2eea5ffd9a778'
data = urllib.parse.urlencode(data).encode('utf-8')
headers = {"User-Agent":"Mozilla/5.0 (Linux; Android 5.1.1; Nexus 6 Build/LYZ28E) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.84 Mobile Safari/537.36"}
baidu_re = urllib.request.Request(baidu_url, data, headers)
baidu_response = urllib.request.urlopen(baidu_re)
baidu_html = baidu_response.read().decode('utf-8')
target2 = json.loads(baidu_html)
trans = target2['trans']
ret = ''
for i in range(len(trans)):
ret += trans[i]['dst'] + '\n'
return ret
谷歌翻譯
首先需要一個類實現(xiàn)JS碼的生成
import execjs
class Py4Js():
def __init__(self):
self.ctx = execjs.compile("""
function TL(a) {
var k = "";
var b = 406644;
var b1 = 3293161072;
var jd = ".";
var $b = "+-a^+6";
var Zb = "+-3^+b+-f";
for (var e = [], f = 0, g = 0; g < a.length; g++) {
var m = a.charCodeAt(g);
128 > m ? e[f++] = m : (2048 > m ? e[f++] = m >> 6 | 192 : (55296 == (m & 64512) && g + 1 < a.length && 56320 == (a.charCodeAt(g + 1) & 64512) ? (m = 65536 + ((m & 1023) << 10) + (a.charCodeAt(++g) & 1023),
e[f++] = m >> 18 | 240,
e[f++] = m >> 12 & 63 | 128) : e[f++] = m >> 12 | 224,
e[f++] = m >> 6 & 63 | 128),
e[f++] = m & 63 | 128)
}
a = b;
for (f = 0; f < e.length; f++) a += e[f],
a = RL(a, $b);
a = RL(a, Zb);
a ^= b1 || 0;
0 > a && (a = (a & 2147483647) + 2147483648);
a %= 1E6;
return a.toString() + jd + (a ^ b)
};
function RL(a, b) {
var t = "a";
var Yb = "+";
for (var c = 0; c < b.length - 2; c += 3) {
var d = b.charAt(c + 2),
d = d >= t ? d.charCodeAt(0) - 87 : Number(d),
d = b.charAt(c + 1) == Yb ? a >>> d: a << d;
a = b.charAt(c) == Yb ? a + d & 4294967295 : a ^ d
}
return a
}
""")
def getTk(self,text):
return self.ctx.call("TL",text)
調(diào)用方法如下所示:
from Py4Js import *
谷歌翻譯方法
def google_translate(content):
'''實現(xiàn)谷歌的翻譯'''
js = Py4Js()
tk = js.getTk(content)
if len(content) > 4891:
print("翻譯的長度超過限制!??!")
return
param = {'tk': tk, 'q': content}
result = requests.get("""http://translate.google.cn/translate_a/single?client=t&sl=en
&tl=zh-CN&hl=zh-CN&dt=at&dt=bd&dt=ex&dt=ld&dt=md&dt=qca&dt=rw&dt=rm&dt=ss
&dt=t&ie=UTF-8&oe=UTF-8&clearbtn=1&otf=1&pc=1&srcrom=0&ssel=0&tsel=0&kc=2""", params=param)
#返回的結(jié)果為Json,解析為一個嵌套列表
trans = result.json()[0]
ret = ''
for i in range(len(trans)):
line = trans[i][0]
if line != None:
ret += trans[i][0]
return ret
有道翻譯
有道翻譯的代碼實現(xiàn)如下所示:
import urllib.request
import urllib.parse
import json
有道翻譯方法
def youdao_translate(content):
'''實現(xiàn)有道翻譯的接口'''
youdao_url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'
data = {}
data['i']= content
data['from'] = 'AUTO'
data['to'] = 'AUTO'
data['smartresult'] = 'dict'
data['client'] = 'fanyideskweb'
data['salt'] = '1525141473246'
data['sign'] = '47ee728a4465ef98ac06510bf67f3023'
data['doctype'] = 'json'
data['version'] = '2.1'
data['keyfrom'] = 'fanyi.web'
data['action'] = 'FY_BY_CLICKBUTTION'
data['typoResult'] = 'false'
data = urllib.parse.urlencode(data).encode('utf-8')
youdao_response = urllib.request.urlopen(youdao_url, data)
youdao_html = youdao_response.read().decode('utf-8')
target = json.loads(youdao_html)
trans = target['translateResult']
ret = ''
for i in range(len(trans)):
line = ''
for j in range(len(trans[i])):
line = trans[i][j]['tgt']
ret += line + '\n'
return ret
寫入文檔
寫TXT文檔
TXT文檔的寫比較簡單,代碼如下所示:
寫TXT文檔
def write_txt(path,content):
'''實現(xiàn)TXT文檔的寫方法'''
with open(path,'a+') as f:
f.write(content)
寫Word文檔
Word文檔的寫就是用上面所屬的python-docx庫實現(xiàn),在上面讀取Word文檔小節(jié)中已有代碼明細,非常之簡單,這里就不在贅述。
寫PDF文檔
同上,寫PDF文檔,用PyPdf和pdfminer均可實現(xiàn),PyPDF相對而言要簡單寫,因本腳本對翻譯后的文檔只實現(xiàn)了Word和TXT的寫,方便對文檔進行編輯處理,若需要生成PDF文檔,有興趣可自行研究。
好了,關(guān)鍵技術(shù)已基本描述清楚,下面就是具體的實現(xiàn)過程和效果對比。