OpenKiwi筆記

學(xué)習(xí)一下機(jī)器翻譯質(zhì)量評估的開源工具OpenKiwi 做一點(diǎn)筆記
論文
repo
文檔
快速入門

OpenKiwi是一款Pytorch實(shí)現(xiàn)的QE系統(tǒng),在WMT 2015-18公開任務(wù)上都達(dá)到了最佳性能, 方便實(shí)驗(yàn)多種模型.
支持QUETCH, NUQE , Predictor-Estimator, APE-QE 這幾種當(dāng)前最流行的QE模型, 并且可以很方便的對多個模型進(jìn)行l(wèi)inear stacked ensemble

支持的模型

• predictor and estimator
• nuqe
• quetch
• linear

安裝

pip 安裝

pip install openkiwi

安裝后

import kiwi

或者命令行運(yùn)行

kiwi

使用mlflow(可選)

pip install mlflow

使用

運(yùn)行下面的命令就可以訓(xùn)練

 python kiwi train --config config.yml

config.yml 為配置文件

現(xiàn)在 支持的命令有 train, predict, jackknife, evaluate

或者

import kiwi
config = 'config.yml'
run_info = kiwi.train(config)

訓(xùn)練完成后,使用訓(xùn)練好的模型預(yù)測

model = kiwi.load_model(
run_info.model_path
)
source = [
'the Sharpen tool sharpens '
'areas in an image .'
]
target = [
'der Sch¨arfen-Werkezug '
'Bereiche in einem Bild '
'sch¨arfer erscheint .'
]
examples = [{
'source': source,
'target': target
}]
out = model.predict(examples)