提起AR,你只能想起《口袋妖怪GO》?那么你就out了!近日,網(wǎng)易有道集合四大頂尖人工智能科技,推出國內(nèi)首個實景AR翻譯。經(jīng)測評,翻譯結(jié)果秒殺Google拍照翻譯哦!
什么是實景AR翻譯?
有道最近推出了實景 AR 翻譯功能,在有道翻譯官 App 中就能免費使用,并支持中英日韓四種語言的離線翻譯,這是國內(nèi)首家真正的 AR 翻譯,此前其他廠商所推的 AR 翻譯其實就是拍照翻譯。

實景AR 翻譯與拍照翻譯最大的不同在于,無需拍照再識別圖片內(nèi)容,而是對攝像頭中的文字內(nèi)容實時翻譯。有道實景AR翻譯的整個過程完全是動態(tài)的,和出國旅行、購物等場景十分契合,并且接入了有道的離線神經(jīng)網(wǎng)絡(luò)翻譯技術(shù)(YNMT),翻譯質(zhì)量堪比專業(yè)八級,速度極快。這比起以往的拍照翻譯,體驗上有了跨越式升級。
針對一些常見的翻譯語料,比如論文、化妝品包裝、個人證件、產(chǎn)品說明書,有道實景AR翻譯都做了專門的技術(shù)優(yōu)化。而在翻譯結(jié)果的視覺呈現(xiàn)上,翻譯結(jié)果的邊緣、背景色與字色均可與原背景無縫貼合。
實景AR翻譯的四大人工智能科技:
1.動態(tài)跟蹤 (Tracking)
不同于靜態(tài)的拍照翻譯,實景AR翻譯,是在動態(tài)移動的情況下完成。有道自主研發(fā)的動態(tài)跟蹤,就是用運動預(yù)測模型去實現(xiàn)動態(tài)跟蹤,速度能達(dá)到90幀/秒。“電影畫面的跟蹤速度是24幀/秒,所以有道的Tracking速度看起來是非常流暢的。”
2.OCR組段分析(Layout Analysis)
讓機器理解人類語言的段落層次,是影響翻譯結(jié)果很重要的因素。為此,有道用了OCR組段技術(shù)訓(xùn)練了上百萬份不同類型的語料。段亦濤表示,“組段技術(shù)在實景AR翻譯中非常重要,這也是為什么用戶會感覺到有道的實景AR翻譯會比谷歌更通順?!?/p>
3.離線神經(jīng)網(wǎng)絡(luò)翻譯(YNMT)
離線YNMT極大的提升了實景AR翻譯的速度。安裝不到100M大小的離線包,就可以在無網(wǎng)絡(luò)的環(huán)境下輕松翻譯。有道的YNMT是翻譯領(lǐng)域的最尖端的技術(shù)之一,中英翻譯質(zhì)量媲美專業(yè)八級。
4.AR渲染技術(shù)
后臺翻譯完成后,有道自主研發(fā)的AR引擎會在20毫秒內(nèi)完成像素級渲染。翻譯結(jié)果的背景邊緣、顏色以及字體顏色均保持與被攝原圖高度融合。
實景AR翻譯應(yīng)用場景多
1.外媒新聞翻譯
新聞翻譯是對翻譯 App 最好的試金石之一,因為經(jīng)常會出現(xiàn)結(jié)構(gòu)復(fù)雜的長句,要翻譯好需兼顧詞意、句法、語境等多個方面。從翻譯結(jié)果來看,有道實景 AR 翻譯令人滿意。

2.線上海淘商品:
網(wǎng)上海淘,很有必要了解清楚商品的相關(guān)信息,比如成分說明、注意事項和退換貨說明等。
有道翻譯官的實景AR 翻譯基本能準(zhǔn)確流暢地翻譯比較長的產(chǎn)品說明,翻譯結(jié)果也容易理解。這也是有道的一個秘密武器,就是 OCR的組段分析技術(shù),通過上百萬份語料訓(xùn)練,讓機器能看懂人的說話方式、分段方式,直接結(jié)合上下文翻譯,不用一個字一個字的翻譯后粗暴地集合在一起。

3.識別異國的車站路牌:
行走在異國的城市,對陌生地名、路牌的翻譯也是十分高頻的需求。 AR 翻譯比起過去手動輸入來說方便了不少。
從幾個場景的測試來看,使用有道實景 AR 翻譯,攝像頭從對準(zhǔn)文字到翻譯成目標(biāo)語言的響應(yīng)速度較快,做到實時翻譯。而且在把原文替換到目標(biāo)語言的同時完整地保留了文字背景,比用 PS 還快。

4.外文菜名翻譯:
雖然一些國家的餐廳已經(jīng)開始針對中國游客推出了中文菜單,但在國外就餐時還是會經(jīng)常碰到一頭霧水的情況,有道實景 AR 翻譯對菜名的翻譯也比較到位。

綜上所述,有道實景AR翻譯應(yīng)用人工智能科技,能很好地理解上下文的意思,并了解中文的表達(dá)習(xí)慣,能將翻譯結(jié)果自然地表達(dá)出來。并且AR翻譯的視覺交互體驗好,平面文字與背景的融合效果好。相信這種翻譯技術(shù)會在未來出國旅行、海淘等場景下應(yīng)用,提高效率,使生活更便利。