- 是一組工具，使得模型可以在移動(dòng)設(shè)備上運(yùn)行
- 好處：沒(méi)有延遲，隱私性，離線，省電（聯(lián)網(wǎng)耗電大）
- 兩個(gè)主要的組件：
interpreter負(fù)責(zé)跑模型
converter負(fù)責(zé)模型轉(zhuǎn)換
主要特性
- API支持多種語(yǔ)言 Java, Swift, Objective-C, C++, Python
- 在特定的設(shè)備上支持硬件加速
- 模型優(yōu)化工具quantization，可以在不降低準(zhǔn)確性的前提下減小模型大小，提升性能。
-
FlatBuffers一種高效存儲(chǔ)模型的格式
基本流程
- 選擇模型
可以是自定義的，也可以是預(yù)訓(xùn)練過(guò)的，根據(jù)需要重新訓(xùn)練 - 轉(zhuǎn)換模型
如果是自定義的模型，使用converter進(jìn)行轉(zhuǎn)換 - 部署
調(diào)用API，使用interpreter在設(shè)備上運(yùn)行 - 優(yōu)化模型
使用model optimization toolkit優(yōu)化模型
局限性
- 目前
interpreter只支持的Tensorflow operators是有限的，也就意味著，轉(zhuǎn)換某些模型需要額外的步驟。
