【Ubuntu】Tensorflow對訓(xùn)練后的模型做8位(uint8)量化轉(zhuǎn)換

最近看到一個(gè)巨牛的人工智能教程,分享一下給大家。教程不僅是零基礎(chǔ),通俗易懂,而且非常風(fēng)趣幽默,像看小說一樣!覺得太牛了,所以分享給大家。平時(shí)碎片時(shí)間可以當(dāng)小說看,【點(diǎn)這里可以去膜拜一下大神的“小說”】。

1 量化為PB格式模型

從官方提供的tensorflow版本與編譯工具版本中選擇bazel版本下載,各個(gè)版本的Tensorflow與各個(gè)編譯環(huán)境映射表如下。

版本 Python 版本 編譯器 編譯工具 cuDNN CUDA
tensorflow_gpu-1.13.1 2.7 、3.3-3.6 GCC 4.8 Bazel 0.19.2 7.4 10.0
tensorflow_gpu-1.12.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.11.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.10.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 7 9
tensorflow_gpu-1.9.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.11.0 7 9
tensorflow_gpu-1.8.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.10.0 7 9
tensorflow_gpu-1.7.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9
tensorflow_gpu-1.6.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.9.0 7 9
tensorflow_gpu-1.5.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.8.0 7 9
tensorflow_gpu-1.4.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.5.4 6 8
tensorflow_gpu-1.3.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 6 8
tensorflow_gpu-1.2.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.5 5.1 8
tensorflow_gpu-1.1.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8
tensorflow_gpu-1.0.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.4.2 5.1 8

1.1 安裝bazel

打開地址:【Bazel官網(wǎng)】閱讀詳細(xì)的安裝步驟,從https://github.com/bazelbuild/bazel/releases/tag/0.19.2 下載0.19版本的bazel,這里我們在linux平臺(tái)下安裝,因此選擇bazel-0.19.2-installer-linux-x86_64.sh 如下圖所示

選擇bazel版本

安裝bazel:

# Step 1: Install required packages
sudo apt-get install pkg-config zip g++ zlib1g-dev unzip python3

# Step 2: Run the installer
chmod +x bazel-<version>-installer-linux-x86_64.sh
./bazel-0.19-installer-linux-x86_64.sh --user

# Step 3: Set up your environment
export PATH="$PATH:$HOME/bin"

# Step 4: Install the JDK  
sudo apt-get install openjdk-8-jdk

安裝過程中如果有以下異常:

  bazel depends on google-jdk | java8-jdk | java8-sdk | oracle-java8-installer; however:
  Package google-jdk is not installed.
  Package java8-jdk is not installed.
  Package java8-sdk is not installed.
  Package oracle-java8-installer is not installed.

先輸入java -versionjava是否安裝成功,如果沒安裝成功則重新安裝java
如果java正常,則輸入:sudo apt-get install -f
再安裝bazel

1.2 下載Tensorflow源碼

下載1.13版本Tensorflow源碼:https://github.com/tensorflow/tensorflow/tree/v1.13.2
使用bazel編譯tensorflow量化工具

bazel build tensorflow/tools/graph_transforms:transform_graph

1.3 執(zhí)行轉(zhuǎn)換量化命令

將導(dǎo)出的pb模型執(zhí)行模型量化轉(zhuǎn)換,以tensorflow_inception_graph.pb模型為例,命令如下:

bazel-bin/tensorflow/tools/graph_transforms/transform_graph \
--in_graph=tensorflow_inception_graph.pb \
--out_graph=optimized_inception_graph.pb \
--inputs='Mul:0' \
--outputs='softmax:0' \
--transforms='
strip_unused_nodes(type=float, shape="1,299,299,3")
remove_nodes(op=Identity, op=CheckNumerics)
fold_old_batch_norms
'

2 量化為TFLite格式模型

除了使用transform_graph工具對pb模型進(jìn)行量化轉(zhuǎn)換外,還可以使用TFLite對模型進(jìn)行量化處理,但是需要注意的是,使用TFLite轉(zhuǎn)換得到的量化模型是tflite結(jié)構(gòu),意味著只能在tflite中運(yùn)行(大部分場景為移動(dòng)端),可以參考官網(wǎng)詳細(xì)使用步驟:【https://www.tensorflow.org/lite/performance/post_training_quantization】
一個(gè)簡單的示例如下:

import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_saved_model(saved_model_dir)
converter.optimizations = [tf.lite.Optimize.OPTIMIZE_FOR_SIZE]
tflite_quant_model = converter.convert()
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容