一、前言 TVM是通過Relay進(jìn)行模型計(jì)算圖IRModule的構(gòu)建，并且可以使用不同的優(yōu)化策略（即Pass）對IRModule進(jìn)行優(yōu)化，最終編譯成特定后端可執(zhí)行的代碼（co...
發(fā)簡信
IP屬地：廣東
-
【TVM系列十一】Relay可視化
-
【TVM系列九】FFI注冊機(jī)制
一、前言 TVM通過PackedFunc機(jī)制實(shí)現(xiàn)了Python與C++之間的相互調(diào)用，即FFI(Foreign Function Interface)，整體流程與原理可以參閱...
-
【TVM系列七】TVMC介紹
一、前言 TVMC是TVM python包提供的一個工具，可以通過命令行的方式執(zhí)行auto-tuning，編譯，性能profiling以及模型運(yùn)行。本文將根據(jù)TVM官網(wǎng)的指導(dǎo)...
-
【TVM系列六】PackedFunc原理一、前言 在TVM中，PackedFunc貫穿了整個Stack，是Python與C++進(jìn)行互相調(diào)用的橋梁，深入理解PackedFunc的數(shù)據(jù)結(jié)構(gòu)及相應(yīng)的調(diào)用流程對理解整個TV...
-
【TVM系列五】添加Relay自定義算子
一、前言 本文以實(shí)現(xiàn)一個axis_abs的自定義算子為例介紹如何在tvm中添加新的relay算子，該算子實(shí)現(xiàn)的功能是以輸入的3維tensor取某一維度的指定切片取絕對值。 二...
-
【TVM系列四】模型編譯與運(yùn)行過程一、前言 針對神經(jīng)網(wǎng)絡(luò)模型的編譯，TVM封裝了非常簡潔的python接口，如下： 在上一篇文章中介紹了模型的算子轉(zhuǎn)換與Relay IR Module的流程，當(dāng)TVM將Rela...
-
【TVM系列三】算子轉(zhuǎn)換調(diào)用流程一、前言 本文將從源碼分析一個算子在TVM中是如何從前端到后端的轉(zhuǎn)換過程。首先來看一下keras模型編譯推理的一個示例：通過pip安裝好keras和tensorflow，按照...
-
【TVM系列二】TVM介紹一、TVM的工作流程 TVM主要由兩個部分組成： （1）TVM編譯器：負(fù)責(zé)編譯和優(yōu)化模型 （2）TVM runtime：提供目標(biāo)設(shè)備上運(yùn)行模型的API 1、整體流程 如圖所示...
-
【TVM系列一】開發(fā)環(huán)境搭建一、前言 眾所周知，深度學(xué)習(xí)的計(jì)算量龐大，在追求效率與實(shí)用性的工業(yè)界，深度學(xué)習(xí)所面臨的一個最大的問題就是如何在不影響模型精度的前提下將算法模型部署到目標(biāo)硬件平臺上進(jìn)行高效的前...