tensorrt對(duì)cudnn有嚴(yán)格依賴關(guān)系,版本一定要完全契合。
我安裝的版本:
tensorrt 8.2.1.8
CUDA 11.2.0
cuDNN 11.3
(下文的版本還沒(méi)來(lái)得及改)

1. 配置CUDA
安裝tensorrt前需要配置好CUDA,CUDAToolkit等,詳見(jiàn)?PyTorch安裝:從環(huán)境到安裝全程(CUDA,cuDNN,PyTorch安裝) - 簡(jiǎn)書(shū)
2. 安裝tensortflow
3.安裝tensorrt
官方安裝說(shuō)明?TensorRT Documentation
(1)安裝PyCUDA
沒(méi)有numpy庫(kù)的話需要先下載, pip install numpy。
確保CUDA正常安裝并且cuda的bin目錄已經(jīng)添加到PATH,下載對(duì)應(yīng)版本的PyCUDA 下載網(wǎng)址:

跳轉(zhuǎn)到下載位置,通過(guò)語(yǔ)句安裝: pip install? pycuda(+Tab)

(2)下載TensorRT
tensorrt包下載官網(wǎng)地址:NVIDIA Developer Program Membership Required | NVIDIA Dev
根據(jù)安裝的CUDA的版本(在下載鏈接的題目中有標(biāo)明),下載對(duì)應(yīng)的tensorrt:

(3)解壓安裝包
解壓tensorrt.tar,把 ‘D:\Program Files\TensorRT-7.2.3.4\lib’ (參考自己的具體存儲(chǔ)位置)添加至環(huán)境變量。
(4)把..\lib文件夾下的DLL文件拷貝到cuda對(duì)應(yīng)版本的安裝目錄下。
目錄 D:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin 【不是C盤的?】

另外,把tensorrt的bin? lib? include中的相應(yīng)文件(dll-bin, lib-lib, include-include)粘貼進(jìn)c:\..\cuda\v11.2的相應(yīng)文件夾。

(5)安裝uff和graphsurgeon
在 ...\Tensor...(輸入前幾個(gè)字母,按Tab,自動(dòng)補(bǔ)充后面的部分)\中,分別跳轉(zhuǎn)到?graphsurgeon ,uff文件,輸入指令安裝


復(fù)制lib文件夾的 .dll 格式文件到CUDA目錄(例如:C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.2\bin)。

4.把tensorrt\lib的路徑添加至環(huán)境路徑

5. 測(cè)試結(jié)果
VS2015的測(cè)試方法在很多博客里有詳細(xì)過(guò)程,但是我的C盤實(shí)在不允許再下載一個(gè)新版本SDK了……
一個(gè)很直觀的辦法,在pycharm里看看,成功引入,沒(méi)有報(bào)錯(cuò)(目前看來(lái)是沒(méi)有問(wèn)題的,后面跑碼的時(shí)候看看輸出的結(jié)果就能確定了,大概)。
