[TensorRT] 使用TensorRT加速深度模型入門(mén)

引言

最近在做一個(gè)項(xiàng)目，需要使用TensorRT去加速神經(jīng)網(wǎng)絡(luò)模型運(yùn)行。TensorRT支持FP16、 INT8等數(shù)據(jù)類(lèi)型， 在運(yùn)用后，發(fā)現(xiàn)模型推理速度大大提高，英偉達(dá)的TensorRT實(shí)在太強(qiáng)了。只可惜這個(gè)工具沒(méi)有開(kāi)源，不然真要好好研究。

由于我原本使用了PyTorch來(lái)訓(xùn)練我的模型， 而TensorRT無(wú)法直接加載PyTorch的模型，需要使用ONNX作為中間媒介。中間踩了些坑，不過(guò)后面都解決了。根據(jù)此寫(xiě)了個(gè)小教程，分享給大家

教程

代碼已經(jīng)上傳到GitHub啦，請(qǐng)移步傳送門(mén)

結(jié)語(yǔ)

聽(tīng)說(shuō)TensorRT已經(jīng)出INT4類(lèi)型的加速了，真是可怕，后續(xù)會(huì)跟進(jìn)的。
喜歡的話請(qǐng)加星點(diǎn)贊喲

最后編輯于 ：
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成，瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明：文章內(nèi)容（如有圖片或視頻亦包括在內(nèi)）由作者上傳并發(fā)布，文章內(nèi)容僅代表作者本人觀點(diǎn)，簡(jiǎn)書(shū)系信息發(fā)布平臺(tái)，僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容