Torch-TensorRT 搭建過程


參考:
pytorch docker 官方 here
Torch-TensorRT repo 官方 here
Torch-TensorRT 文檔 here
TensorRT repo 官方 here
NVIDIA-docker2 文檔 here
報(bào)錯(cuò) [gpu]... 解決(nvidia-docker2) here
docker卸載和安裝 here


環(huán)境搭建

  1. docker uninstall install
    First uninstall :
    https://blog.csdn.net/qq_41985134/article/details/120653645
    remember to set user sudo, delete "apt autoremove ... '-' "
    Then directly install this :
    https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/install-guide.html
    卸載 nvidia-docker:
# Vscode sudo error https://www.jb51.net/article/216148.htm:
sudo groupadd docker          #添加docker用戶組
sudo gpasswd -a $USER docker  #將當(dāng)前用戶添加至docker用戶組
newgrp docker                 #更新docker用戶組
  1. 第一種方法,docker里開發(fā)
    裝完nvidia-docker2后,
    docker run -p 7777:8888 --gpus all -it --rm -v /home/gzy:/home nvcr.io/nvidia/pytorch:22.01-py3
    jupyter notebook
    瀏覽器localhost:7777
    或者先pull再run:
    sudo docker pull nvcr.io/nvidia/pytorch:22.01-py3
    docker run -p 7777:8888 --gpus all -it --rm -v /home/gzy:/home nvcr.io/nvidia/pytorch:22.01-py3
    docker run --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864
    docker run -p 7777:8888 --gpus all --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 -it --rm -v /home/gzy:/home nvcr.io/nvidia/pytorch:22.01-py3
    docker images查看本地鏡像
報(bào)錯(cuò): 可能是賓館網(wǎng)絡(luò)有墻的原因,換成手機(jī)4G熱點(diǎn)就可以了;之前在香港也能直接下載;
1. retrying in 10 seconds
2. docker read: connection reset by peer
3. snap裝的docker重啟后不好用了,snap remove 卸載后 apt install 重裝,鏡像名恢復(fù)正常(22.05,之前顯示21.12可能是殘留的信息)

  1. 第二種方法,ubuntu本地編譯
    參考 Torch-TensorRT repo,電腦的nvidia driver、cuda、cudnn版本最好和pytorch docker里的一樣;先安裝bazel,再用bazel編譯

tensorRT自定義 plugin


最后編輯于
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容