Win11 + WSL2 + cuda + TensorFlow的深度學(xué)習(xí)開發(fā)環(huán)境的搭建 并連接mac

前言

前段時間升級了windows臺式機,由于雙系統(tǒng)實在過于麻煩,而且現(xiàn)在wsl2已經(jīng)很成熟了, 可以帶來比較好的windows上的開發(fā)體驗, 但是在環(huán)境準備過程中還是有不少坑的, 更具網(wǎng)上的資料和官方文檔整理一下, 該文檔僅代表win11的環(huán)境,win10是否適用不清楚

系統(tǒng)環(huán)境

  • 硬件
    • 12th Gen Intel(R) Core(TM) i7-12700KF
    • 32G 3600
    • RTX3070ti
  • 系統(tǒng)
    • Windows11 21H2
    • WSL2
    • Ubuntu2004

WSL2 Install

  1. 開啟Windows功能: 系統(tǒng)設(shè)置 -> 應(yīng)用 -> 可選功能 -> 最下邊的 「更多 Windows 功能」 -> 找到并勾選 「Hyper-V」和「適用于 Linux 的 Windows 子系統(tǒng)」-> 點擊確定
# 命令行開啟虛擬化(如果下面安裝過程中報錯的話)
bcdedit /set hypervisorlaunchtype auto

WRAN: 重啟電腦

image.png
  1. 配置和安裝wsl2和ubuntu
# Wran: 以管理員身份運行terminal
# 1. 設(shè)置版本為wsl2
wsl --set-default-version 2
# 更新wsl
wsl --update
# 查看可安裝的Linux版本
wsl --list online
# 安裝Ubuntu20.04
wsl --install -d Ubuntu-20.04
  1. 安裝完成后會自動啟動Ubuntu, 然后按照提示配置基本信息

Cuda Install

首先在windows上去官網(wǎng)下載并安裝(更新)顯卡驅(qū)動

windows上顯卡驅(qū)動安裝成功以后wsl2下的ubuntu可以使用nvidia-smi查看gpu的運行狀態(tài)(以管理員啟動terminal)

image.png

安裝Cuda

我測試的時候官方文檔推薦的方式是使用cuda-toolkit安裝11.4版本, 但是我發(fā)現(xiàn)和tensorflow還存在兼容性問題, 所以我選擇使用官方安裝包安裝11.2版本的cuda(后面會接受toolkit的方式)

方法1. 官方cuda包安裝

# 下載官方cuda安裝程序
wget https://developer.download.nvidia.com/compute/cuda/11.2.0/local_installers/cuda_11.2.0_460.27.04_linux.run

# 執(zhí)行安裝程序安裝cuda(根據(jù)提示操作)
sudo sh cuda_11.2.0_460.27.04_linux.run

方法2. cuda-toolkit安裝

sudo dpkg -i cuda*ubuntu*_amd64.deb
sudo dpkg -i cuda*-cross-aarch64*_all.deb
sudo apt-get update
sudo apt-get install cuda-toolkit-x-x -y
sudo apt-get install cuda-cross-aarch64* -y

添加環(huán)境變量

vim ~/.bashrc

# cuda
export CUDA_HOME="/usr/local/cuda-11.2"
export PATH="${CUDA_HOME}/bin:$PATH"
export LD_LIBRARY_PATH="/usr/local/cuda-11.2/lib64:$LD_LIBRARY_PATH"

source ~/.bashrc

安裝CUDnn

首先去官網(wǎng)下載對應(yīng)版本的包https://developer.nvidia.com/rdp/cudnn-archive(如果沒有nv賬號的需要先注冊賬號)

# 扔到ubuntu上(我選擇的是 cudnn-11.2-linux-x64-v8.1.1.33.tgz)
# 解壓
tar tar zxvf ./cudnn-11.2-linux-x64-v8.1.1.33.tgz 

# 移動
sudo cp cuda/include/cudnn*.h /usr/local/cuda-11.2/include
sudo cp -P cuda/lib64/libcudnn* /usr/local/cuda-11.2/lib64
sudo chmod a+r /usr/local/cuda-11.2/include/cudnn*.h 
sudo chmod a+r /usr/local/cuda-11.2/lib64/libcudnn*

安裝TensorFlow

注意: tensoflow的版本對于cuda和cudnn的版本, 可以去官網(wǎng)查詢https://www.tensorflow.org/install/source#gpu
(tensorflow1.0的版本是分gpu和cpu兩種的, 而2.0以后就不分了)

# TensorFlow 2
pip3 install tensorflow==2.6.0

# TensorFlow 1需要單獨制定gpu的版本, 不過官網(wǎng)顯示1.0的版本不兼容python3.8和當(dāng)前版本的cuda所以我沒有做測試

測試GPU的連接

import tensorflow as tf

print(tf.test.is_built_with_gpu_support())
print(tf.config.list_physical_devices())


# terminal output
root@iMac:~/susur/PythonProject# python3 -u "/root/susur/PythonProject/tf_test.py"
True
2022-04-18 13:46:52.440924: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:923] could not open file to read NUMA node: /sys/bus/pci/devices/0000:01:00.0/numa_node
Your kernel may have been built without NUMA support.
2022-04-18 13:46:52.464878: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:923] could not open file to read NUMA node: /sys/bus/pci/devices/0000:01:00.0/numa_node
Your kernel may have been built without NUMA support.
2022-04-18 13:46:52.465102: I tensorflow/stream_executor/cuda/cuda_gpu_executor.cc:923] could not open file to read NUMA node: /sys/bus/pci/devices/0000:01:00.0/numa_node
Your kernel may have been built without NUMA support.
[PhysicalDevice(name='/physical_device:CPU:0', device_type='CPU'), PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

這個ould not open file to read NUMA node:...的警告是wsl的通病, 官方的解釋是無害警告, 可以正常運行;

VSCode on WSL

  1. 安裝插件: Remote - WSL
image.png
  1. 登入wsl (就可以使用vscode on wsl 開發(fā)代碼了)


    image.png

Mac ssh登入Wsl2

windows上開發(fā)和調(diào)試還是不習(xí)慣所以我嘗試了一下Mac遠程連接wsl的方式, 感覺下來還是挺好用的

除了完成傳統(tǒng)linux環(huán)境下ssh的配置以外, 還需要注意幾點

  1. wsl2可以和windows本機共享一個ip, 而wsl2默認的ssh 端口為23, 也就是說其ssh-host為${you-windows-ip}:23, (這里要注意的是, wsl2上的端口要避免和windows上產(chǎn)生沖突);
  2. 雖然是共享ip,但是外界并不能直接訪問wsl2, 需要配置端口映射才能訪問;
  3. 需要在防火墻開發(fā)端口的訪問權(quán)限;

防火墻開發(fā)端口

Windows安全中心 -> 防火墻和網(wǎng)絡(luò)保護 -> 高級設(shè)置


image.png
image.png

配置開放端口


image.png
image.png
image.png

設(shè)置端口映射

# option prot proxy
netsh interface portproxy add v4tov4 listenport=23 listenaddress=0.0.0.0 connectport=23 connectaddress=localhost
# show port proxy
netsh interface portproxy show all


偵聽 ipv4:                 連接到 ipv4:

地址            端口        地址            端口
--------------- ----------  --------------- ----------
0.0.0.0         23          localhost       23

然后設(shè)置完其他常規(guī)的ssh配置以后mac上就可以正常使用ssh連接wsl2了

image.png

VSCode on Wsl for Mac

在mac端的vscode上安裝插件: Remote-ssh

然后在~/.ssh/config文件中配置ssh連接信息就可以了

# my windows wsl2
Host Wsl2
  HostName 192.168.31.100
  User root
  Port 23
image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點,簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容