Windows11+docker+wsl2 部署深度學(xué)習(xí)環(huán)境ollama+anythinllm+chatbox

?? Windows 11 硬件配置信息

【1】系統(tǒng)基礎(chǔ)信息
系統(tǒng)版本: Windows 10 10.0.26200
系統(tǒng)類型: 64bit (x86)
【2】CPU信息
CPU型號(hào): AMD64 Family 25 Model 68 Stepping 1, AuthenticAMD
物理核心數(shù): 8
邏輯核心數(shù)(線程數(shù)): 16
CPU主頻: 2560.00 MHz
【3】內(nèi)存信息
總內(nèi)存: 31.19 GB
【4】顯卡/顯存信息
顯卡型號(hào): NVIDIA GeForce RTX 4060 Laptop GPU
總顯存: 8188.0 MB

1 安裝 WSL2

開啟 適用于 Linux 的 Windows 子系統(tǒng) 和 虛擬機(jī)平臺(tái)功能
打開設(shè)置,點(diǎn)擊應(yīng)用,然后再點(diǎn)擊可選功能
在可選功能中點(diǎn)擊更多 Windows 功能
查看是否已經(jīng)勾選開啟了 適用于 Linux 的 Windows 子系統(tǒng) 和 虛擬機(jī)平臺(tái) (我安裝 Docker Desktop 重啟后,這兩個(gè)選項(xiàng)已經(jīng)被勾選上了,如果發(fā)現(xiàn)沒有勾選上,那么需要先勾選上重啟電腦后再進(jìn)行 WSL 的安裝)

  • 將 WSL 2 設(shè)置為默認(rèn)版本
    wsl --set-default-version 2
    Microsoft Store中找到ubuntu22.04 安裝
  • 遷移 WSL2 安裝位置
    WSL2 默認(rèn)安裝在 C 盤,我們可以通過以下步驟遷移安裝位置
    通過以下命令列出已安裝的 Linux 發(fā)行版:
    wsl -l -v
    關(guān)閉wsl
    wsl --shutdown
    然后注銷并卸載 Ubuntu-22.04
    導(dǎo)出
    wsl --export Ubuntu-22.04 e:\Ubuntu-22.04.tar
    wsl --unregister Ubuntu-22.04
    再次查看已安裝的 Linux 發(fā)行版:
    wsl -l -v
    導(dǎo)入
    wsl --import Ubuntu-22.04 E:\ubuntu2204 E:\Ubuntu-22.04.tar

2 部署docker

  • 配置國內(nèi)的鏡像源

配置文件加入

{

"registry-mirrors": [

"https://docker.m.daocloud.io"

]

}

  • 用國內(nèi)的源安裝docker 和nvidia-toolkit等,使用gpu

國內(nèi)鏡像源安裝步驟

可以使用中國科技大學(xué)(USTC)鏡像源完成安裝。

添加 USTC 鏡像源 下載 GPG 密鑰并配置 APT 源:

curl -fsSL https://mirrors.ustc.edu.cn/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -s -L https://mirrors.ustc.edu.cn/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \

sed 's#deb https://nvidia.github.io#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://mirrors.ustc.edu.cn#g' | \

sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

更新 APT 包列表并安裝工具

sudo apt-get update

sudo apt-get install -y nvidia-container-toolkit

配置 Docker 運(yùn)行時(shí) 使用以下命令生成配置文件并重啟 Docker 服務(wù):

sudo nvidia-ctk runtime configure --runtime=docker

sudo systemctl restart docker

驗(yàn)證安裝

運(yùn)行以下命令測試 GPU 是否可用:

docker run --rm --gpus all nvidia/cuda:12.6.0-base-ubuntu24.04 nvidia-smi

如果成功,將顯示與宿主機(jī)相同的 GPU 信息。

image.png

3 安裝ollama

安裝ollma鏡像并啟動(dòng)
docker run -d --gpus=all -v ollama:/root/.ollama -p 11434:11434 --name ollama docker.m.daocloud.io/ollama/ollama
進(jìn)入ollma容器
運(yùn)行deepseek ,成功使用gpu
ollama run deepseek-r1:1.5b

image.png

安裝chatbox

下載 [Chatbox (https://chatboxai.app/zh)

安裝UI 打開chatbox

設(shè)置后端模型控制

image.png
image.png

docker部署anythingllm

  1. 使用國內(nèi)鏡像倉庫拉取
    華為云鏡像(推薦)
    docker pull swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm:latest
    阿里云鏡像(備選)
    docker pull registry.cn-hangzhou.aliyuncs.com/c_c_c/anythingllm:latest

2 重命名鏡像(可選)
docker tag swr.cn-north-4.myhuaweicloud.com/ddn-k8s/docker.io/mintplexlabs/anythingllm:latest yihui8776/anythingllm:v1

  1. 創(chuàng)建存儲(chǔ)目錄
    mkdir -p anythingllm/storage
    touch anythingllm/storage/.env
  2. 啟動(dòng)容器
    docker run -d --name anythingllm -p 3001:3001 -v /mnt/f/ubuntu2204/anythingllm/storage:/app/server/storage -v /mnt/f/ubuntu2204/anythingllm/storage/.env:/app/server/.env -e STORAGE_DIR="/app/server/storage" --cap-add SYS_ADMIN yihui8776/anythingllm:v1
image.png
image.png

image.png
?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請(qǐng)結(jié)合常識(shí)與多方信息審慎甄別。
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容