基于 Docker + llama.cpp 的本地化 AI 代理平臺完整部署指南
本方案已在單卡 22GB 顯存（如 RTX 2080Ti）環(huán)境下驗(yàn)證，達(dá)到性能與功能的較好平衡，適用于 長上下文、低并發(fā)、高精度 的私有化 AI 代理場景。

目錄

• 方案說明
• llama.cpp 本地模型服務(wù)部署
• OpenClaw 部署指南
• 常見問題與注意事項(xiàng)
• 總結(jié)與建議

前言

為什么選擇本地部署而非調(diào)用云端 API？

為什么模型選擇：Qwen3.5 系列

Qwen3.5 采用了一種混合架構(gòu)，解決超大參數(shù)模型在推理時的效率瓶頸。

• ? MoE 稀疏激活：Qwen3.5-397B-A17B 總參數(shù) 397B，僅激活 17B，激活率 <4.3%，推理成本媲美 20B 級模型。
• ? 線性注意力機(jī)制：Gated DeltaNet + Gated Attention 混合架構(gòu)，將注意力復(fù)雜度從O(n2) 降至 O(n)，原生支持 1M Token 上下文。
• ? 長上下文支持：1,048,576 Token 原生支持，無需滑動窗口，適用于全文檔分析、長代碼庫、多輪對話記憶。

模型規(guī)格（2026 年 3 月）

llama.cpp 本地模型服務(wù)部署

1. 下載模型

Qwen3.5-35B-A3B 性能已超越參數(shù)規(guī)模大數(shù)倍的 Qwen3-235B-A22B 與 Qwen3-VL-235B-A22B，這里使用的是GGUF 格式int4 模型。
從 Hugging Face 獲取量化后的 GGUF 模型：

模型地址：https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF

# 創(chuàng)建模型目錄
mkdir -p ./models/unsloth/Qwen3.5-35B-A3B-GGUF

# 下載 Q4_K_M 量化模型（約 22GB）
wget -O ./models/unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf \
  https://huggingface.co/unsloth/Qwen3.5-35B-A3B-GGUF/resolve/main/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf

2. 部署 llama.cpp 服務(wù)

docker run -d \
  --gpus all \
  --restart unless-stopped \
  --name cpp-qwen3.5-35b-a3b-ud-q4_k_m \
  --shm-size=16g \
  -p 8001:8001 \
  -v ./models:/models \
  ghcr.io/ggml-org/llama.cpp:server-cuda \
  --model /models/unsloth/Qwen3.5-35B-A3B-GGUF/Qwen3.5-35B-A3B-UD-Q4_K_M.gguf \
  --alias Qwen3.5-35B-A3B-UD-Q4_K_M \
  --ctx-size 128000 \
  --n-gpu-layers 99 \
  --host 0.0.0.0 \
  --port 8001 \
  --parallel 1 \
  --threads 16

GitHub: https://github.com/ggml-org/llama.cpp

3. 驗(yàn)證服務(wù)

curl http://10.0.0.10:8001/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen3.5-35B-A3B-UD-Q4_K_M",
    "messages": [{"role": "user", "content": "寫一個快速排序的Python函數(shù)"}],
    "temperature": 0.7
  }'

4. 顯存使用情況

Snipaste_2026-03-05_17-48-00.png

OpenClaw 部署指南

項(xiàng)目文檔

• GitHub: https://github.com/openclaw/openclaw
• 文檔: https://docs.openclaw.ai/
• Skills 市場: https://clawhub.ai/skills

部署步驟

1. 克隆項(xiàng)目

git clone https://github.com/openclaw/openclaw
cd openclaw

2. 構(gòu)建鏡像

docker build -t openclaw:latest -f Dockerfile .

3. 配置 .env

OPENCLAW_IMAGE=openclaw:latest
OPENCLAW_CONFIG_DIR=./config
OPENCLAW_WORKSPACE_DIR=./workspace
OPENCLAW_GATEWAY_PORT=18789
OPENCLAW_BRIDGE_PORT=18790
OPENCLAW_GATEWAY_BIND=lan

4. 初始化服務(wù)

docker compose run --rm openclaw-cli onboard

5. 配置本地模型（config/openclaw.json）

{
  "agents": {
    "defaults": {
      "model": {
        "primary": "llama-cpp/Qwen3.5-35B-A3B-UD-Q4_K_M"
      },
      "maxConcurrent": 4,
      "workspace": "/home/node/.openclaw/workspace"
    }
  },
  "models": {
    "providers": {
      "llama-cpp": {
        "baseUrl": "http://10.0.0.1:8001/v1",
        "apiKey": "not-needed",
        "api": "openai-completions",
        "models": [{
          "id": "Qwen3.5-35B-A3B-UD-Q4_K_M",
          "name": "Qwen3.5-35B-A3B-UD-Q4_K_M",
          "contextWindow": 128000,
          "maxTokens": 65536,
          "cost": { "input": 0, "output": 0 }
        }]
      }
    }
  },
  "controlUi": {
    "allowInsecureAuth": true
  }
}

6. 啟動服務(wù)

docker compose up -d openclaw-gateway

打開WebUI 服務(wù)網(wǎng)站，如果不清楚，可通過下面代碼獲取連接和token

docker compose run --rm openclaw-cli dashboard --no-open

Snipaste_2026-03-05_17-51-44.png

7. 終端Telegram 集成

1. 通過 @BotFather 創(chuàng)建 Bot，獲取 Token。
2. 在 openclaw.json 中啟用：

"channels": {
  "telegram": {
    "enabled": true,
    "botToken": "YOUR_TELEGRAM_BOT_TOKEN"
  }
}

3. 用戶首次交互會生成配對碼，管理員批準(zhǔn)：

docker compose run --rm openclaw-cli pairing approve telegram <CODE>

Snipaste_2026-03-09_11-34-00.png

常見問題與注意事項(xiàng)

總結(jié)與建議

最佳實(shí)踐建議

1. 硬件配置：RTX 2080 Ti（22GB）可穩(wěn)定運(yùn)行 Q4_K_M 量化版 Qwen3.5-35B，若追求更高性能可考慮升級至 RTX 3090/4090。
2. 模型選擇：單卡 22GB 條件下已達(dá)到性能與功能的較好平衡，適合 長上下文、低并發(fā)、高精度 的私有化 AI 代理場景。
3. 安全策略：生產(chǎn)環(huán)境應(yīng)禁用 allowInsecureAuth，并配置 SSL/TLS 加密通信。