一、背景
運行環(huán)境，mac mini，24GB運存共享顯存，M4芯片。
二、步驟
(一)部署ollama
用來運行大模型的開源工具，原生安裝，官網(wǎng)官話下載雙擊安裝就行，暫時不用docker。
(二)部署模型： llama3.2:1b
可以搜索ollama支持的模型，注意模型參數(shù)量匹配的版本
默認(rèn)模型存放目錄
~/.ollama/models
ollama run llama3.2:1b
ollama_installed.png
(三)部署openWebUI
openWebUI 就是像chatGPT一樣的聊天UI，適配各種LLM大模型。
如果ollama和openWebUI在同個服務(wù)器。
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
如果ollama和openWebUI不在同個服務(wù)器:
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
(四)使用
訪問 http://localhost:3000
創(chuàng)建管理員賬號:
linyawen
76423374@qq.com
123456
即可使用:
openWebui_installed.png
三、擴(kuò)展
(一)多部署幾個模型
ollama run qwen2.5:0.5b
ollama run deepseek-r1:1.5b
# 查看 已經(jīng)部署的模型
ollama list
(二)openWebUI競品chatboxai對比
選擇 OpenWebUI：如果您主要關(guān)注 本地模型，追求輕量級和快速響應(yīng)，尤其是與 Ollama 集成，那么 OpenWebUI 是理想選擇。
選擇 ChatboxAI：如果您希望擁有更強(qiáng)的 擴(kuò)展性、多用戶支持，或者需要與多種云端 API 交互，ChatboxAI 更適合您
