Ollama 是一個(gè)基于 Go 語(yǔ)言的本地大語(yǔ)言模型運(yùn)行框架，類 Docker 產(chǎn)品（支持 list,pull,push,run 等命令），事實(shí)上它保留了 Docker 的操作習(xí)慣，支持上傳大語(yǔ)言模型倉(cāng)庫(kù) (有 deepseek、llama 2，mistral，qwen 等模型，你也可以自定義模型上傳)。

在管理模型的同時(shí)，它還提供了一些 Api 接口，讓你能夠像調(diào)用 OpenAI 提供的接口那樣進(jìn)行交互。

一、下載安裝 Ollama

Ollama 支持多平臺(tái)部署，你可以在官網(wǎng)，選擇適合的安裝包。

下載地址：https://ollama.com

運(yùn)行之后，訪問(wèn) localhost:11434，查看是否正常運(yùn)行：

二、AI 模型管理

ollama 安裝之后，其同時(shí)還是一個(gè)命令，與模型交互就是通過(guò)命令來(lái)進(jìn)行的。

• ollama list：顯示模型列表。
• ollama show：顯示模型的信息
• ollama pull：拉取模型
• ollama push：推送模型
• ollama cp：拷貝一個(gè)模型
• ollama rm：刪除一個(gè)模型
• ollama run：運(yùn)行一個(gè)模型

官方提供了一個(gè)模型倉(cāng)庫(kù)，https://ollama.com/library， 你可以搜索你想要的模型。

官方建議：應(yīng)該至少有 8 GB 可用 RAM 來(lái)運(yùn)行 7 B 型號(hào)，16 GB 來(lái)運(yùn)行 13 B 型號(hào)，32 GB 來(lái)運(yùn)行 33 B 型號(hào)。

在這里我選擇下載目前最火的開源 deepseek-r1 模型來(lái)做演示。模型地址為：https://ollama.com/library/deepseek-r1 ，因我的電腦有 32G，所以選擇了 14b 的模型來(lái)調(diào)試。

    ollama run deepseek-r1:14b

執(zhí)行命令，如果本地沒(méi)有該模型，則會(huì)先下載模型再運(yùn)行。首次運(yùn)行啟動(dòng)可能略慢。

三、簡(jiǎn)單交互

模型運(yùn)行之后，會(huì)默認(rèn)進(jìn)入到交互狀態(tài)，你可以按下 Ctrl + D 退出交互，但此時(shí)模型并不會(huì)退出，仍舊可以正常通過(guò) Api 接口交互。

終端交互示例：

接口請(qǐng)求參考官方文檔的介紹 API 文檔，下邊是簡(jiǎn)單的示例：

curl http://localhost:11434/api/generate -d "{\"model\":\"deepseek-r1:14b\", \"prompt\":\"介紹下JeecgBoot是什么項(xiàng)目\", \"stream\": false}"

接口請(qǐng)求支持 stream 模式，上邊這個(gè)請(qǐng)求響應(yīng) 10s 左右，如果使用 stream 模式，體驗(yàn)會(huì)提升不少。

四、通過(guò) Web 界面調(diào)用大模型

這里介紹幾個(gè) UI 框架可以直接與 ollama 大模型對(duì)接。

項(xiàng)目一 ：ollama-webui-lite

項(xiàng)目地址： https://github.com/ollama-webui/ollama-webui-lite

此項(xiàng)目是 open-webui 的簡(jiǎn)化版，注意需：node >= 16。

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
yarn
yarn dev

運(yùn)行之后，你可以對(duì)連接信息進(jìn)行設(shè)置，默認(rèn)是連接本機(jī)的 http://localhost:11434/api，如果你也是本機(jī)部署，那就不用更改。然后界面選擇啟動(dòng)的模型，就可以對(duì)話了。

項(xiàng)目二 ：lobe-chat

項(xiàng)目地址：https://github.com/lobehub/lobe-chat

這是一個(gè)集成多種模型能力的對(duì)話聊天 UI，部署簡(jiǎn)單，界面酷炫。

Docker 部署命令：

docker run -itd --name=lobechat -p 3210:3210 registry.cn-hangzhou.aliyuncs.com/jeecgdocker/lobe-chat

如果你是本地 ollama 部署，啟動(dòng)之后，就可以在 web 界面進(jìn)行交互了。 目前最新版還不支持 deepseek v3，可以先用其他大模型測(cè)試下