Ollama 在 Windows 上運(yùn)行
0 引言
1 下載 Ollma 安裝文件
2 安裝 Ollama
3 使用 Ollama
4 (可選)環(huán)境變量
5 (可選)修改默認(rèn)模型
6 (可選)ollama ls 不能正確顯示 OLLAMA_MODELS 設(shè)置路徑的模型
0 引言
Ollama 可以在 Windows 上運(yùn)行了。
運(yùn)行l(wèi)lama3.2 試了一下，推理速度和推理效果都很不錯(cuò)。
而且模型的下載速度也很快，我用的電信1000M網(wǎng)絡(luò)，大概300M~550M/s波動(dòng)。
1 下載 Ollma 安裝文件
訪問(wèn) https://ollama.com/download，選擇 Windows，單擊 “Download for Windows (Preview)” 進(jìn)行下載。
官網(wǎng)不能下載，可以試一下這里https://github.xzc888.top/ollama/ollama/releases/latest/download/OllamaSetup.exe
2 安裝 Ollama
雙擊下載的 “OllamaSetup.exe”，直接安裝就可以了。
3 使用 Ollama
訪問(wèn) https://ollama.com/library，搜索你要使用的模型，主流的模型，比如 llama2、qwen1.5、mixtral 等，Ollama都支持。
下面以允許 qwen 為例，我們要運(yùn)行 7b 的模型，
拷貝上面紅框的命令并運(yùn)行，
ollama run qwen:7b
問(wèn)一個(gè)問(wèn)題試試，user：vajra-lee，pass：A
4 (可選)環(huán)境變量
Ollama 下載的模型模型保存在 C 盤(pán)，如果想更改默認(rèn)路徑的話，可以通過(guò)設(shè)置 OLLAMA_MODELS 進(jìn)行修改。
OLLAMA_MODELS：F:\OllamaCache
還有，Ollama 默認(rèn)提供 OpenAI 的兼容 API，默認(rèn)端口是 11434，默認(rèn)只可以通過(guò) localhost 進(jìn)行訪問(wèn)，如果想公開(kāi)訪問(wèn)的話，可以通過(guò)設(shè)置 OLLAMA_HOST 進(jìn)行修改。
OLLAMA_HOST：0.0.0.0
5 (可選)修改默認(rèn)模型
Ollama 默認(rèn)提供 OpenAI 的兼容 API，默認(rèn)端口是 11434，默認(rèn)模型名是 run 后面使用的模型名，如果想使用 OpenAI 的模型名，可以通過(guò)ollama cp的方式，為模型起一個(gè)臨時(shí)的名稱。
例如，
ollama cp mixtral:8x7b-instruct-v0.1-fp16 gpt-4
ollama run gpt-4
refer: https://github.com/ollama/ollama/blob/main/docs/openai.md
6 (可選)ollama ls 不能正確顯示 OLLAMA_MODELS 設(shè)置路徑的模型
在系統(tǒng)環(huán)境變量里設(shè)置了 OLLAMA_MODELS，但是執(zhí)行 ollama ls 不能正確顯示 OLLAMA_MODELS 設(shè)置的路徑下面的模型。
7 測(cè)試：
8 PS
Ollama Deepseek R1的14b版本可以在Intel i5-12400F CPU和NVIDIA RTX 3060 GPU上安裝并運(yùn)行。根據(jù)用戶反饋，使用Ollama的安裝包進(jìn)行安裝時(shí)，只需按照默認(rèn)值進(jìn)行安裝即可。安裝完成后，可以通過(guò)在Windows PowerShell中運(yùn)行命令ollama run deepseek-r1:14b來(lái)下載并運(yùn)行模型。測(cè)試時(shí)，顯存占用約為11GB，GPU使用率為96%1。
9 圖形化界面chatbox ai
https://chatboxai.app/zh，下載安裝后，模型提供方選擇ollama，模型選擇自己安裝的deepseek版本。
