ollama 離線安裝文檔
- 官方文檔提供了多種安裝方式，命令行一鍵安裝、手動(dòng)安裝、docker安裝，但是教程比較復(fù)雜，我最推薦手動(dòng)安裝，可以進(jìn)行一些自定義配置，并且速度非?？臁?/li>
- 本套教程實(shí)現(xiàn)了服務(wù)開(kāi)機(jī)自啟動(dòng)、局域網(wǎng)訪問(wèn)、模型存儲(chǔ)路徑自定義
- 注意，下文中 /home/yons/torch/ 是我個(gè)人配置的模型存儲(chǔ)路徑，需要改成你自己的
本地安裝
下載
參考文檔https://github.com/ollama/ollama/blob/main/docs/linux.md
- 手動(dòng)下載（手動(dòng)下載和命令下載二選一，推薦手動(dòng)下載）
下載二進(jìn)制程序https://ollama.com/download/ollama-linux-amd64
會(huì)得到一個(gè)ollama-linux-amd64的文件，上傳到服務(wù)器的一個(gè)臨時(shí)目錄中
將該文件移動(dòng)到/usr/bin/目錄下，并重命名為ollama
sudo mv ollama-linux-amd64 /usr/bin/ollama
- 命令下載（手動(dòng)下載和命令下載二選一，推薦手動(dòng)下載）
sudo curl -L https://ollama.com/download/ollama-linux-amd64 -o /usr/bin/ollama
- 增加執(zhí)行權(quán)限
sudo chmod +x /usr/bin/ollama
臨時(shí)啟動(dòng)(可選)
修改環(huán)境變量
模型的默認(rèn)下載路徑在/home/$USER/.ollama/models
修改模型默認(rèn)下載路徑（可選）
export OLLAMA_MODELS=/home/yons/torch/.ollama/models
設(shè)置局域網(wǎng)地址可訪問(wèn)（可選）
export OLLAMA_ORIGINS=*
export OLLAMA_HOST=0.0.0.0:11434
手動(dòng)運(yùn)行服務(wù)（可選）
ollama serve
啟動(dòng)后的測(cè)試（可選）
下載千問(wèn)7b測(cè)試，需要4G存儲(chǔ)空間
ollama run qwen2
設(shè)置開(kāi)機(jī)啟動(dòng)（可選）
如果外網(wǎng)安裝，為了安全，最好按照官方教程創(chuàng)建新用戶，如果是內(nèi)網(wǎng)，建議用當(dāng)前用戶，配置簡(jiǎn)單
如果是內(nèi)網(wǎng)，為了配置方便User和Group都設(shè)置為本地用戶路徑，否則用戶權(quán)限配置復(fù)雜
OLLAMA_MODELS所在路徑需要大量存儲(chǔ)，配置到一個(gè)大的硬盤位置
- 修改開(kāi)機(jī)啟動(dòng)服務(wù)配置
sudo vim /etc/systemd/system/ollama.service
[Unit]
Description=Ollama Service
After=network-online.target
[Service]
ExecStart=/usr/bin/ollama serve
User=yons
Group=yons
Restart=always
RestartSec=3
Environment=OLLAMA_MODELS=/home/yons/torch/.ollama/models OLLAMA_ORIGINS=* OLLAMA_HOST=0.0.0.0:11434
[Install]
WantedBy=default.target
- 刷新系統(tǒng)服務(wù)
sudo systemctl daemon-reload
- 啟動(dòng)服務(wù)
sudo systemctl start ollama
- 查看服務(wù)日志
journalctl -e -u ollama
- 日志啟動(dòng)正常就設(shè)置為開(kāi)機(jī)啟動(dòng)
sudo systemctl enable ollama
web api 文檔
參考文檔
https://github.com/ollama/ollama/blob/main/docs/api.md
卸載
- 刪除模型文件
參考/etc/systemd/system/ollama.service OLLAMA_MODELS - 停止服務(wù)
sudo systemctl stop ollama
sudo systemctl disable ollama
sudo rm /etc/systemd/system/ollama.service
- 刪除二進(jìn)制可執(zhí)行文件
sudo rm $(which ollama)
