時(shí)隔4年重新回到技術(shù)崗位，讓我身心倍感輕松很喜歡很享受
在看這個(gè)文章之前先看下這個(gè)表，看看自己顯卡是否支持然后再看后續(xù)文章
顯卡支持表
查看本機(jī)顯卡參數(shù)
我的就是2020年買的筆記本，還是2060的卡基本計(jì)算能力在7.5左右所以還是可以再站幾年的
輸入命令 nvidia-smi
image.png
第一步 安裝cuda toolkit 點(diǎn)擊此鏈接打開網(wǎng)站
安裝 CUDA Toolkit.png
下載相關(guān)文件，請(qǐng)記住流程安裝選local而非network 具體請(qǐng)問網(wǎng)上更多大模型會(huì)描述的很清楚為什么選local
image.png
安裝完后驗(yàn)證是否安裝成功
打開cmd 輸入 nvcc --version 顯示版本號(hào)表示下載成功
image.png
到此安裝部分全部結(jié)束，再次使用cmd命令查看 nvidia-smi 就會(huì)發(fā)現(xiàn)cuda version也做了更改
image.png
設(shè)置ollama 環(huán)境變量
到這里還沒有安裝ollama，去自行安裝ollama傻瓜式安裝即可
現(xiàn)在就可以設(shè)置ollama使用deepseek r1模型跑在gpu上了，就不會(huì)出現(xiàn)ppt一樣回答問題的情況了
昨天我跑了一次，同一個(gè)問題 gpu運(yùn)行時(shí)間11s，cpu運(yùn)行時(shí)間3分鐘
第一步打開系統(tǒng)變量，無法新增編輯就已管理員身份運(yùn)行即可
image.png
- 添加以下環(huán)境變量：
- 變量名：OLLAMA_GPU_LAYER
- 變量值：cuda
- 指定特定的 GPU，可以添加以下環(huán)境變量：
- 變量名：CUDA_VISIBLE_DEVICES
-
變量值：GPU的UUID（按編號(hào)有時(shí)找不到，所以使用UUID，下文提到了本機(jī)gpu查UUID的命令）
image.png
GPU的UUID查看方法 繼續(xù)用命令行輸入 nvidia-smi -L
所以我的UUID是GPU-e9b399f2-060c-39e6-9265-fa44cf37d240
image.png
把你的UUID輸入進(jìn)去
到此環(huán)境變量設(shè)置都完成了
驗(yàn)證是否使用gpu
- 先運(yùn)行你的大模型(我用的是deepseek r1:8b)
ds運(yùn)行
- 然后再起一個(gè)命令行 輸入 ollama ps 就可以看到 processor里面有cpu與gpu運(yùn)行百分比
輸入命令
后續(xù) 可以查看日志文件查看大模型的運(yùn)行情況
- 打開ollama的server.log 將內(nèi)容粘貼近大模型直接會(huì)幫你總結(jié)
這是我之前運(yùn)行的log
- 觀察的內(nèi)容里體現(xiàn)了 ollama在cpu還是gpu上運(yùn)行，當(dāng)時(shí)花費(fèi)了我將近4G的CPU 所以很卡(雖然我是16G內(nèi)存這周末就去擴(kuò)內(nèi)存)
- 最后打開任務(wù)管理器查看你的性能 GPU CPU使用率 就可以直觀的感受到GPU運(yùn)算跟CPU運(yùn)算的差別。到這一步算是徹底結(jié)束了
任務(wù)管理器
- 最后感謝所有GitHub的大佬提供的各種解決方法 我也只是拿來測試了一下沒想到真的可行
- 想學(xué)習(xí)的小伙伴請(qǐng)擦亮雙眼 賣課的賣課件的人比較多 魚龍混雜 我們得有辨別的能力，推薦上github上搜索真正有用的信息 不然天天處理垃圾信息太浪費(fèi)時(shí)間
