【AI】零代碼-A卡780M核顯在Windows平臺運(yùn)行ollama跑端側(cè)大模型

前言

不用敲代碼不用打指令不用Linux不用虛擬機(jī),就在Windows上,輕薄本的AMD核顯也能跑端側(cè)deepseek-R1。
先上效果圖:(端側(cè)deepseek-R1 8b用Java寫冒泡排序)

效果圖.png

本文面向Windows平臺 win10/win11,只講A卡的如何運(yùn)行ollama,不教ollama基本用法
案例是7840HS的780M核顯 代號是gfx1103,其他A卡步驟大同小異
如果你顯卡跟我一樣就無腦照抄即可,如果是其他A卡那就帶著腦子抄

操作步驟

  1. 需要這個(gè)安裝特別版的ollama,不要從ollama官網(wǎng)下載
    https://github.com/likelovewant/ollama-for-amd/

以0.5.9為例
https://github.com/likelovewant/ollama-for-amd/releases/tag/v0.5.9
下載OllamaSetup.exe,雙擊安裝,然后右下角托盤右鍵退出

2.覆蓋文件
下載ollama-windows-amd64.7z,解壓
桌面ollama圖標(biāo)右鍵 -> 屬性,打開文件所在位置,跳轉(zhuǎn)到主程序目錄,用壓縮包里的ollama.exe替換原本的ollama主程序

覆蓋文件.png

把壓縮包里的libs\ollama目錄里的所有內(nèi)容放到C:\Users[用戶名]\AppData\Local\Programs\Ollama\lib\ollama,覆蓋原文件

覆蓋文件2.png

3.下載安裝HIP,注意版本要和ollama需要的版本一致。例如0.5.9版本的ollama-for-AMD在發(fā)布頁寫了需要6.1.2版本的ROCm或者5.7版本的ROCm,此處下載6.1.2版本
https://www.amd.com/en/developer/resources/rocm-hub/hip-sdk.html

HIP.png

4.(重要)更新顯卡驅(qū)動
A卡驅(qū)動更新到25.1.1,在這下https://www.amd.com/en/resources/support-articles/release-notes/RN-RAD-WIN-25-1-1.html
下載以后雙擊打開安裝驅(qū)動,然后重啟電腦

下驅(qū)動.png

然后就可以下載deepseek-R1量化模型,裝個(gè)ChatBox開始玩了。這個(gè)操作現(xiàn)在全網(wǎng)都是教程就不再贅述了。

常見問題

no compatible GPUs were discovered

啟動的時(shí)候報(bào)這個(gè),是因?yàn)闆]有識別到GPU,會以CPU模式啟動,更新顯卡驅(qū)動然后重啟電腦。
如果正常運(yùn)行在GPU模式的話會顯示顯卡的名字,像下圖這樣:


cmd.png

llama runner process has terminated: error loading model

加載模型的時(shí)候報(bào)這個(gè),是因?yàn)轱@存爆了,去BIOS把顯存開到最大,已經(jīng)最大了就換個(gè)小點(diǎn)的量化模型。
也可以用CPU模式強(qiáng)行加載,但速度會特別特別慢。如果想用CPU模式加載,直接下載官網(wǎng)的ollama即可。

其他問題

如果報(bào)其他的錯(cuò)誤,回到https://github.com/likelovewant/ollama-for-amd/ 的發(fā)布頁看看作者寫的內(nèi)容,或者參考原作者在B站發(fā)的專欄文章https://www.bilibili.com/opus/923618797070319625
780M和其他A卡步驟不一樣,所以我跳過了一些步驟,如果你報(bào)錯(cuò)了就把這些步驟加上。
記得要重啟ollama程序才能生效,需要手動去任務(wù)管理器把ollama進(jìn)程殺掉。

參考資料

http://wjd8.cn/archives/wei-ming-ming-wen-zhang
https://post.smzdm.com/p/aqqx85v7/
https://www.bilibili.com/opus/923618797070319625

成功了記得去給項(xiàng)目原作者點(diǎn)個(gè)Star點(diǎn)個(gè)贊

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請聯(lián)系作者
【社區(qū)內(nèi)容提示】社區(qū)部分內(nèi)容疑似由AI輔助生成,瀏覽時(shí)請結(jié)合常識與多方信息審慎甄別。
平臺聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡書系信息發(fā)布平臺,僅提供信息存儲服務(wù)。

相關(guān)閱讀更多精彩內(nèi)容

友情鏈接更多精彩內(nèi)容