現(xiàn)在ChatGLM已經(jīng)開(kāi)源了ChatGLM3.
部署環(huán)境：
操作系統(tǒng)：Window
Python: 3.10.8
GPU:RTX 4090
嘗試了下本地搭建了一個(gè)本地模型。
不過(guò)在部署的時(shí)候torch庫(kù)挺高的，和gpu的版本還有toolkit版本需要高度對(duì)應(yīng)。
不然就會(huì)報(bào)torch.cuda.is_avaliable 為False的錯(cuò)誤。
這個(gè)時(shí)候我們需要到Torch官網(wǎng)去下載對(duì)應(yīng)的GPU驅(qū)動(dòng)。
但是這里這里我還需要先獲取下本地的gpu驅(qū)動(dòng)程序信息
首先我們從終端里輸入
nvidia-smi
然后從NVIDIA-SMI看到驅(qū)動(dòng)的版本號(hào)385.54，然后從下面這張圖中查看對(duì)應(yīng)的CUDA軟件版本。
比如這里驅(qū)動(dòng)的版本號(hào)是500那對(duì)應(yīng)的軟件版本是CUDA 11.6 GA，就需要查看老版本對(duì)應(yīng)的軟件版本的下載指令。
首先卸載torch然后重新安裝。
pip uninstall torch
pip install torch==1.13.0+cu116 torchvision==0.14.0+cu116 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu116
這里建議不要用conda安裝，conda每次安裝都會(huì)安裝cpu版本，被坑了好幾次，用pip安裝就沒(méi)問(wèn)題。解決了這個(gè)問(wèn)題之后基本就能順利部署chatGLM3到本地了。當(dāng)然用官方的github跑出來(lái)前端ui代碼各種問(wèn)題，我懶得去看，直接從命令行運(yùn)行是沒(méi)有問(wèn)題的。
補(bǔ)充下chatGLM3支持工具鏈調(diào)用，在prompt上做了一些規(guī)范，最好閱讀一下prompt指導(dǎo)文件。
