IP屬地：浙江
-
vllm一行命令部署大模型1、創(chuàng)建vllm運(yùn)行python環(huán)境 執(zhí)行vllm -v驗(yàn)證安裝成功 2、下載需要部署的模型到指定本地路徑 huggingface是國外源下載較...
-
驅(qū)動(dòng)問題記錄如果有殘留，卸載舊驅(qū)動(dòng) sudo apt purge nvidia-*sudo apt autoremove 查看內(nèi)核版本（重要） uname ...
-
Scaling Challenges and Reflections on Hardware for AI ArchitecturesHardware-Driven Model Design:混合精度訓(xùn)練主要是為了節(jié)省內(nèi)存NVIDIA的 Transformer Engine支持...
-
anaconda占用空間過大更換目錄
由于根目錄只有100G，anaconda占用了40G，遂更換目錄，保證服務(wù)器正常運(yùn)行 在PATH中刪除原有路徑，并添加新路徑 conda env...
-
大模型RAG實(shí)踐1、安裝dify和milvus 1.1 github下載最新版本的安裝包（git clone考驗(yàn)網(wǎng)絡(luò)）改端口號(hào)重新拉起查看各服務(wù)狀態(tài)訪問頁面 3...
-
Failed to initialize NVML: Driver/library version mismatch
reboot（不確定是否需要）apt purge nvidia-*sudo apt autoremoveapt autoclean
-
linux離線部署deepseek后觀測推理對GPU資源的占用ollama list ollama run deepseek-r1:7b watch -d -n 0.5 nvidia-smi deepsee...
-
linux修改shell命令行前綴
nano ~/.bashrc如圖所示，將'\u@\h:\w$ '修改為'\u:\w$ '，去掉主機(jī)名，以達(dá)到有時(shí)候截圖保護(hù)隱私的目的 執(zhí)行sou...
-
linux離線安裝ollama從github下載ollama的release版本，x86服務(wù)器下載amd64的版本 https://github.com/ollama/oll...