1、創(chuàng)建vllm運(yùn)行python環(huán)境 執(zhí)行vllm -v驗(yàn)證安裝成功 2、下載需要部署的模型到指定本地路徑 huggingface是國外源下載較慢，modelscope國內(nèi)源...
IP屬地：浙江
-
vllm一行命令部署大模型 -
驅(qū)動問題記錄如果有殘留，卸載舊驅(qū)動 sudo apt purge nvidia-*sudo apt autoremove 查看內(nèi)核版本（重要） uname -r 查看顯卡設(shè)備 lspci...
-
Scaling Challenges and Reflections on Hardware for AI ArchitecturesHardware-Driven Model Design:混合精度訓(xùn)練主要是為了節(jié)省內(nèi)存NVIDIA的 Transformer Engine支持FP8混合訓(xùn)練，但是還沒有開源...
-
anaconda占用空間過大更換目錄
由于根目錄只有100G，anaconda占用了40G，遂更換目錄，保證服務(wù)器正常運(yùn)行 在PATH中刪除原有路徑，并添加新路徑 conda env list報(bào)錯，找不到cond...
-
大模型RAG實(shí)踐1、安裝dify和milvus 1.1 github下載最新版本的安裝包（git clone考驗(yàn)網(wǎng)絡(luò)）改端口號重新拉起查看各服務(wù)狀態(tài)訪問頁面 3、milvus可視化 瀏覽器訪...
-
Failed to initialize NVML: Driver/library version mismatch
reboot（不確定是否需要）apt purge nvidia-*sudo apt autoremoveapt autoclean
-
linux離線部署deepseek后觀測推理對GPU資源的占用ollama list ollama run deepseek-r1:7b watch -d -n 0.5 nvidia-smi deepseek-r1:70b
-
linux修改shell命令行前綴
nano ~/.bashrc如圖所示，將'\u@\h:\w$ '修改為'\u:\w$ '，去掉主機(jī)名，以達(dá)到有時候截圖保護(hù)隱私的目的 執(zhí)行source ~/.bashrc生效
-
linux離線安裝ollama從github下載ollama的release版本，x86服務(wù)器下載amd64的版本 https://github.com/ollama/ollama/releases[ht...
-
linux環(huán)境deepseek最簡化本地部署環(huán)境：Ubuntu 20.04.4 LTSDocker version 24.0.2 步驟：docker拉取ollama鏡像：docker pull ollama/ollam...
-
ubuntu部署jenkins官網(wǎng)教程 https://www.jenkins.io/doc/book/installing/linux/#debianubuntu[https://www.jenkins...
-
GPU的片上狀態(tài)指什么
在AI訓(xùn)練或并行計(jì)算的上下文中，GPU（圖形處理器）的“片上狀態(tài)”通常指的是GPU內(nèi)部存儲器中存儲的與當(dāng)前計(jì)算任務(wù)直接相關(guān)的數(shù)據(jù)和參數(shù)。這些狀態(tài)可能包括： 模型權(quán)重（Mode...
-
docker緩存清理du -sh /var/lib/* docker system dfdocker container prunedocker system dfdocker network ...
-
創(chuàng)建帶gpu容器報(bào)錯
創(chuàng)建帶gpu容器報(bào)錯docker run -it --gpus='all' xxx(image)docker: Error response from daemon: c...
-
將當(dāng)前環(huán)境docker鏡像拷貝到另一臺服務(wù)器
查看當(dāng)前環(huán)境中鏡像：docker images | grep mlperf保存鏡像：docker save -o rnn_image.tar.gz mlperf/rnn_sp...
-
anaconda使用
安裝conda 配置pip鏡像源 修改或創(chuàng)建~/.pip/pip.confmkdir .piptouch .pip/pip.confvim .pip/pip.conf 創(chuàng)建指...
-
SHOC Benchmark使用
代碼倉地址：https://github.com/vetter/shoc[https://github.com/vetter/shoc] 運(yùn)行環(huán)境：CPU：Intel(R) ...
-
ModuleNotFoundError: No module named '_bz2'問題如下： 解決方法： 拷貝庫文件并根據(jù)自己使用的python版本改成相應(yīng)的名字 問題解決 可能出現(xiàn)的其他問題： pip install backports.lzmaapt-...
-
scp指定端口遠(yuǎn)程傳輸
scp也是使用的基于openssh的數(shù)據(jù)傳輸，ssh一般默認(rèn)都是使用的22端口號，但有時由于其它原因并不是使用的默認(rèn)的端口號，那么在想使用scp進(jìn)行數(shù)據(jù)傳輸時，可以使用如下兩...