大模型微調(diào)開發(fā)涉及以下軟硬件
硬件
nvidia RTX-4090 24G顯存
cpu 16核
內(nèi)存32G
磁盤ssd 系統(tǒng)盤200G
軟件
操作系統(tǒng)
ubuntu 22.04 LTS 是目前大模型開發(fā)的首選操作系統(tǒng)，兼容的最全面
參考：https://www.doubao.com/thread/wb42629d1a7568826
cd $HOME/software
# wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/miniconda/Miniconda3-py310_25.5.1-0-Linux-x86_64.sh -O Miniconda3.sh
sh Miniconda3.sh -b -p $HOME/software/miniconda3
$HOME/software/miniconda3/bin/conda init
pip config set global.index-url https://mirrors.aliyun.com/pypi/simple
pip install -U pip
miniconda3
使用miniconda3創(chuàng)建沙箱環(huán)境，服務(wù)不同的項目對環(huán)境的需求，但大模型微調(diào)，有不同項目，共用同一套開發(fā)環(huán)境的趨勢
nvidia
nvidia-driver:lastest # 保持最新即可，向下兼容
cudatoolkit 12.4 # 目前兼容適配的最完善
cudnn 需與 cudatoolkit匹配
python
3.10 # 目前兼容適配的最完善
ms-swift
大模型微調(diào)全流程框架
pip install 'ms-swift' # 保持最新
ERROR: pip's dependency resolver does not currently take into account all the packages that are installed. This behaviour is the source of the following dependency conflicts.
ms-swift 3.6.1 requires datasets<3.4,>=3.0, but you have datasets 3.6.0 which is incompatible.
ms-swift 3.6.1 requires numpy<2.0, but you have numpy 2.2.6 which is incompatible.
vllm
部署首選框架
pip install vllm
docker
拉取鏡像，減少環(huán)境配置，降低安裝包
參考：https://www.doubao.com/thread/w35454dca77b1b0be
ubuntu下使用apt-get install即可
homebrew
e531fe4fee25bae880a6caf413e5275c.png
安裝llama.cpp用得到
brew install llama.cpp
參考：https://www.doubao.com/thread/w93205fead47ae7b1
llama.cpp
速度確實快，量化神器。
- 源碼安裝，本地構(gòu)建 用cmake
- 安裝預(yù)構(gòu)建好的 用homebrew, brew install llama.cpp 【推薦】
- 安裝docker, 用docker拉llama.cpp鏡像
unsloth
訓(xùn)練速度快，占用顯存少，有大量notebook教程
pip install unsloth
ollama
社區(qū)活躍，使用上手方便，部署模型簡單，按需拉起模型，全能多面手。
curl -fsSL https://ollama.com/install.sh | sh
