安裝modelscope

#安裝pip
dnf install -y python3-pip
#升級pip
pip install --upgrade pip
#安裝modelscope
pip install -y modelscope

下載modelscope模型

以deepseek-ai/DeepSeek-R1-Distill-Llama-70B為例
地址：https://www.modelscope.cn/models/deepseek-ai/DeepSeek-R1-Distill-Llama-70B/files

#下載到本地/data/deepseek-r1-70b目錄下
modelscope download --model deepseek-ai/DeepSeek-R1-Distill-Llama-70B --local_dir /data/deepseek-r1-70b