參考

hiyouga/ChatGLM-Efficient-Tuning
LLMsNineStoryDemonTower-PEFT_finetune

恢復(fù)環(huán)境

環(huán)境來自 百度飛槳的aistudio，部署glm2-6b推理測試

硬件原V100 16GB fp16報(bào)錯OOM，參考如下硬件需求，改為V100 32GB環(huán)境。

V100-32GB

硬件需求

注：r 為LoRA 維數(shù)大小，p 為前綴詞表大小，l 為微調(diào)層數(shù)，ex/s 為每秒訓(xùn)練的樣本數(shù)。gradient_accumulation_steps 參數(shù)設(shè)置為 1。上述結(jié)果均來自于單個(gè) Tesla V100(32GB) GPU，僅供參考。

1. 創(chuàng)建3.10環(huán)境

conda create -n py310 python=3.10
conda init

2. 關(guān)閉shell再打開，激活310

conda activate py310
python -V

3. 修改site packages

vi /home/aistudio/.conda/envs/py310/lib/python3.10/site.py
  "/home/aistudio/work/pip/lib/python310/site-packages"

image.png

4. 測試環(huán)境

cd ~/work/ChatGLM2-6B
python helloworld_glm2.py

image.png

微調(diào)訓(xùn)練

微調(diào)方法：

• LoRA：僅微調(diào)低秩適應(yīng)器。
• P-Tuning V2：僅微調(diào)前綴編碼器。
• Freeze ：僅微調(diào)后幾層的全連接層。

1. 準(zhǔn)備微調(diào)訓(xùn)練

代碼clone

git clone https://github.com/hiyouga/ChatGLM-Efficient-Tuning.git

安裝依賴

cd ChatGLM-Efficient-Tuning
pip install -r requirements.txt

2. freeze方式微調(diào)

ChatGLM2-6B 模型的微調(diào)。需要使用--use_v2 參數(shù)來進(jìn)行訓(xùn)練。
本地模型的微調(diào)，需要使用--model_name_or_path參數(shù)來指定。
不聯(lián)網(wǎng)情況下微調(diào)訓(xùn)練
alpaca_gpt4_zh要用10個(gè)小時(shí)，換self_cognition數(shù)據(jù)集30秒訓(xùn)練完成。

mkdir output
CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --do_train \
    --model_name_or_path /home/aistudio/work/chatglm2-6b \
    --dataset self_cognition \
    --dataset_dir data \
    --finetuning_type freeze \
    --output_dir output/freeze_sft_checkpoint \
    --overwrite_cache \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 2 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss \
    --fp16   

freeze finetune

對話測試：

python src/cli_demo.py  --checkpoint_dir output/freeze_sft_checkpoint --model_name_or_path /home/aistudio/work/chatglm2-6b

3. p_tuning方式微調(diào)

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --do_train \
    --model_name_or_path /home/aistudio/work/chatglm2-6b \
    --dataset self_cognition \
    --dataset_dir data \
    --finetuning_type p_tuning \
    --output_dir output/p_tuning_sft_checkpoint  \
    --overwrite_cache \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 2 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 5e-5 \
    --num_train_epochs 3.0 \
    --plot_loss

4. lora方式微調(diào)

CUDA_VISIBLE_DEVICES=0 python src/train_bash.py \
    --stage sft \
    --do_train \
    --model_name_or_path /home/aistudio/work/chatglm2-6b \
    --dataset self_cognition \
    --dataset_dir data \
    --finetuning_type lora \
    --output_dir output/lora_sft_checkpoint \
    --overwrite_cache \
    --per_device_train_batch_size 2 \
    --gradient_accumulation_steps 2 \
    --lr_scheduler_type cosine \
    --logging_steps 10 \
    --save_steps 1000 \
    --learning_rate 1e-3 \
    --num_train_epochs 3.0 \
    --fp16

image.png

對話測試

python src/cli_demo.py  --checkpoint_dir output/lora_sft_checkpoint --model_name_or_path /home/aistudio/work/chatglm2-6b

向微調(diào)后的 ChatGLM-6B 模型問一些自我認(rèn)知問題，可以發(fā)現(xiàn)它能夠給出我們期望的回答。同時(shí)，還測試了兩個(gè)額外的問題，驗(yàn)證結(jié)果說明模型的原本知識并沒有被嚴(yán)重破壞。

image.png

ChatGLM2-6B 模型 多 GPU 分布式微調(diào)

配置 分布式環(huán)境

accelerate config # 首先配置分布式環(huán)境
accelerate launch src/train_bash.py ...  # 微調(diào)，參數(shù)同上

注：注意：若您使用 LoRA 方法進(jìn)行微調(diào)，請指定以下參數(shù) --ddpfindunused_parameters False 來避免報(bào)錯。

模型部署

部署在項(xiàng)目框架中，請使用 export_model.py 將微調(diào)后的權(quán)重合并到 ChatGLM-6B 模型中并導(dǎo)出完整模型。

python src/export_model.py \
    --checkpoint_dir cognition \
    --output_dir path_to_save_model

通過類似如下代碼的調(diào)用方式，您可以在任何項(xiàng)目中獨(dú)立部署微調(diào)后的模型。

from transformers import AutoTokenizer, AutoModel
tokenizer = AutoTokenizer.from_pretrained(path_to_save_model, trust_remote_code=True)
model = AutoModel.from_pretrained(path_to_save_model, trust_remote_code=True).half().cuda()
response, history = model.chat(tokenizer, "你是誰", history=[])
print(response)

ChatGLM2-6B 評估預(yù)測

1. ChatGLM2-6B 指標(biāo)評估（BLEU分?jǐn)?shù)和漢語ROUGE分?jǐn)?shù)）

ChatGLM2-6B 指標(biāo)評估（BLEU分?jǐn)?shù)和漢語ROUGE分?jǐn)?shù)）

CUDA_VISIBLE_DEVICES=0 python examples/finetune.py \
    --do_eval \
    --dataset alpaca_gpt4_zh \
    --checkpoint_dir path_to_checkpoint \
    --output_dir path_to_eval_result \
    --per_device_eval_batch_size 8 \
    --max_samples 50 \
    --predict_with_generate

2. ChatGLM2-6B 模型預(yù)測

  CUDA_VISIBLE_DEVICES=0 python examples/finetune.py \
    --do_predict \
    --dataset alpaca_gpt4_zh \
    --checkpoint_dir path_to_checkpoint \
    --output_dir path_to_predict_result \
    --per_device_eval_batch_size 8 \
    --max_samples 50 \
    --predict_with_generate

3 ChatGLM2-6B 模型推理

  CUDA_VISIBLE_DEVICES=0 python src/infer.py  --checkpoint_dir path_to_checkpoint --quantization_bit=4

問題

微調(diào)顯存問題

問題描述：在 執(zhí)行 微調(diào)命令時(shí)，爆 顯存不足
解決方法：在 trainsft.sh 中 添加 參數(shù) --quantizationbit=8，該命令的作用時(shí) 進(jìn)行 8bit 量化

使用 P-Tuning v2 進(jìn)行 微調(diào)時(shí) AssertionError: Please disable fp16 training while using the P-Tuning v2 method.

問題描述：使用 freeze 進(jìn)行 量化微調(diào)時(shí)出錯
$ AssertionError: Please disable fp16 training while using the P-Tuning v2 method.
問題原因：P-Tuning v2 微調(diào) 不支持 fp16
解決方法：刪除 --fp16 即可