PPO（Proximal Policy Optimization，近端策略優(yōu)化）是一種強化學(xué)習(xí)算法，核心思想是「每次更新策略時，步子不能邁太大，要穩(wěn)扎穩(wěn)打」。

RLHF（Reinforcement Learning from Human Feedback，基于人類反饋的強化學(xué)習(xí)）是一種用人類偏好來訓(xùn)練大語言模型的方法，讓模型學(xué)會「人類覺得什么回答好」，而不是簡單地「預(yù)測下一個詞」

DPO（Direct Preference Optimization，直接偏好優(yōu)化）是一種讓大模型學(xué)習(xí)人類偏好的訓(xùn)練方法。與ChatGPT早期使用的RLHF（基于人類反饋的強化學(xué)習(xí)）相比，它最大的不同是跳過了一個復(fù)雜的中間步驟——獎勵模型，讓訓(xùn)練過程變得像常規(guī)微調(diào)一樣簡單和穩(wěn)定

GRPO（Group Relative Policy Optimization，群體相對策略優(yōu)化）是DeepSeek為訓(xùn)練大模型而提出的強化學(xué)習(xí)算法，核心思想是讓模型通過「內(nèi)部小組競賽」來學(xué)習(xí)——同一道題生成多個答案，把組內(nèi)平均分當(dāng)作及格線，超過平均線的答案被強化，低于平均線的被抑制。