摘要

原文地址：

DeepSeek R1 AI 論文翻譯

我們介紹了我們的第一代推理模型，DeepSeek-R1-Zero 和 DeepSeek-R1。

DeepSeek-R1-Zero 是一個通過大規(guī)模強化學習（RL）訓練的模型，且在此過程中未使用監(jiān)督微調(diào)（SFT）作為預處理步驟，展現(xiàn)出了顯著的推理能力。

通過 RL，DeepSeek-R1-Zero 自然而然地展現(xiàn)了許多強大且引人注目的推理行為。

然而，它也遇到了一些挑戰(zhàn)，如可讀性差和語言混雜。為了應對這些問題并進一步增強推理性能，我們推出了 DeepSeek-R1，后者在 RL 之前引入了多階段訓練和冷啟動數(shù)據(jù)。DeepSeek-R1 在推理任務上的表現(xiàn)與 OpenAI-o1-1217 相當。

為了支持研究社區(qū)，我們開源了 DeepSeek-R1-Zero、DeepSeek-R1 以及六個基于 Qwen 和 Llama 提煉的深度模型（1.5B、7B、8B、14B、32B、70B）。

1. 引言

近年來，大型語言模型（LLMs）經(jīng)歷了快速的迭代和進化（Anthropic, 2024; Google, 2024; OpenAI, 2024a），逐漸縮小了與人工通用智能（AGI）的差距。

最近，后訓練已成為完整訓練流程中的一個重要組成部分。它已被證明可以提高推理任務的準確性，與社會價值觀對齊，并適應用戶偏好，同時相較于預訓練所需的計算資源相對較少。在推理能力方面，OpenAI的o1系列模型（OpenAI, 2024b）首次通過增加思維鏈推理過程的長度引入了推理時間縮放。這種方法在數(shù)學、編碼和科學推理等各種推理任務中取得了顯著改進。然而，有效的測試時間縮放仍然是研究界的一個開放性問題。之前的一些研究探索了各種方法，包括基于過程的獎勵模型（Lightman等，2023；Uesato等，2022；Wang等，2023）、強化學習（Kumar等，2024）以及蒙特卡洛樹搜索和束搜索等搜索算法（Feng等，2024；Trinh等，2024；Xin等，2024）。然而，這些方法均未達到與OpenAI的o1系列模型相媲美的通用推理性能。

在本文中，我們邁出了使用純強化學習（RL）改進語言模型推理能力的第一步。我們的目標是探索LLMs在沒有監(jiān)督數(shù)據(jù)的情況下發(fā)展推理能力的潛力，重點關注它們通過純RL過程的自我進化。具體來說，我們使用DeepSeek-V3-Base作為基礎模型，并采用GRPO（Shao等，2024）作為RL框架，以提高模型在推理中的表現(xiàn)。在訓練過程中，DeepSeek-R1-Zero自然涌現(xiàn)出許多強大且有趣的推理行為。經(jīng)過數(shù)千次RL步驟后，DeepSeek-R1-Zero在推理基準測試中表現(xiàn)出超強性能。例如，AIME 2024上的pass@1分數(shù)從15.6%提高到71.0%，通過多數(shù)投票，分數(shù)進一步提高到86.7%，與OpenAI-o1-0912的性能相匹配。

然而，DeepSeek-R1-Zero遇到了可讀性差和語言混合等挑戰(zhàn)。為了解決這些問題并進一步提高推理性能，我們引入了DeepSeek-R1，它結(jié)合了少量冷啟動數(shù)據(jù)和多階段訓練流程。具體來說，我們首先收集數(shù)千個冷啟動數(shù)據(jù)來微調(diào)DeepSeek-V3-Base模型。隨后，我們進行類似DeepSeek-R1-Zero的面向推理的RL。在RL過程接近收斂時，我們通過對RL檢查點的拒絕采樣創(chuàng)建新的SFT數(shù)據(jù)，并結(jié)合來自DeepSeek-V3的寫作、事實問答和自我認知等領域的監(jiān)督數(shù)據(jù)，然后重新訓練DeepSeek-V3-Base模型。在使用新數(shù)據(jù)進行微調(diào)后，檢查點會經(jīng)歷額外的RL過程，考慮所有場景的提示。經(jīng)過這些步驟后，我們獲得了一個稱為DeepSeek-R1的檢查點，其性能與OpenAI-o1-1217相當。

我們進一步探索了從DeepSeek-R1到更小密集模型的蒸餾。使用Qwen2.5-32B（Qwen, 2024b）作為基礎模型，直接從DeepSeek-R1進行蒸餾優(yōu)于在其上應用RL。這表明較大基礎模型發(fā)現(xiàn)的推理模式對于提高推理能力至關重要。我們開源了蒸餾后的Qwen和Llama（Dubey等，2024）系列。值得注意的是，我們蒸餾的14B模型大幅優(yōu)于最先進的開源QwQ-32B-Preview（Qwen, 2024a），而蒸餾的32B和70B模型在密集模型的推理基準測試中創(chuàng)下了新紀錄。

1.1 貢獻

后訓練：在基礎模型上進行大規(guī)模強化學習

• 純強化學習的突破：我們直接在基礎模型上應用強化學習（RL），而無需依賴監(jiān)督微調(diào)（SFT）作為初步步驟。這種方法使模型能夠探索思維鏈（CoT）以解決復雜問題，從而開發(fā)出DeepSeek-R1-Zero。DeepSeek-R1-Zero展示了自我驗證、反思和生成長思維鏈等能力，標志著研究領域的一個重要里程碑。值得注意的是，這是首次通過純RL驗證LLMs推理能力的研究，無需SFT。這一突破為該領域的未來發(fā)展鋪平了道路。

• DeepSeek-R1的開發(fā)流程：我們引入了開發(fā)DeepSeek-R1的流程。該流程包含兩個RL階段，旨在發(fā)現(xiàn)改進的推理模式并與人類偏好對齊，以及兩個SFT階段，作為模型推理和非推理能力的基礎。我們相信這一流程將通過創(chuàng)建更好的模型為行業(yè)帶來益處。

蒸餾(Distillation)：小模型也可以強大

• 推理模式的蒸餾：我們證明了大模型的推理模式可以蒸餾到小模型中，從而在小模型上實現(xiàn)比通過RL發(fā)現(xiàn)的推理模式更好的性能。開源的DeepSeek-R1及其API將為研究社區(qū)提供支持，以便未來蒸餾出更好的小模型。

• 蒸餾模型的優(yōu)異表現(xiàn)：利用DeepSeek-R1生成的推理數(shù)據(jù)，我們對研究社區(qū)廣泛使用的多個密集模型進行了微調(diào)。評估結(jié)果表明，蒸餾后的小型密集模型在基準測試中表現(xiàn)優(yōu)異。例如，DeepSeek-R1-Distill-Qwen-7B在AIME 2024上達到55.5%，超越了QwQ-32B-Preview。此外，DeepSeek-R1-Distill-Qwen-32B在AIME 2024上得分為72.6%，在MATH-500上得分為94.3%，在LiveCodeBench上得分為57.2%。這些結(jié)果顯著優(yōu)于之前的開源模型，并與o1-mini相當。我們開源了基于Qwen2.5和Llama3系列的1.5B、7B、8B、14B、32B和70B檢查點。

1.2 評估結(jié)果總結(jié)

推理任務

• DeepSeek-R1的表現(xiàn)：
  • 在AIME 2024上，DeepSeek-R1的Pass@1得分為79.8%，略高于OpenAI-o1-1217。
  • 在MATH-500上，DeepSeek-R1取得了97.3%的優(yōu)異成績，與OpenAI-o1-1217持平，并顯著優(yōu)于其他模型。
  • 在代碼相關任務中，DeepSeek-R1在代碼競賽任務中表現(xiàn)出專家水平，其在Codeforces上的Elo評分為2,029，超過了96.3%的人類參賽者。
  • 在工程相關任務中，DeepSeek-R1的表現(xiàn)略優(yōu)于DeepSeek-V3，這可能對開發(fā)者在實際任務中有所幫助。

知識任務

• DeepSeek-R1的優(yōu)異表現(xiàn)：
  • 在MMLU、MMLU-Pro和GPQA Diamond等基準測試中，DeepSeek-R1取得了顯著優(yōu)于DeepSeek-V3的成績，分別為90.8%、84.0%和71.5%。
  • 盡管在這些基準測試中略低于OpenAI-o1-1217，但DeepSeek-R1超越了其他閉源模型，展示了其在教育任務中的競爭優(yōu)勢。
  • 在事實基準測試SimpleQA上，DeepSeek-R1優(yōu)于DeepSeek-V3，展示了其處理基于事實查詢的能力。OpenAI-o1在該基準測試中也表現(xiàn)出類似的趨勢，超越了4o。

其他任務

• 廣泛的任務表現(xiàn)：DeepSeek-R1在創(chuàng)意寫作、通用問答、編輯、摘要等廣泛任務中表現(xiàn)出色。
  • 在AlpacaEval 2.0上，其長度控制勝率為87.6%。
  • 在Arena-Hard上，勝率為92.3%，展示了其在處理非考試導向查詢方面的強大能力。
  • 在需要長上下文理解的任務中，DeepSeek-R1表現(xiàn)尤為突出，在長上下文基準測試中顯著優(yōu)于DeepSeek-V3。