新智元報(bào)道

編輯：編輯部

【新智元導(dǎo)讀】DeepSeek榮登Nature封面，實(shí)至名歸！今年1月，梁文鋒帶隊(duì)R1新作，開創(chuàng)了AI推理新范式——純粹RL就能激發(fā)LLM無限推理能力。Nature還特發(fā)一篇評論文章，對其大加贊賞。

剛剛，DeepSeek-R1登上了Nature封面！

今年1月，DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning論文發(fā)布，如今成功登上全球頂刊封面。

通訊作者梁文鋒帶隊(duì)，用RL為大模型推理能力開辟了全新路徑。

論文地址：https://www.nature.com/articles/s41586-025-09422-z

在封面推薦中，Nature毫不吝嗇地贊揚(yáng)了DeepSeek-R1的成就。

開源之后，R1在Hugging Face成為最受歡迎的模型，下載量破1090萬次。關(guān)鍵是，它是全球首個(gè)經(jīng)過同行評審的主流大模型。

值得一的是，補(bǔ)充材料首次公開了R1訓(xùn)練成本——294000美元，數(shù)字低到驚人。

即便是加上約600萬美元的基礎(chǔ)模型成本，也遠(yuǎn)低于OpenAI、谷歌訓(xùn)練AI的成本。

從一篇arXiv論文到Nature封面，DeepSeek團(tuán)隊(duì)再次用實(shí)力為AI推理的未來鋪路。

R1被認(rèn)為是首個(gè)經(jīng)歷同行評審過程的主流LLM。

審稿人Lewis Tunstall表示：

這是一個(gè)非常值得歡迎的先例。若不公開分享大部分研發(fā)過程，我們將難以評估這些系統(tǒng)是否存在風(fēng)險(xiǎn)。

針對同行評審意見，DeepSeek減少了擬人化描述，并增加了技術(shù)細(xì)節(jié)說明，包括模型訓(xùn)練數(shù)據(jù)類型和安全性能。

審稿人Huan Sun表示：

通過嚴(yán)格同行評審過程，有助于驗(yàn)證模型的有效性和實(shí)用性，其他公司也應(yīng)效仿。

DeepSeek-R1-Zero誕生

研究團(tuán)隊(duì)的出發(fā)點(diǎn)大膽而純粹：徹底拋開對人類推理軌跡的依賴。

人類定義的推理模式，可能反而是一種束縛。

他們選擇了一個(gè)強(qiáng)大的基礎(chǔ)模型DeepSeek-V3 Base，跳過了傳統(tǒng)的SFT階段。

取而代之的，是一個(gè)極其簡潔的強(qiáng)化學(xué)習(xí)框架，只告訴模型兩件事：

1. 任務(wù)格式：回答必須包含兩部分，一個(gè)是被 標(biāo)簽包裹的「思考過程」，另一個(gè)是被 標(biāo)簽包裹的「最終答案」。

2. 獎勵(lì)信號：根據(jù)最終答案是否正確來給予獎勵(lì)，不管采用什么樣的思考方法。

在沒有解題步驟的對錯(cuò)評判，沒有思維方式的引導(dǎo)下，DeepSeek-R1-Zero開始了它的「野蠻生長」。

在整個(gè)訓(xùn)練過程中，R1-Zero的推理能力發(fā)生了質(zhì)的飛躍。

以AIME 2024為例，它的平均解題準(zhǔn)確率（pass@1）從最初的15.6%，一路狂飆至77.9%。

如果再配合「自洽解碼」技術(shù)，準(zhǔn)確率更是高達(dá)86.7%——這一成績遠(yuǎn)超AIME競賽中所有人類選手的平均水平。

AI「頓悟時(shí)刻」

更令人著迷的，是它在能力提升過程中展現(xiàn)出的自我進(jìn)化行為。

• 「思考時(shí)間」自主增加

隨著訓(xùn)練的進(jìn)行，模型在 標(biāo)簽內(nèi)生成的文本長度穩(wěn)步增加。

它自發(fā)地學(xué)會了用更長的「思維鏈」來探索和優(yōu)化解題策略，有時(shí)甚至?xí)沙砂偕锨€(gè)token來反復(fù)推敲一個(gè)問題。

• 高級推理策略的涌現(xiàn)

模型不再是線性地一步步解題，而是開始展現(xiàn)出「自我反思」和「系統(tǒng)性探索替代解法」等高級策略。

它會驗(yàn)證自己的中間步驟，甚至?xí)鲃犹剿鳌溉绻矣昧硪环N方法會怎么樣？」

• 一個(gè)有趣「頓悟時(shí)刻」

在訓(xùn)練的某個(gè)階段，研究人員觀察到了一個(gè)清晰的「頓悟時(shí)刻」（Aha Moment）。

也就是，模型在反思過程中，使用「wait」（等等）這個(gè)詞的頻率突然急劇增加。

這一時(shí)刻，標(biāo)志著DeepSeek-R1-Zero在推理模式上發(fā)生了明顯轉(zhuǎn)變，清晰地揭示了它的自我進(jìn)化過程。

而這種進(jìn)化，也完美詮釋了強(qiáng)化學(xué)習(xí)的魅力：

不必教它如何解題，只需提供正確的激勵(lì)，它就能自主地發(fā)展出比人類教的更高級的策略。

DeepSeek-R1之路

盡管DeepSeek-R1-Zero展現(xiàn)了神級的推理能力，但由于其訓(xùn)練完全以推理為導(dǎo)向，它存在可讀性差、偶爾會在中英文之間混亂切換的問題，并且在寫作、開放域問答等通用能力上表現(xiàn)平平。

為了解決R1-Zero的問題，并讓其強(qiáng)大的推理能力能被更廣泛地應(yīng)用，研究團(tuán)隊(duì)設(shè)計(jì)了一套精密的多階段訓(xùn)練流程，并啟動了第二階段的「精煉」計(jì)劃：

1. 冷啟動（Cold Start）：首先，用數(shù)千條高質(zhì)量的、符合人類對話習(xí)慣的數(shù)據(jù)對模型進(jìn)行初步微調(diào)，教它「好好說話」。

2. 第一輪強(qiáng)化學(xué)習(xí)（RL）：再次應(yīng)用強(qiáng)化學(xué)習(xí)，但這次的目標(biāo)不僅是提升推理，也包括保持語言的一致性和對話的流暢性。

3. 大規(guī)模監(jiān)督微調(diào)（SFT）：團(tuán)隊(duì)將推理數(shù)據(jù)與海量的非推理數(shù)據(jù)（如寫作、通用問答、代碼工程）混合在一起，進(jìn)行大規(guī)模的監(jiān)督微調(diào)。這極大地?cái)U(kuò)展了模型的知識面和通用能力。

4. 第二輪強(qiáng)化學(xué)習(xí)（RL）：最后，再進(jìn)行一輪全面的強(qiáng)化學(xué)習(xí)，利用一個(gè)更復(fù)雜的獎勵(lì)模型，進(jìn)一步增強(qiáng)模型的有用性、無害性，并使其行為與人類偏好對齊。

經(jīng)過多輪煉丹，DeepSeek-R1不僅在AlpacaEval 2.0和Arena-Hard等衡量通用指令遵循和用戶偏好的基準(zhǔn)上，性能提升了17%-25%，而且還在數(shù)學(xué)、編程等高難度推理任務(wù)上保持了頂尖水準(zhǔn)。

揭秘DeepSeek-R1「煉丹爐」

接下來，就讓我們深入這個(gè)「煉丹爐」的內(nèi)部，一探究竟。

GRPO算法

在AI訓(xùn)練的賽道上，強(qiáng)化學(xué)習(xí)算法PPO（近端策略優(yōu)化）長期以來都是大語言模型訓(xùn)練的「標(biāo)配賽車」。它雖然強(qiáng)大，但也以資源消耗巨大和實(shí)現(xiàn)復(fù)雜而著稱。

DeepSeek團(tuán)隊(duì)選擇了一條更聰明的路，他們采用了GRPO（組相對策略優(yōu)化）算法作為核心驅(qū)動引擎。

PPO就像一位極其謹(jǐn)慎的教練，它在每次訓(xùn)練更新時(shí)，都會嚴(yán)格限制新策略與舊策略的偏離程度，以防模型「跑偏」導(dǎo)致訓(xùn)練崩潰。

這種謹(jǐn)慎是有代價(jià)的，它需要大量的計(jì)算來維持穩(wěn)定。

而GRPO則像一位更高效、更相信「集體智慧」的教練。它的核心思想是：

在每次訓(xùn)練時(shí)，讓模型針對同一個(gè)問題，生成一組（比如16個(gè)）不同的答案。

然后，它不只是簡單地獎勵(lì)最好的那個(gè)，而是根據(jù)這一組答案的「相對好壞」，來整體優(yōu)化模型。

具體來說，它會計(jì)算出每個(gè)答案相對于這一組答案平均水平的「優(yōu)勢」（Advantage），優(yōu)勢大的（即表現(xiàn)更好的）答案會得到更大的激勵(lì)權(quán)重，而表現(xiàn)差的則會被抑制。

這種「組內(nèi)競爭、擇優(yōu)而學(xué)」的機(jī)制，簡化了PPO復(fù)雜的約束過程，不僅顯著降低了資源消耗，還被證明在實(shí)踐中同樣穩(wěn)定高效。

獎勵(lì)設(shè)計(jì)

強(qiáng)化學(xué)習(xí)的本質(zhì)，就是通過獎勵(lì)（Reward）來塑造模型的行為。它決定了模型將朝著哪個(gè)方向進(jìn)化。

為此，DeepSeek團(tuán)隊(duì)設(shè)計(jì)了一套雙軌制的獎勵(lì)系統(tǒng)。

1. 基于規(guī)則的獎勵(lì)

對于推理任務(wù)（數(shù)學(xué)、編程、邏輯），團(tuán)隊(duì)采用了一套極其嚴(yán)格的基于規(guī)則的獎勵(lì)系統(tǒng)。

• 準(zhǔn)確率獎勵(lì)：最終答案對不對？對于數(shù)學(xué)題，答案必須和標(biāo)準(zhǔn)答案完全一致；對于編程題，代碼必須通過所有預(yù)設(shè)的測試用例。

• 格式獎勵(lì)：思考過程是否符合規(guī)范？所有的思考過程都必須封裝在 和 標(biāo)簽內(nèi)。

這里，有一個(gè)關(guān)鍵的決定：在推理任務(wù)上，完全不使用基于神經(jīng)網(wǎng)絡(luò)的獎勵(lì)模型。

因?yàn)閳F(tuán)隊(duì)發(fā)現(xiàn)，AI在長時(shí)間、大規(guī)模的強(qiáng)化學(xué)習(xí)中，會找到獎勵(lì)模型本身的漏洞并加以利用，即所謂的「獎勵(lì)投機(jī)（Reward Hacking）」。

2. 基于模型的獎勵(lì)

然而，世界并非非黑即白。對于通用任務(wù)比如寫作、對話，大多只有好壞之分。

于是，DeepSeek團(tuán)隊(duì)引入了基于模型的獎勵(lì)，從而讓模型更符合人類的偏好。

• 有用性獎勵(lì)模型：專門負(fù)責(zé)評判模型的回答對用戶是否有用、切題。它通過比較大量的「好答案」與「壞答案」對（由DeepSeek-V3生成并篩選）來學(xué)習(xí)人類的偏好。有趣的是，它只評估最終的摘要部分，而不去干涉底層的推理過程，給予模型在思考上的充分自由。

• 安全獎勵(lì)模型：負(fù)責(zé)檢查模型的全部輸出，包括思考過程，以識別和懲罰任何潛在的有害、偏見或危險(xiǎn)內(nèi)容。

如此一來，模型在保持強(qiáng)大推理能力的同時(shí)，也學(xué)會了如何生成更有用、更安全、更符合人類習(xí)慣的內(nèi)容。

訓(xùn)練細(xì)節(jié)

DeepSeek的訓(xùn)練并非一蹴而就，而是分為多個(gè)精心設(shè)計(jì)的階段，每個(gè)階段都有不同的側(cè)重點(diǎn)和巧妙的參數(shù)調(diào)整。

最開始的訓(xùn)練完全聚焦于數(shù)學(xué)、編程等推理任務(wù)，僅使用基于規(guī)則的獎勵(lì)。

一個(gè)有趣的現(xiàn)象發(fā)生在訓(xùn)練進(jìn)行到第8,200步時(shí)：研究人員將模型處理的最大文本長度從32,768個(gè)Token猛增到65,536個(gè)Token。

這一改變帶來了立竿見影的效果，模型的性能和回答長度都出現(xiàn)了「大幅躍升」。

其他參數(shù)設(shè)置如下：

學(xué)習(xí)率：3×10??

KL散度系數(shù)：0.001

GRPO裁剪比率?：10

推理采樣溫度：1

每個(gè)訓(xùn)練步包含32個(gè)獨(dú)立問題，每步的批大小為512。

每400步，用最新的策略模型替換參考模型。

• 第一強(qiáng)化學(xué)習(xí)階段

在這一階段，訓(xùn)練數(shù)據(jù)變得更加多樣化。

團(tuán)隊(duì)遇到了一個(gè)意想不到的挑戰(zhàn)：模型的「思維鏈」（ 標(biāo)簽內(nèi)的內(nèi)容）中頻繁出現(xiàn)中英夾雜的「語言混合」現(xiàn)象。雖然這不一定影響最終答案的正確性，但極大地影響了可讀性。

為了解決這個(gè)問題，他們創(chuàng)造性地引入了一個(gè)「語言一致性獎勵(lì)」：如果模型在處理中文問題時(shí)，思維鏈中中文詞匯的比例越高，獲得的獎勵(lì)就越多。

盡管實(shí)驗(yàn)表明，強(qiáng)行「矯正」語言會導(dǎo)致模型性能微乎其微的下降，但為了輸出結(jié)果更符合人類閱讀習(xí)慣，這個(gè)犧牲是值得的。

• 第二強(qiáng)化學(xué)習(xí)階段

在這一階段，研究人員結(jié)合了獎勵(lì)信號和多樣化的提示詞分布來訓(xùn)練模型。

推理數(shù)據(jù)使用基于規(guī)則的獎勵(lì)，通用數(shù)據(jù)則啟用基于模型的獎勵(lì)。

獎勵(lì)可以公式化為：

其中

第二階段保留了第一階段的大部分參數(shù)，但將溫度降至0.7，以防因?yàn)橄禂?shù)過高造導(dǎo)致生成內(nèi)容不連貫。

此外，這里還有一個(gè)關(guān)鍵操作：基于模型的獎勵(lì)（有用性和安全性）僅在最后400個(gè)訓(xùn)練步中才被引入，從而避免獎勵(lì)投機(jī)的產(chǎn)生。

挑戰(zhàn)與未來

DeepSeek-R1的誕生，為AI發(fā)展帶來了深刻的啟示，也伴隨著新的挑戰(zhàn)。

• 能力局限

  在結(jié)構(gòu)化輸出和工具使用（如調(diào)用計(jì)算器、搜索引擎）方面，目前的DeepSeek-R1尚有欠缺。它對提示詞非常敏感，不適合復(fù)雜的少樣本提示，在零樣本直接提問時(shí)效果最佳。此外，由于強(qiáng)化學(xué)習(xí)在耗時(shí)長的軟件工程任務(wù)上效率不高，R1在該領(lǐng)域的提升有限。

• 獎勵(lì)投機(jī)

  純強(qiáng)化學(xué)習(xí)的成功，完全依賴于可靠的獎勵(lì)信號。在數(shù)學(xué)、編程這類有明確對錯(cuò)答案的領(lǐng)域，這很容易實(shí)現(xiàn)。但對于像「寫一首優(yōu)美的詩」這樣主觀的任務(wù)，則很難設(shè)計(jì)完美的獎勵(lì)模型。如果獎勵(lì)信號本身有漏洞，策略模型就會像一個(gè)聰明的學(xué)生鉆考試規(guī)則的空子一樣，「投機(jī)取巧」、騙取高分，而不是真正提升能力。

年初，DeepSeek-R1發(fā)布后，OpenAI感覺不可思議，指責(zé)DeepSeek「可能使用了ChatGPT的輸出來訓(xùn)練R1」。

在與審稿人的交流中，DeepSeek表示，R1并非通過復(fù)制OpenAI模型生成的推理示例來學(xué)習(xí)。

不過，與大多數(shù)其他大語言模型一樣，R1的基礎(chǔ)模型是在網(wǎng)絡(luò)上訓(xùn)練的，因此它會吸收互聯(lián)網(wǎng)上已有的AI生成的內(nèi)容。

俄亥俄州立大學(xué)AI研究員Huan Sun表示，這一解釋「與我們在任何出版物中看到的一樣令人信服」。

Nature審稿人、Hugging Face機(jī)器學(xué)習(xí)工程師Lewis Tunstall補(bǔ)充說，其他實(shí)驗(yàn)室的復(fù)制嘗試表明，DeepSeek推理方法已經(jīng)足夠好，不需要這樣做。

他說：「我認(rèn)為現(xiàn)在的證據(jù)相當(dāng)明確，僅使用強(qiáng)化學(xué)習(xí)就可以獲得非常高的性能。」

Lewis Tunstall說，其他研究人員現(xiàn)在正試圖應(yīng)用創(chuàng)建R1的方法來改進(jìn)現(xiàn)有大語言模型的類似推理能力，并將其擴(kuò)展到數(shù)學(xué)和編碼以外的領(lǐng)域。他補(bǔ)充說，通過這種方式，R1「開啟了一場革命」。

參考資料：HYJ

https://www.nature.com/articles/s41586-025-09422

https://www.nature.com/articles/d41586-025-03015-6