大模型推理到底要不要「長篇大論」？過去一年，OpenAI o 系列、DeepSeek-R1、Qwen 等一系列推理模型，把「長鏈思維」玩到極致：答案更準(zhǔn)了，但代價是推理鏈越來越長、Token 消耗爆炸、響應(yīng)速度驟降。

如果 scale-up 長鏈思維是通往 AGI 的路徑，那么現(xiàn)有思維鏈的冗長問題是我們亟待解決的。

那么，能不能讓模型「少說廢話」，既快又準(zhǔn)？

過去的嘗試大多失?。焊鞣N復(fù)雜的長度懲罰（Length Penalty）要么讓模型亂答，要么訓(xùn)練不穩(wěn)定，結(jié)果就是效率提升了，準(zhǔn)確率卻掉了。

現(xiàn)在，英偉達(dá)研究院的最新研究給出了答案：關(guān)鍵不在于設(shè)計多復(fù)雜的懲罰，而在于用對強(qiáng)化學(xué)習(xí)優(yōu)化方法。

• 論文標(biāo)題：DLER: Doing Length pEnalty Right — reinforcement learning for more concise and efficient reasoning
• 論文鏈接: https://arxiv.org/html/2510.15110v1
• 項目主頁: https://nvlabs.github.io/DLER/

DLER 來了！推理模型的「減長秘籍」

DLER 首先是細(xì)致及全面了分析了引入長度懲罰之后出現(xiàn)的新的強(qiáng)化學(xué)習(xí)訓(xùn)練問題，包括：

• Reward 信號方差增大
• 「Aha Moment」詞不當(dāng)處理帶來的熵塌縮
• 訓(xùn)練信號過度稀疏 (剛開始訓(xùn)練的時候大部分生成都超過了預(yù)設(shè)長度)
• 
  

對于這些問題，DLER 提出了一套簡單卻強(qiáng)大的強(qiáng)化學(xué)習(xí)訓(xùn)練配方：

• Advantage normalization with local mean and batch std：替代 GRPO，穩(wěn)定訓(xùn)練信號，避免因截斷懲罰帶來的高方差。
• Higher clip：提升高熵探索，防止模型「思想僵化」。
• Dynamic sampling：丟掉無效樣本，聚焦真正有價值的推理路徑。
• Truncation penalty：最簡單的「截斷懲罰」，不給超長輸出任何獎勵。

基于 DLER 這套訓(xùn)練方法，得到的模型結(jié)果令人震驚。新模型產(chǎn)生的推理長度竟然可以減少 70% 以上，但準(zhǔn)確率完全保持。在 AIME-24 數(shù)學(xué)基準(zhǔn)上，DLER-Qwen-R1-7B 平均僅用 3230 Tokens 就達(dá)到 55.6% 準(zhǔn)確率，而 DeepSeek-R1-7B 要花 13241 Tokens 才能做到 55.4%。

DLER 不僅實(shí)現(xiàn)了回復(fù)問題更短的輸出，更是從另外角度增加了每 token 的智能含量。 在同樣的推理時間內(nèi)，相比于傳統(tǒng)的推理模型只能生成一條冗長推理，DLER 模型能并行生成幾十條簡明推理，最終準(zhǔn)確率比 DeepSeek-R1 高出近 50%。這一實(shí)驗(yàn)也意味著高效推理才是 Test-time Scaling 的關(guān)鍵。

關(guān)鍵發(fā)現(xiàn)

DLER 的研究揭示了幾個顛覆性結(jié)論：

• 推理效率的提升，不取決于懲罰設(shè)計的復(fù)雜度，而取決于優(yōu)化算法的選擇。
• 過去大家以為 RL 長度懲罰「必然掉準(zhǔn)確率」，其實(shí)只是因?yàn)閮?yōu)化方法沒選對。
• 簡單的截斷懲罰 + 正確的優(yōu)化器，就能讓模型學(xué)會「短而精」的思考方式。

更令人驚喜的是，DLER 不僅適用于小模型，在大模型上同樣奏效。研究團(tuán)隊還提出了權(quán)重選擇性合并（magnitude-selective weight merging），解決了大模型用公開數(shù)據(jù)微調(diào)時的性能下降問題：既能恢復(fù)全部準(zhǔn)確率，又能保持近一半的長度壓縮。

總結(jié)

這項來自 NVIDIA 的最新工作，讓我們重新認(rèn)識了推理模型的未來方向。首先，推理模型不能只是一味拉長推理鏈條，而是需要更聰明、更高效地思考。其次，通過 DLER，模型能以更少的 Tokens、更短的時間，做到更高的準(zhǔn)確率。 如果說之前的研究 ProRL 讓模型「開竅」，那么 DLER 就是幫模型「瘦身健身」，讓它們更快、更強(qiáng)、更實(shí)用。未來在實(shí)際部署中，DLER 無疑會成為讓推理模型真正落地的關(guān)鍵技術(shù)之一。