字節(jié)&MAP團(tuán)隊(duì)投稿 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

強(qiáng)化學(xué)習(xí)（RL）范式雖然顯著提升了大語言模型（LLM）在復(fù)雜任務(wù)中的表現(xiàn)，但其在實(shí)際應(yīng)用中仍面臨傳統(tǒng)RL框架下固有的探索難題。

一個(gè)普遍存在的現(xiàn)象是：在訓(xùn)練過程中，模型的熵值迅速下降，推理路徑趨于固化，導(dǎo)致“利用（exploitation）”遠(yuǎn)超“探索（exploration）”，嚴(yán)重失衡。

這種過早收斂不僅削弱了模型的多樣性生成能力，也限制了其性能上限的進(jìn)一步突破。

受OpenAI經(jīng)典論文《First Return, Then Explore》中“先返回，再探索”思想的啟發(fā)，來自字節(jié)跳動、MAP，曼徹斯特大學(xué)的聯(lián)合團(tuán)隊(duì)提出了一種全新的結(jié)構(gòu)化探索框架：First Return, Entropy-Eliciting Explore（FR3E）。

該方法通過識別推理軌跡中具有高不確定性的關(guān)鍵token，并以此為錨點(diǎn)引導(dǎo)后續(xù)的多樣化展開，系統(tǒng)性地重建了LLM在強(qiáng)化學(xué)習(xí)中的探索機(jī)制，旨在實(shí)現(xiàn)利用與探索之間的動態(tài)平衡，從而釋放RL訓(xùn)練的更高潛力。

值得一提的是，F(xiàn)R3E發(fā)布后，《First Return, Then Explore》的作者之一Jeff Clune還在X（原 Twitter）上轉(zhuǎn)發(fā)了這篇文章。

算法框架

FR3E的算法框架分為兩個(gè)階段：

第一階段：First Return

在該階段，模型對每條prompt進(jìn)行多次rollout，自由探索可能的解題路徑，并收集相應(yīng)的軌跡及其獎(jiǎng)勵(lì)信號。

隨后，采用拒絕采樣（rejection sampling）策略過濾掉全正確的樣本（避免對已掌握知識的重復(fù)學(xué)習(xí)），并針對剩余樣本構(gòu)建基準(zhǔn)路徑：對于存在部分正確結(jié)果的prompt，選取其中一條正確軌跡作為基準(zhǔn)；

對于全部錯(cuò)誤的prompt，則隨機(jī)選取一條作為參考路徑。

在此基礎(chǔ)上，計(jì)算基準(zhǔn)路徑中每個(gè)token的生成熵，篩選出top-n個(gè)高熵token作為關(guān)鍵決策點(diǎn)。

這些關(guān)鍵點(diǎn)將整條軌跡劃分為n+1個(gè)partial rollout。通過將原始prompt與前n個(gè)partial rollout依次拼接（最后一個(gè)包含答案的部分被排除），形成n+1個(gè)中間狀態(tài)（state），初始狀態(tài)即為原始prompt本身。

第二階段：Entropy-Eliciting Explore

基于構(gòu)建的多狀態(tài)prompt組，F(xiàn)R3E在GRPO++（融合了拒絕采樣與Clip-Higher機(jī)制的GRPO變體）的基礎(chǔ)上，進(jìn)一步引入動態(tài)優(yōu)勢調(diào)制機(jī)制，以更精細(xì)地調(diào)控學(xué)習(xí)信號。具體而言，通過引入了一個(gè)優(yōu)勢調(diào)制因子，它基于從上一個(gè)狀態(tài)到當(dāng)前狀態(tài)的價(jià)值邊際改善來縮放學(xué)習(xí)信號。

優(yōu)勢調(diào)制因子定義為：

調(diào)控后的Advantage定義為：

表示當(dāng)前state prompt中的partial rollout部分對最終答案有正向影響，此時(shí)需要適當(dāng)降低它的advantage，防止模型過早鎖定當(dāng)前推理路徑，保留探索空間。

反之，當(dāng)

則意味著當(dāng)前state prompt中的partial rollout部分對思考過程沒有或有負(fù)向影響，需要放大其優(yōu)勢信號，激勵(lì)模型在該節(jié)點(diǎn)進(jìn)行更積極的探索，以突破推理瓶頸。

在數(shù)據(jù)構(gòu)建方面，團(tuán)隊(duì)采用雙難度混合策略：低難度數(shù)據(jù)來自DeepScaler，用于穩(wěn)定訓(xùn)練初期的收斂過程；

高難度數(shù)據(jù)則取自SimpleRL中難度等級為3–5的樣本，旨在激發(fā)模型的深層推理能力。這種組合既保障了訓(xùn)練穩(wěn)定性，又提供了足夠的挑戰(zhàn)性以推動能力躍遷。

實(shí)驗(yàn)結(jié)果

為全面評估FR3E的有效性，團(tuán)隊(duì)在多個(gè)權(quán)威數(shù)學(xué)推理基準(zhǔn)上進(jìn)行了實(shí)驗(yàn)，包括GSM8K、Math500、Minerva Math、Gaokao2023en、OlympiadBench、College Math以及AIME24。并在Qwen2.5-7B、Qwen2.5-Math-7B和Qwen2.5-32B三種模型上進(jìn)行了評測。

實(shí)驗(yàn)結(jié)果表明，F(xiàn)R3E在多個(gè)基準(zhǔn)上均顯著優(yōu)于強(qiáng)基線GRPO++，展現(xiàn)出更強(qiáng)的泛化與推理能力。

尤其值得注意的是，在訓(xùn)練動態(tài)分析中，F(xiàn)R3E展現(xiàn)出更持久的探索行為：其熵值衰減更緩慢，響應(yīng)長度更長，特別是在Qwen2.5-Math-7B這類已微調(diào)模型上，成功突破了傳統(tǒng)方法中熵值長期處于低位的“僵化”困境，實(shí)現(xiàn)了探索能力的再激活。

此外，通過對多次rollout結(jié)果的統(tǒng)計(jì)監(jiān)控，團(tuán)隊(duì)發(fā)現(xiàn)FR3E顯著提升了“全正確”軌跡的數(shù)量，同時(shí)大幅降低了“全錯(cuò)誤”軌跡的比例。

這表明，原本僅能部分解出或完全失敗的問題，在FR3E的訓(xùn)練機(jī)制下，逐步演化為穩(wěn)定、完整的正確解答路徑，真正實(shí)現(xiàn)了從“部分成功”到“全面突破”的躍遷。

綜上所述，F(xiàn)R3E提出了一種新穎且高效的結(jié)構(gòu)化探索范式，直面LLM在強(qiáng)化學(xué)習(xí)中“探索不足”的核心瓶頸。

通過“先返回、再探索”的兩階段設(shè)計(jì)，結(jié)合高熵錨點(diǎn)識別與動態(tài)優(yōu)勢調(diào)制機(jī)制，F(xiàn)R3E不僅有效延緩了模型的過早收斂，更顯著提升了復(fù)雜推理任務(wù)中的性能上限。

實(shí)驗(yàn)充分驗(yàn)證了FR3E在多個(gè)數(shù)學(xué)推理基準(zhǔn)上的優(yōu)越性，尤其在提升探索多樣性、增強(qiáng)長程推理穩(wěn)定性方面表現(xiàn)突出。

更重要的是，該方法所體現(xiàn)的“結(jié)構(gòu)化反饋 + 自適應(yīng)調(diào)節(jié)”思想，具備良好的可擴(kuò)展性。團(tuán)隊(duì)期待FR3E所倡導(dǎo)的探索機(jī)制，能夠?yàn)槲磥泶竽Ｐ偷膹?qiáng)化學(xué)習(xí)訓(xùn)練提供新的范式參考。

論文地址：https://arxiv.org/pdf/2507.07017

— 完 —

量子位 QbitAI · 頭條號簽約

關(guān)注我們，第一時(shí)間獲知前沿科技動態(tài)