機(jī)器之心報道

機(jī)器之心編輯部

現(xiàn)代 LLM 通常依賴顯式的文本生成過程（例如「思維鏈」）來進(jìn)行「思考」訓(xùn)練。這種策略將推理任務(wù)推遲到訓(xùn)練后的階段，未能充分挖掘預(yù)訓(xùn)練數(shù)據(jù)中的潛力。

為解決這一問題，字節(jié) Seed 團(tuán)隊聯(lián)合多家機(jī)構(gòu)推出了Ouro，一類被稱為循環(huán)語言模型（Looped Language Models）的新型預(yù)訓(xùn)練模型，其名稱源于象征循環(huán)與自我吞噬的「銜尾蛇」（Ouroboros）。

Ouro 另辟蹊徑通過（i）在潛在空間中進(jìn)行迭代計算，（ii）采用熵正則化目標(biāo)以實現(xiàn)學(xué)習(xí)型深度分配，以及（iii）擴(kuò)展至 7.7T tokens 的數(shù)據(jù)規(guī)模，將推理能力直接構(gòu)建到了預(yù)訓(xùn)練階段。 這些設(shè)計使得模型能夠在預(yù)訓(xùn)練階段直接學(xué)習(xí)和構(gòu)建推理能力，而非僅依賴后期微調(diào)。

• 論文標(biāo)題：Scaling Latent Reasoning via Looped Language Models
• 論文地址：https://arxiv.org/pdf/2510.25741
• 項目主頁：https://ouro-llm.github.io/
• HuggingFace：https://huggingface.co/collections/ByteDance/ouro

通過對照實驗，研究者發(fā)現(xiàn) Ouro 的性能提升并非源于知識存儲量的增加，而是得益于其更高效的知識操控與推理能力。進(jìn)一步分析表明，Ouro 的潛在推理過程相比標(biāo)準(zhǔn) LLM，更接近真實的人類推理機(jī)制。

Ouro 循環(huán)語言模型的性能。（左）參數(shù)共享的循環(huán)架構(gòu)。（中與右）雷達(dá)圖比較了 Ouro 1.4B 與 2.6B 模型（均采用 4 個循環(huán)步，紅色）與單獨的 Transformer 基線模型。我們的模型表現(xiàn)出強(qiáng)勁性能，可與更大規(guī)模的基線模型相媲美，甚至在部分任務(wù)上超越它們。

最終，Ouro 的 1.4B 和 2.6B 參數(shù)規(guī)模的 LoopLM，分別能在幾乎所有基準(zhǔn)測試中達(dá)到與 4B 和 8B 標(biāo)準(zhǔn) Transformer 相當(dāng)?shù)男阅埽瑢崿F(xiàn)了 2–3 倍的參數(shù)效率提升，顯示了其在數(shù)據(jù)受限時代下作為一種新型擴(kuò)展路徑的潛力。

在高級推理基準(zhǔn)測試中的表現(xiàn)。Ouro-Thinking 系列模型與強(qiáng)大的基線模型（如 Qwen3 和 DeepSeek-Distill）進(jìn)行對比。Ouro-1.4B-Thinking R4 的性能可與 4B 規(guī)模模型相媲美，而 Ouro-2.6B-Thinking R4 在多個數(shù)學(xué)與科學(xué)數(shù)據(jù)集上的表現(xiàn)達(dá)到或超越了 8B 規(guī)模模型。

另外，LoopLM 架構(gòu)在 HEx-PHI 基準(zhǔn)上顯著降低了有害性，且隨著循環(huán)步數(shù)（包括外推步）增加，模型的安全性進(jìn)一步提升。與傳統(tǒng)的 CoT 方法不同，研究者的迭代潛變量更新機(jī)制產(chǎn)生的是因果一致的推理過程，而非事后的合理化解釋。

循環(huán)架構(gòu)

LoopLM 架構(gòu)的靈感來源于「通用 Transformer」。其核心思想是在一個固定的參數(shù)預(yù)算內(nèi)實現(xiàn)「動態(tài)計算」。具體而言，該架構(gòu)包含一個由 N 個共享權(quán)重層組成的「層堆?！?。

在模型的前向傳播過程中，這個共享的層堆棧會被循環(huán)應(yīng)用多次，即經(jīng)歷多個「循環(huán)步驟」。這種設(shè)計將模型的計算規(guī)模從「參數(shù)數(shù)量」解耦到了「計算深度」。

該架構(gòu)的關(guān)鍵特性是其自適應(yīng)計算能力。它集成了一個學(xué)習(xí)到的「退出門」，當(dāng)模型處理輸入時：簡單輸入可能會在經(jīng)歷較少的循環(huán)步驟后就提前退出，從而節(jié)省計算資源；復(fù)雜輸入則會自然地被分配更多的迭代次數(shù)，以進(jìn)行更深層的處理。

這種迭代重用被視為一種「潛在推理」。與 CoT 在外部生成顯式文本步驟不同，LoopLM 是在模型的內(nèi)部隱藏狀態(tài)中構(gòu)建了一個「潛在思想鏈」。每一次循環(huán)都是對表征的逐步精煉，從而在不增加參數(shù)的情況下提升了模型的知識操縱能力。

訓(xùn)練流程

Ouro 的訓(xùn)練流程是一個多階段過程，總共使用了 7.7T tokens 的數(shù)據(jù)。

如圖 4 所示，該流程始于一個通用的預(yù)熱階段，隨后是使用 3T token 的初始穩(wěn)定訓(xùn)練階段。在此之后，模型通過「upcycling」策略分支為 1.4B 和 2.6B 兩種參數(shù)規(guī)模的變體。

兩種變體均獨立經(jīng)歷后續(xù)四個相同的訓(xùn)練階段：第二次穩(wěn)定訓(xùn)練（3T token）、CT 退火（CT Annealing, 1.4T token）、用于長上下文的 LongCT（20B token）以及中途訓(xùn)練（Mid-Training, 300B token）。

這個過程產(chǎn)生了 Ouro-1.4B 和 Ouro-2.6B 兩個基礎(chǔ)模型。最后，為了強(qiáng)化特定能力，模型還額外經(jīng)歷了一個專門的推理監(jiān)督微調(diào)階段，以創(chuàng)造出專注于推理的 Ouro-Thinking 系列模型。

在訓(xùn)練穩(wěn)定性方面，團(tuán)隊發(fā)現(xiàn)最初使用 8 個循環(huán)步驟會導(dǎo)致?lián)p失尖峰等不穩(wěn)定問題，因此在后續(xù)階段將循環(huán)步驟減少到 4，以此在計算深度和穩(wěn)定性之間取得了平衡。

為了讓模型學(xué)會何時「提前退出」，訓(xùn)練流程采用了新穎的兩階段目標(biāo)：

循環(huán)語言模型架構(gòu)概覽。

左圖為訓(xùn)練階段。在訓(xùn)練過程中，模型使用共享參數(shù)的 N 層堆疊結(jié)構(gòu)，并執(zhí)行 n 個循環(huán)步驟（R = 1 到 R = n）。在每個循環(huán)步驟 i，一個退出門預(yù)測退出概率 p?，而語言建模頭 L? 則計算對應(yīng)的任務(wù)損失。 訓(xùn)練目標(biāo)函數(shù)結(jié)合了所有循環(huán)步驟的期望任務(wù)損失，并加入熵正則化項 H（p?,…,p?），以鼓勵模型探索不同的計算深度。