機(jī)器之心報道

編輯：+0，冷貓

經(jīng)歷了前段時間的雞飛狗跳，扎克伯格的投資似乎終于初見成效。

近期，Meta Superintelligence Labs 聯(lián)合提出了一個名為 REFRAG 的高效解碼框架，旨在解決 LLM 在處理長上下文輸入時面臨的效率瓶頸，尤其是在 RAG 等應(yīng)用場景下。

• 論文標(biāo)題：REFRAG：Rethinking RAG based Decoding
• 論文地址：https://arxiv.org/abs/2509.01092

為什么長上下文處理如此困難？

在當(dāng)前的 AI 應(yīng)用中，利用 LLM 處理包含大量外部知識的長文本輸入，是提升問答、對話和智能體應(yīng)用能力的關(guān)鍵。然而，這一過程也帶來了嚴(yán)峻的挑戰(zhàn)：在傳統(tǒng) LLM 中，注意力機(jī)制的計算和內(nèi)存開銷會隨著輸入長度的平方（N2）增長。

這意味著文本長度翻一倍，速度可能會慢 4 倍，這會導(dǎo)致顯著的系統(tǒng)延遲，并消耗大量內(nèi)存用于存儲 KV Cache，進(jìn)而降低系統(tǒng)吞吐量。這使得開發(fā)者不得不在知識豐富度與系統(tǒng)效率之間做出痛苦的權(quán)衡。

Meta 的研究指出，在 RAG 應(yīng)用中，LLM 處理的上下文中包含了大量從外部知識庫檢索拼接而成的段落，但其中只有一小部分與用戶查詢緊密相關(guān)。這些不相關(guān)的段落導(dǎo)致了計算資源的浪費(fèi)。REFRAG 的核心思想正是基于這一觀察，通過識別并跳過對這些非相關(guān)上下文的無效計算，來優(yōu)化解碼過程。

REFRAG 是如何解決問題的？

REFRAG 框架通過一個精巧的四步流程，利用注意力稀疏結(jié)構(gòu)，實(shí)現(xiàn)了顯著的性能提升。它與傳統(tǒng) RAG 的關(guān)鍵差異在于，它避免了讓 LLM 直接處理冗長的原始文本。

• 壓縮：首先，一個輕量級的編碼器會讀取檢索到的文檔，將每 16 個 token 壓縮成一個濃縮了語義精華的「塊向量」。
• 縮短：接下來，主模型不再讀取原始的 token，而是直接處理這些塊向量。輸入序列的長度因此立刻縮短了 16 倍。
• 加速：由于輸入變得極短，注意力機(jī)制的計算開銷大幅降低，同時作為顯存消耗大頭的 KV cache 也變得更小。這正是其能實(shí)現(xiàn)驚人速度提升的根本原因。
• 選擇：為了防止在壓縮過程中丟失關(guān)鍵信息，框架引入了一個基于 RL 的策略充當(dāng)「質(zhì)檢員」，它能智能地挑出信息密度最高、與任務(wù)最相關(guān)的關(guān)鍵片段，確保它們不被壓縮，從而保留核心信息。

Meta 表示，該框架的有效性已在包括 RAG、多輪對話和長文檔摘要在內(nèi)的多種長上下文任務(wù)中得到驗(yàn)證，取得了突破性的成果：

• 速度提升： 將首個 token 生成時間（TTFT）加速高達(dá) 30.8 倍。在 16k tokens 的場景下，相比 CEPE 等基線方法，實(shí)現(xiàn)了超過 16 倍的 TTFT 加速。從性能圖表可以看出，文本越長，REFRAG 的優(yōu)勢越明顯，其加速效果隨上下文規(guī)模增加呈指數(shù)級提升，而基線方法僅為線性增長。

• 上下文擴(kuò)展： 能夠?qū)F(xiàn)有 LLM 的有效上下文大小擴(kuò)展 16 倍，使其能處理更海量的信息。
• 精度不降反升： 在大幅提升速度和擴(kuò)展上下文的同時，做到了模型的準(zhǔn)確率沒有損失。更關(guān)鍵的是，在 GSM8K 基準(zhǔn)測試上，REFRAG 不僅能處理 8 倍更長的上下文（80 個 chunk vs 10 個 chunk），運(yùn)行速度還提升了一倍，最終成績更是幾乎翻倍，從 6.71 提升到 12.08。

簡而言之，REFRAG 讓「大上下文 RAG」從理想變成了現(xiàn)實(shí)。

雖然其效果聽起來非常不錯，但評論區(qū)也表示，它最終的價值仍需要在更廣泛的實(shí)際應(yīng)用場景中進(jìn)行檢驗(yàn)。

還有人對該研究中的 RL 策略提出了質(zhì)疑。

方法

為實(shí)現(xiàn)編碼器與解碼器的有效對齊，本研究遵循 Yen et al. (2024) 的工作，采用了一種基于「下一段落預(yù)測」任務(wù)的持續(xù)預(yù)訓(xùn)練方法。

在訓(xùn)練中，每個數(shù)據(jù)點(diǎn)包含總計 s+o=T 個詞元（token）。通過這一預(yù)訓(xùn)練過程，模型能夠?qū)W習(xí)如何利用塊嵌入（chunk embeddings）來高效執(zhí)行下游任務(wù)。

為了進(jìn)一步提升模型性能，該方法還引入了通過 RL 實(shí)現(xiàn)的選擇性壓縮機(jī)制。在完成 CPT 對齊后，模型會經(jīng)過監(jiān)督微調(diào) ，以適應(yīng)具體的下游應(yīng)用場景，例如 RAG 和多輪對話。

持續(xù)預(yù)訓(xùn)練方案

為確保 CPT 階段的成功，研究者提出了一個包含重建任務(wù)課程學(xué)習(xí)方法的訓(xùn)練方案。消融研究表明，該方案對于實(shí)現(xiàn)優(yōu)異的 CPT 性能至關(guān)重要。

該任務(wù)主要實(shí)現(xiàn)兩個目標(biāo)：

• 高效壓縮：訓(xùn)練編碼器將 k 個詞元壓縮成一個塊嵌入，同時最大程度地保留原始信息。
• 空間映射：訓(xùn)練投影層有效地將編碼器輸出的塊嵌入映射到解碼器的詞元空間中，使解碼器能夠「理解」并準(zhǔn)確重建原始信息。

設(shè)計重建任務(wù)的一個特定意圖是，鼓勵模型在訓(xùn)練時更多地依賴其上下文記憶（即從輸入中獲取信息），而非其固有的參數(shù)化記憶（即模型自身已經(jīng)學(xué)到的知識）。一旦通過此任務(wù)初步對齊了編碼器與解碼器，便會解凍解碼器，正式開始 CPT。

選擇性壓縮。為了進(jìn)一步提升答案預(yù)測的準(zhǔn)確性，該方法（REFRAG）引入了選擇性詞元壓縮機(jī)制。其核心思想是，對于上下文中特別重要的信息塊，可以不進(jìn)行壓縮，而是以原始形式保留，從而避免關(guān)鍵信息丟失。

一個強(qiáng)化學(xué)習(xí)策略被用來決定哪些塊應(yīng)當(dāng)被保留。該策略以下一段落預(yù)測的困惑度作為負(fù)向獎勵信號進(jìn)行指導(dǎo)（即困惑度越低，獎勵越高），從而學(xué)習(xí)識別并保留關(guān)鍵信息。編碼器和解碼器都經(jīng)過微調(diào)，以適應(yīng)這種壓縮塊與未壓縮塊混合的輸入形式。該策略網(wǎng)絡(luò)利用塊嵌入和掩碼技術(shù)來優(yōu)化塊的擴(kuò)展順序，既保留了解碼器的自回歸特性，又實(shí)現(xiàn)了壓縮位置的靈活安排。

更多技術(shù)細(xì)節(jié)請參看原論文。