近日，來自普渡大學(xué)、德克薩斯大學(xué)、新加坡國(guó)立大學(xué)、摩根士丹利機(jī)器學(xué)習(xí)研究、小紅書 hi-lab 的研究者聯(lián)合提出了一種對(duì)離散擴(kuò)散大語(yǔ)言模型的后訓(xùn)練方法 ——DiscreteDiffusion DivergenceInstruct(DiDi-Instruct)。經(jīng)過 DiDi-Instruct 后訓(xùn)練的擴(kuò)散大語(yǔ)言模型可以以 60 倍的加速超越傳統(tǒng)的 GPT 模型和擴(kuò)散大語(yǔ)言模型。

DiDi-Instruct 提出了一種獨(dú)創(chuàng)的概率分布匹配的后訓(xùn)練策略，可以將原本需要 500 步以上的昂貴的擴(kuò)散語(yǔ)言 “教師”（diffusion Large Language Model, dLLM）模型，蒸餾成一個(gè)僅需 8-16 步生成整個(gè)文本段落的 “學(xué)生” 模型。在 OpenWebText 標(biāo)準(zhǔn)數(shù)據(jù)集上，DiDi-Instruct 語(yǔ)言模型既實(shí)現(xiàn)了超過 64 倍以上的推理加速，又在性能上同時(shí)顯著超越了被蒸餾的教師擴(kuò)散語(yǔ)言模型（dLLM，1024 步生成）和自回歸的 GPT2 模型（1024 步生成）。DiDi-Instruct 算法同時(shí)提升了大語(yǔ)言模型的推理效率和推理效果。為極端高效的大語(yǔ)言模型落地提供了新的方案。

• 論文標(biāo)題：Ultra-Fast Language Generation via Discrete Diffusion Divergence Instruct
• 論文鏈接：www.arxiv.org/abs/2509.25035
• 代碼倉(cāng)庫(kù)：github.com/haoyangzheng-ai/didi-instruct
• 項(xiàng)目地址：haoyangzheng.github.io/research/didi-instruct

研究背景 | 大語(yǔ)言模型生成的 “速度極限” 是多少？

近年來，以自回歸（ARMs）范式為核心的大語(yǔ)言模型（如 ChatGPT，DeepSeek 等模型）取得了巨大成功。然而，自回歸模型逐詞串行生成的固有瓶頸，使其在長(zhǎng)文本生成時(shí)面臨難以逾越的延遲 “天花板”，即使強(qiáng)大的并行計(jì)算硬件也無計(jì)可施。作為一種新興的替代范式，擴(kuò)散語(yǔ)言模型（后文將用 dLLM 指代）應(yīng)運(yùn)而生。dLLM 將文本生成重塑為一個(gè)從完全噪聲（或掩碼）序列中迭代去噪、恢復(fù)出完整文本的過程 。這一模式天然支持并行化語(yǔ)言段落生成，相較于自回歸模型生成速度更快。然而盡管如此，現(xiàn)有最好的 dLLM 在同等模型尺寸下為了達(dá)到與 GPT-2 相當(dāng)?shù)男阅?，仍然需要多達(dá)上百次模型迭代。這個(gè)困境不禁讓人疑惑：是否存在模型在極端少的迭代次數(shù)下（如 8-16 次迭代）下能顯著超越 1024 次迭代的 GPT 模型？

破局者 | DiDi-Instruct：分布匹配訓(xùn)練實(shí)現(xiàn)語(yǔ)言模型極致加速

在上述研究背景下，本篇文章提出了 DiDi-Instruct。簡(jiǎn)而言之，DiDi-Instruct 是一個(gè) dLLM 的后訓(xùn)練算法。一個(gè) dLLM 通過 DiDi-Instruct 算法訓(xùn)練蒸餾之后，可以將原本的 1024 次推理次數(shù)壓縮至 8 到 16 步，同時(shí)可以顯著提升的 dLLM 的建模效果。

DiDi-Instruct 的理論來源于連續(xù)擴(kuò)散模型中的一個(gè)經(jīng)典單步蒸餾算法：Diff-Instruct。從理論上看，DiDi-Instruct 訓(xùn)練算法的核心思想是最小化一個(gè)少采樣步數(shù)的 “學(xué)生” 模型與多采樣步數(shù)的 “教師” dLLM 模型在整個(gè)離散 Token 去噪軌跡上分布的積分 KL 散度（Integral Kullback-Leibler Divergence）。該目標(biāo)把不同時(shí)間的 KL 以權(quán)重積分匯總，避免只對(duì)齊末端樣本而訓(xùn)練不穩(wěn)的問題，從而讓學(xué)生以一種全局、全過程匹配的方式，高效 “學(xué)習(xí)” 教師的精髓。一旦積分 KL 散度被優(yōu)化至收斂（接近 0 值），少步生成的 “學(xué)生” 模型便在概率意義上吸收了 "教師 dLLM" 的知識(shí)。

DiDi-Instruct 流程示意：學(xué)生模型（Student）與教師模型（Teacher）從全掩碼序列重建 “干凈文本”，并同時(shí)進(jìn)行加噪處理。隨后，判別器（Discriminator）對(duì)兩者輸出進(jìn)行區(qū)分并給出獎(jiǎng)勵(lì)分?jǐn)?shù)，用作學(xué)生模型的更新信號(hào)，使其在后續(xù)生成中逼近教師分布。經(jīng)過反復(fù)迭代，Student 能以更少步數(shù)獲得接近 Teacher 的生成質(zhì)量。

然而，想要直接優(yōu)化積分 KL 散度面臨諸多例如離散文本不可微分等理論困難。針對(duì)這些挑戰(zhàn)，DiDi-Instruct 提出了一套系統(tǒng)性的解決方案，其關(guān)鍵創(chuàng)新包括：

1. 基于策略梯度的分布匹配目標(biāo)：DiDi-Instruct 巧妙地將蒸餾目標(biāo)重構(gòu)為一種策略梯度（Policy Gradient）的數(shù)學(xué)形式，然后通過引入一個(gè)獎(jiǎng)勵(lì)函數(shù)來指導(dǎo)學(xué)生模型的更新，優(yōu)雅地繞過了在離散空間中求導(dǎo)的難題。
2. 通過對(duì)抗學(xué)習(xí)動(dòng)態(tài)塑造獎(jiǎng)勵(lì)函數(shù)：為了獲得上述獎(jiǎng)勵(lì)信號(hào)，DiDi-Instruct 引入了一個(gè)輔助的判別器網(wǎng)絡(luò)（discriminator）。該網(wǎng)絡(luò)通過對(duì)抗訓(xùn)練，學(xué)習(xí)區(qū)分 “學(xué)生” 和 “教師” 在任意中間步驟生成的噪聲樣本，其輸出的對(duì)數(shù)密度比（log-density ratio）便構(gòu)成了指導(dǎo)學(xué)生優(yōu)化的精確獎(jiǎng)勵(lì)信號(hào)。
3. 穩(wěn)定訓(xùn)練與高質(zhì)量推理的關(guān)鍵技術(shù)：DiDi-Instruct 還引入多項(xiàng)關(guān)鍵設(shè)計(jì)對(duì)該方法進(jìn)行系統(tǒng)性優(yōu)化，以穩(wěn)定訓(xùn)練、緩解熵坍塌、提升推理質(zhì)量。

• 分組獎(jiǎng)勵(lì)歸一化（Grouped Reward Normalization）：借鑒深度求索（DeepSeek）提出的組相對(duì)策略優(yōu)化（GRPO），DiDi-Instruct 在每個(gè)小批量（mini-batch）內(nèi)對(duì)獎(jiǎng)勵(lì)進(jìn)行標(biāo)準(zhǔn)化。該操作顯著降低了訓(xùn)練梯度的方差，有效提升了訓(xùn)練的穩(wěn)定性。
• 分步式中間狀態(tài)匹配（Intermediate-state Matching）：通過分解梯度信息，DiDi-Instruct 使學(xué)生模型在訓(xùn)練中接觸到不同噪聲水平的中間狀態(tài)。這個(gè)機(jī)制有效緩解了困擾許多后訓(xùn)練算法的模型熵坍塌問題（mode collapse），保證了學(xué)生模型真正學(xué)習(xí)到生成復(fù)雜，多樣性的內(nèi)容。
• 獎(jiǎng)勵(lì)驅(qū)動(dòng)的祖先采樣（Reward-guided Ancestral Sampling）：在推理階段，利用訓(xùn)練好的判別器獲得獎(jiǎng)勵(lì)信號(hào)，對(duì)生成過程進(jìn)行 “梯度引導(dǎo) + 多候選重排序”，進(jìn)一步提升了最終生成文本的質(zhì)量。

DiDi-Instruct 后訓(xùn)練算法。

獎(jiǎng)勵(lì)驅(qū)動(dòng)的祖先采樣算法。

科學(xué)實(shí)驗(yàn) | 效率與性能的雙重飛躍

研究團(tuán)隊(duì)在公開的 OpenWebText 數(shù)據(jù)集上進(jìn)行了詳盡的實(shí)驗(yàn)，結(jié)果出人出人意料：經(jīng)過 DiDi-Instruct 后訓(xùn)練的語(yǔ)言模型在效率和效果上得到了雙重提升。

1.性能與質(zhì)量新標(biāo)桿：DiDi-Instruct 在生成質(zhì)量和效率上均達(dá)到了新的 SOTA 水平。該工作系統(tǒng)性地將 DiDi-Instruct 與 GPT-2、MDLM、DUO、SDTT 等多個(gè)基準(zhǔn)模型進(jìn)行了比較。結(jié)果顯示，在 OpenWebText 數(shù)據(jù)集上，DiDi-Instruct 在 8 到 128 步的所有函數(shù)評(píng)估次數(shù)（NFEs）設(shè)置下，其困惑度（Perplexity）指標(biāo)全面且持續(xù)地優(yōu)于所有基準(zhǔn)模型。一個(gè)尤為亮眼的成果是，僅需 16 步函數(shù)評(píng)估，DiDi-Instruct 生成的文本質(zhì)量 Perplexity（PPL）就已經(jīng)超越了需要 1024 步才能完成生成的教師模型，相比最強(qiáng)的基線模型提升超過 30%。同時(shí)，這些性能增益是在幾乎沒有熵?fù)p失（約 1%）的情況下實(shí)現(xiàn)的，充分保證了生成內(nèi)容的多樣性。

DiDi-Instruct 蒸餾所得學(xué)生模型與基準(zhǔn)模型在不同函數(shù)評(píng)估次數(shù)（NFEs）下的文本生成困惑度（PPL）對(duì)比。

2.訓(xùn)練效率大幅提升：DiDi-Instruct 不僅生成質(zhì)量高，其訓(xùn)練（蒸餾）過程也極為高效。出人意料的時(shí)候，整個(gè)蒸餾框架的訓(xùn)練僅需在單張 NVIDIA H100 GPU 上運(yùn)行約 1 小時(shí)即可完成。相比之下，其他同類蒸餾方法（基線模型）通常需要超過倍以上的訓(xùn)練時(shí)間。這意味著 DiDi-Instruct 將訓(xùn)練效率提升了超過 20 倍，極大地降低了開發(fā)者迭代和部署高性能生成模型的門檻。

3.跨領(lǐng)域通用性驗(yàn)證：研究團(tuán)隊(duì)在報(bào)告中指出，DiDi-Instruct 的蒸餾框架是為離散擴(kuò)散模型設(shè)計(jì)的，并不局限于語(yǔ)言模型。為了驗(yàn)證這一點(diǎn)，團(tuán)隊(duì)將其成功應(yīng)用于一個(gè)完全不同的領(lǐng)域：無條件蛋白質(zhì)序列生成。他們使用一個(gè)預(yù)訓(xùn)練的蛋白質(zhì)語(yǔ)言擴(kuò)散模型（DPLM）作為教師模型進(jìn)行蒸餾。結(jié)果表明，蒸餾后的學(xué)生模型保留了教師模型生成可變長(zhǎng)度序列的能力，同時(shí)大幅降低了推理成本。更重要的是，學(xué)生模型在極少步數(shù)下即可生成結(jié)構(gòu)合理的高置信度蛋白質(zhì)結(jié)構(gòu)。這一跨領(lǐng)域?qū)嶒?yàn)有力地證實(shí)了 DiDi-Instruct 作為通用離散序列生成加速框架的巨大潛力。

由 DiDi-Instruct 蒸餾得到的學(xué)生模型生成的 高置信度蛋白質(zhì)序列（pLDDT > 70）。

4.深入消融實(shí)驗(yàn)，探究各組件的核心貢獻(xiàn)：為了科學(xué)地驗(yàn)證每個(gè)創(chuàng)新組件的必要性和貢獻(xiàn)，研究團(tuán)隊(duì)還進(jìn)行了詳盡的 “逐項(xiàng)累加”（cumulative）和 “逐一剔除”（leave-one-out）的消融研究。這些實(shí)驗(yàn)揭示了模型性能的關(guān)鍵驅(qū)動(dòng)因素：

• 中間狀態(tài)匹配是框架穩(wěn)定的基石：實(shí)驗(yàn)表明，雖然單獨(dú)加入該模塊對(duì)性能提升有限，但在完整的模型中一旦移除，模型性能會(huì)災(zāi)難性下降（PPL > 30,000），證明了其在復(fù)雜優(yōu)化環(huán)境下的關(guān)鍵穩(wěn)定作用。
• 時(shí)間步耦合能高效提升蒸餾性能：該技術(shù)將 8 步生成下的困惑度從 600 + 驟降至 100 左右，凸顯了對(duì)齊獎(jiǎng)勵(lì)信號(hào)與分?jǐn)?shù)函數(shù)中間狀態(tài)的重要性。而在目標(biāo)函數(shù)中增加權(quán)重信息則能進(jìn)一步提升模型訓(xùn)練效果。
• 正則化項(xiàng)扮的 “雙重角色”：在極少步數(shù)下（如 8 NFEs），它能有效穩(wěn)定訓(xùn)練，防止離散誤差導(dǎo)致訓(xùn)練目標(biāo)偏離。然而在更多步數(shù)（≥ 16 NFEs）的采樣中，移除正則化反而能取得更好的結(jié)果，這表明此時(shí)過強(qiáng)的約束會(huì)限制模型的表達(dá)能力。
• 引導(dǎo)式推理的作用解讀：在少步數(shù)（如 8 NFEs）時(shí)，它能顯著降低困惑度（困惑度相對(duì)改善約 30%），提升文本生成質(zhì)量。而在多步數(shù)下，它對(duì)困惑度影響甚微，但能顯著提升生成樣本的多樣性（熵從 5.00 提升至 5.15），這與獎(jiǎng)勵(lì)驅(qū)動(dòng)的祖先采樣設(shè)計(jì)的先 “梯度引導(dǎo)” 后 “多候選重排序” 的混合策略設(shè)計(jì)完美契合。

“逐項(xiàng)累加” 消融實(shí)驗(yàn)結(jié)果見表 1，“逐一剔除” 消融實(shí)驗(yàn)結(jié)果見表 2。

技術(shù)展望 | 開啟高效生成模型新范式

DiDi-Instruct 的提出，不僅是離散擴(kuò)散模型加速技術(shù)的一次技術(shù)突破，也為廣泛的大語(yǔ)言模型的極限加速，對(duì)齊和強(qiáng)化學(xué)習(xí)提供了新的思路。它首次成功地將分布匹配蒸餾思想應(yīng)用于基于掩碼的離散擴(kuò)散模型，并建立了一套集 “分布匹配目標(biāo)、穩(wěn)定訓(xùn)練、高效推理” 于一體的完整框架。這項(xiàng)工作展示了通過系統(tǒng)性的算法與框架設(shè)計(jì)，可以克服現(xiàn)階段大語(yǔ)言模型在生成效率上的瓶頸，使其成為下一代 AI 內(nèi)容生成中（多模態(tài)生成、代碼生成、生物序列設(shè)計(jì)等領(lǐng)域）極具競(jìng)爭(zhēng)力的選項(xiàng)。我們非常期待將 DiDi-Instruct 應(yīng)用于最前沿的超大規(guī)模的擴(kuò)散語(yǔ)言模型的效果。

團(tuán)隊(duì)簡(jiǎn)介

本論文第一作者鄭昊陽(yáng)，目前于美國(guó)普渡大學(xué)攻讀博士學(xué)位，導(dǎo)師為林光老師。林光是普渡大學(xué)的 Moses Cobb Stevens 教授兼理學(xué)院副院長(zhǎng)。論文的兩位通訊作者羅維儉和鄧偉分別是小紅書 hi-lab 的多模態(tài)研究員和紐約摩根士丹利的機(jī)器學(xué)習(xí)研究員。