新智元報道

編輯：KingHZ

【新智元導(dǎo)讀】谷歌遺珠與IBM預(yù)言：一文點醒Karpathy，擴散模型或成LLM下一步。

Karpathy難以抵擋的誘惑！

蘋果的前員工、德克薩斯大學(xué)奧斯汀分校（UT Austin）的計算機科學(xué)研究生Nathan Barry，得出一個驚人的結(jié)論：

BERT本質(zhì)上，只是文本擴散中的一步！

基于「強化版BERT」RoBERTa，他成功地把表示學(xué)習(xí)算法改造為生成算法：

看完帖子后，OpenAI創(chuàng)始員工、特斯拉前AI總監(jiān)Karpathy陷入了沉思：

人類的思維或許更偏向自回歸一些——一步步推進的感覺。但在我們的思維潛空間里，也很難說就不存在某種更像擴散的機制。

說不定在這兩者之間，其實可以繼續(xù)插值、或者更進一步泛化。

這部分生成邏輯在LLM架構(gòu)中，依然是一個相對「可變」的部分。

不過，Karpathy最近忙于為Eureka Labs的《LLM 101n》課程開發(fā)終級實踐項目「100美元帶回家的ChatGPT」，所以他只能「忍痛割愛」：

現(xiàn)在我必須克制住用擴散模型訓(xùn)練nanochat的沖動，不能偏離主線去搞支線任務(wù)了。

可以上下滾動的圖片

谷歌的遺珠

當(dāng)?shù)谝淮巫x到語言擴散模型論文時，Nathan Barry驚訝地發(fā)現(xiàn)它們的訓(xùn)練目標只是掩碼語言建模（masked language model，MLM）的一種推廣。

而自從2018年BERT以來，大家一直早已對掩碼語言建模習(xí)以為常。

預(yù)印本：https://arxiv.org/abs/1810.04805

他腦海里立刻冒出一個想法：我們能不能把類似BERT的模型微調(diào)一下，讓它也能做文本生成？

出于好奇，他做了個快速的驗證實驗。隨后，他發(fā)現(xiàn)其實早就有人做過了——DiffusionBERT基本就是這個想法，不過做得更嚴謹。

值得一提的是，大約3年前，DiffusionBERT由國內(nèi)高校的研究者提出，100%國產(chǎn)！

預(yù)印本鏈接：https://arxiv.org/abs/2211.15029

最初，擴散模型在圖像生成領(lǐng)域一炮而紅。

在圖像生成中，擴散模型會先對圖像逐步添加高斯噪聲（前向過程），然后訓(xùn)練神經(jīng)網(wǎng)絡(luò)對其進行迭代去噪（反向過程）。

將這一思路應(yīng)用于文本領(lǐng)域，意味著我們需要找到方法對文本添加噪聲并在之后分階段消除。

最簡單的實現(xiàn)方式是基于掩碼的噪聲處理流程：

• 在前向過程中，初始文本未被破壞。在每一步迭代中，根據(jù)預(yù)設(shè)的調(diào)度計劃（從0%到100%），隨機將一定比例的詞語替換為特殊的 標記

• 在反向（去噪）過程中，訓(xùn)練模型根據(jù)每個 預(yù)測正確的原始詞語。這與掩碼語言模型(MLM)類似，但采用了動態(tài)掩碼率

為了解決以往方法存在的問題，BERT提出了掩碼語言建模（Masked LM）。

具體做法是：對每條訓(xùn)練輸入序列隨機遮蓋15%的詞語，僅對這些被遮蓋的詞進行預(yù)測。用圖示語言來表達就是：

換句話說，BERT的MLM訓(xùn)練目標，其實就可以看作是文本擴散的一種特例，只不過它用的是固定的掩碼率。

而只要我們引入一個從0到1的動態(tài)掩碼率范圍，就可以把BERT的訓(xùn)練目標自然擴展為一個完整的文本生成過程。

擴展無處不在，自監(jiān)督模型變生成模型

2019年發(fā)布的RoBERTa模型，是在原始BERT基礎(chǔ)上的一次強化升級。

預(yù)印本：https://arxiv.org/abs/1907.11692

它調(diào)整了超參數(shù)、擴大了訓(xùn)練語料，并簡化了訓(xùn)練目標——

只保留MLM（掩碼語言建模），去掉了「下一句預(yù)測」任務(wù)。

而Nathan Barry使用HuggingFace的開源庫，加載RoBERTa的預(yù)訓(xùn)練權(quán)重、分詞器以及Trainer類，對模型進行微調(diào)，數(shù)據(jù)集選用 WikiText。核心代碼（完整代碼見原文）大致如下：

在當(dāng)前實現(xiàn)中，設(shè)定了10個擴散步驟，每個訓(xùn)練批次隨機采樣一個遮蓋比例p，從[1.0, 0.9, ..., 0.1]中選取，然后對該比例的Token進行掩碼處理。這個邏輯封裝在自定義的diffusion_collator中：

在推理時，從一個長度為256的輸入向量開始：前16個位置是提示詞（prompt）的Token ID，后面240個全是 。然后，逐步減少掩碼比例，每一步都做預(yù)測、采樣、重新掩碼。流程如下：

對應(yīng)的簡化代碼如下：

在H200顯卡上，經(jīng)過30分鐘訓(xùn)練后，模型基于如下提示詞生成了如下文本：

...dominion over Europe beginning about the early 19th. There conflict took place on the island, between British and Irish Ireland. British officials administered British Ireland, a Celtic empire under the control of the Irish nationalist authorities, defined as a dominion of Britain. As the newly Fortic states acquired independent and powerful status, many former English colonies played their part in this new, British @-@ controlled colonial system. Following this period the Non @-@ Parliamentaryist Party won its influence in Britain in 1890, led by the support of settlers from the Irish colonies. Looking inwards, Sinclair, Lewis questioned, and debated the need to describe " The New Britain "

提示詞為：Following their victory in the French and Indian War, Britain began to assert greater...

生成的文本看起來出奇地連貫！其中大部分「怪異之處」， Nathan Barry歸因于WikiText數(shù)據(jù)集本身的格式化問題——比如標點符號前后帶空格，連字符「-」被處理成了@-@等。

數(shù)據(jù)顯示，GPT-2在輸出連貫性和生成速度方面略勝一籌（約9秒對比13秒）。

但RoBERTa Diffusion未經(jīng)優(yōu)化，如此效果，已令人驚喜。

這次的概念驗證無疑非常成功——若能結(jié)合AR-Diffusion、跳躍步擴散等新興技術(shù)并深度優(yōu)化，生成質(zhì)量與推理速度都將獲得飛躍提升。

擴散模型歸來

通過實驗證明，以RoBERTa為代表的掩碼語言模型（原本專為填空任務(wù)設(shè)計），將變比率掩碼重構(gòu)為離散擴散過程，完全可以轉(zhuǎn)型為全功能生成引擎。

通過漸進式植入 標記污染文本，并訓(xùn)練模型在遞增的掩碼強度下迭代去噪，標準MLM目標成功地轉(zhuǎn)化為漸進式文本生成流程。

值得注意的是，即使不調(diào)整模型架構(gòu)，僅對訓(xùn)練目標進行微調(diào)后的RoBERTa就能生成視覺連貫的文本。

這有力印證了一個重要洞見：本質(zhì)上，BERT系模型就是在固定掩碼率上訓(xùn)練的文本擴散模型。

Karpathy點贊了Nathan Barry的短文：

帖子雖短，卻解釋了文本（離散）擴散模型可以有多簡單。

許多擴散模型的論文看起來頗為晦澀，但若拋開數(shù)學(xué)形式的外殼，最終得到的往往是簡潔的基礎(chǔ)算法。

例如在連續(xù)空間中更接近流匹配的方法，或是像這樣的離散空間方案，其本質(zhì)還是經(jīng)典的Transformer架構(gòu)，只不過采用了雙向注意力機制——

根據(jù)噪聲調(diào)度計劃，在「token畫布」上迭代重采樣和重復(fù)掩碼處理所有token，直至最終步生成完整樣本。

自回歸生成的過程，就像是在Token畫布上不斷.append(token) ，每次只參考左側(cè)已有的上下文；

而擴散式生成，則是在整個Token畫布上反復(fù).setitem(idx, token) ，每次都依賴雙向注意力進行刷新更新。

從整個大語言模型（LLM）技術(shù)棧的角度來看，生成領(lǐng)域仍大有可為，存在著優(yōu)化與創(chuàng)新的空間。

今年更早的時候，在2025 I/O大會上，谷歌DeepMind發(fā)布了一項實驗性的擴展語言模型——。

在速度上，擴散語言模型優(yōu)勢明顯。以至于有網(wǎng)友預(yù)測：文本擴展模型就是每個人視而不見的下一步，因為訓(xùn)練成本太高了！

而「藍色巨人」IBM的作家也斷言，隨著下一代AI浮現(xiàn)，擴散模型要挑戰(zhàn)GPT。

參考資料：

https://nathan.rs/posts/roberta-diffusion/

https://x.com/karpathy/status/1980347971935068380

https://x.com/yacinelearning/status/1980351871413022901