新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】麻省理工學(xué)院最新研究預(yù)示著人類距離能夠自主學(xué)習(xí)的AI又邁出了關(guān)鍵一步。該研究推出了一種全新的自適應(yīng)大模型框架「SEAL」，讓模型從「被動(dòng)學(xué)習(xí)者」變?yōu)椤钢鲃?dòng)進(jìn)化者」。

人類距離能夠自主學(xué)習(xí)的AI又邁出了關(guān)鍵一步！

GPT-6是否有望成為第一個(gè)具備自主學(xué)習(xí)能力的大模型？

論文地址：https://arxiv.org/pdf/2506.10943

近日，麻省理工學(xué)院（MIT）提出了一種「自適應(yīng)大語言模型（SEAL）」的框架，使大模型能夠具備自我調(diào)整與持續(xù)優(yōu)化等能力。

網(wǎng)友VraserX在推薦這篇論文時(shí)，稱未來發(fā)布的GPT-6可能不僅更聰明，而且它還可能「活著」（在計(jì)算意義上）。

SEAL架構(gòu)可以讓模型實(shí)時(shí)從新數(shù)據(jù)中學(xué)習(xí)、自我修復(fù)退化的知識(shí)、在多次會(huì)話之間形成持久的記憶……

所以如果GPT-6整合了SEAL這些能力，它將成為一個(gè)能隨時(shí)適應(yīng)世界變化的模型，一個(gè)每天都在變得更好的系統(tǒng)。

這可能標(biāo)志著自主學(xué)習(xí)AI的誕生，宣告凍結(jié)權(quán)重時(shí)代的終結(jié)。

社交媒體資料顯示，該論文作者之一的Ekin Akyürek在OpenAI工作，印證了網(wǎng)友VraserX關(guān)于「該論文部分作者現(xiàn)在在OpenAI工作的說法」。

這意味著GPT-6未來有可能成為首批采用SEAL框架的前沿大模型之一。

「自我編輯」

讓大模型產(chǎn)生「自適應(yīng)」能力

大模型的功能雖然強(qiáng)大，但這種強(qiáng)大往往是「靜態(tài)」的，無法根據(jù)新任務(wù)、新知識(shí)或新樣本而自動(dòng)更新。

在SEAL框架下，當(dāng)大模型遇到一個(gè)新輸入時(shí)，它會(huì)進(jìn)行一次自我編輯（self-edit），生成一段文本，內(nèi)容可能是怎樣重組已有信息、優(yōu)化超參數(shù)，或調(diào)用什么工具來增強(qiáng)數(shù)據(jù)、更新模型。

然后，通過監(jiān)督式微調(diào)（SFT），這些「自我編輯」會(huì)帶來持久的權(quán)重更新，從而讓模型具備長期適應(yīng)能力。

為了訓(xùn)練模型這種「自我編輯」能力，研究人員用強(qiáng)化學(xué)習(xí)（RL）構(gòu)建了一個(gè)閉環(huán)系統(tǒng)：

模型更新后在下游任務(wù)中的表現(xiàn)，會(huì)被當(dāng)作獎(jiǎng)勵(lì)信號(hào)，改進(jìn)其后續(xù)的「自我編輯」策略。

與以往那些額外加適配模塊或輔助網(wǎng)絡(luò)的方法不同，SEAL直接讓模型用自己的生成結(jié)果來控制它的學(xué)習(xí)方式。

這一機(jī)制使模型擺脫了以往「填鴨教育」的模式，讓它更像一個(gè)主動(dòng)學(xué)習(xí)者。

為了改善大模型的適應(yīng)性，研究人員主張賦予LLM在面對新輸入時(shí)生成自己的訓(xùn)練數(shù)據(jù)與微調(diào)指令的能力。

具體來說，是通過強(qiáng)化學(xué)習(xí)算法，訓(xùn)練 LLM 生成「自我編輯」（self-edits）——以自然語言指令的形式，指定用于更新模型權(quán)重的數(shù)據(jù)，并可選地給出優(yōu)化超參數(shù)（如圖 1）。

研究人員將這種具備「自我編輯」能力的模型稱為自適應(yīng) LLM（SEAL）。

通過知識(shí)整合、少樣本學(xué)習(xí)任務(wù)來驗(yàn)證SEAL的效果，研究人員發(fā)現(xiàn)SEAL可以讓大模型具備自我適應(yīng)的潛力，朝著自我進(jìn)化的方向前進(jìn)。

與SEAL相關(guān)的研究

1.合成數(shù)據(jù)

合成數(shù)據(jù)在訓(xùn)練大模型時(shí)越來越常見，SEAL也是在這條思路上發(fā)展起來的。

但不同的是，以往的生成策略大多依賴人工調(diào)參或固定規(guī)則，而SEAL使用強(qiáng)化學(xué)習(xí)來自動(dòng)優(yōu)化生成策略，讓模型能夠生成在后續(xù)訓(xùn)練中真正可以提升下游任務(wù)表現(xiàn)的數(shù)據(jù)。

2. 知識(shí)整合

近來的多項(xiàng)工作嘗試通過權(quán)重更新來修改或注入事實(shí)性知識(shí)，SEAL主張通過上下文來生成額外的微調(diào)數(shù)據(jù)，并在此基礎(chǔ)上通過強(qiáng)化學(xué)習(xí)讓模型學(xué)會(huì)生成更優(yōu)的微調(diào)數(shù)據(jù)。

3. 測試時(shí)訓(xùn)練

「測試時(shí)訓(xùn)練」（Test-Time Training, TTT）指的是模型在推理時(shí)根據(jù)輸入動(dòng)態(tài)更新部分權(quán)重，從而適應(yīng)新任務(wù)。

研究發(fā)現(xiàn)，將TTT與上下文學(xué)習(xí)結(jié)合，可以在小樣本條件下表現(xiàn)更好。

SEAL的內(nèi)部優(yōu)化過程可以看作一種改進(jìn)版的 TTT：它多次生成并更新權(quán)重，獎(jiǎng)勵(lì)那些帶來最大性能提升的數(shù)據(jù)生成策略。

4.強(qiáng)化學(xué)習(xí)

強(qiáng)化學(xué)習(xí)在提升大語言模型性能方面已被證明非常有效。

SEAL的創(chuàng)新之處在于它不是用RL來優(yōu)化最終答案，而是用來訓(xùn)練模型如何生成那些能用于自我更新的數(shù)據(jù)。

SEAL 的核心思想是「元學(xué)習(xí)」——也就是讓模型學(xué)會(huì)如何更好地學(xué)習(xí)，其優(yōu)勢在于直接利用模型已有的生成能力來決定參數(shù)更新方式，從而具備更強(qiáng)的通用性。

5. 自我提升

近年來，許多研究開始探索模型如何自我提升。

比如，RLAIF 或自獎(jiǎng)勵(lì)語言模型讓模型自己評估并獎(jiǎng)勵(lì)自己的輸出，從而改進(jìn)表現(xiàn)。也有方法通過模型的置信度或多數(shù)投票來指導(dǎo)強(qiáng)化學(xué)習(xí)。

但這些方法往往受限于模型當(dāng)前的自我評估能力。

SEAL的做法不同：它把「自我提升」看作與外部數(shù)據(jù)交互的過程。

通過強(qiáng)化學(xué)習(xí)，SEAL學(xué)會(huì)如何最有效地利用這些外部數(shù)據(jù)，真正實(shí)現(xiàn)自我改進(jìn)。

不直接教模型做任務(wù)

而是教它怎樣更有效地學(xué)習(xí)

在SEAL中，模型會(huì)根據(jù)輸入上下文（例如一段知識(shí)或幾個(gè)示例）生成一段合成數(shù)據(jù)，這段數(shù)據(jù)就叫「自我編輯」，然后模型再用這段數(shù)據(jù)微調(diào)自己。

整個(gè)生成過程通過強(qiáng)化學(xué)習(xí)訓(xùn)練而來，隨著訓(xùn)練推進(jìn)，它就逐漸學(xué)會(huì)生成更有用的編輯。

因此，SEAL可以被解釋為包含兩層循環(huán)的算法：

• 外層循環(huán)用強(qiáng)化學(xué)習(xí)來優(yōu)化「生成怎樣的自我編輯」；

• 內(nèi)層循環(huán)則用生成的自我編輯微調(diào)模型，讓模型真正變得更強(qiáng)。

從這點(diǎn)來看，SEAL是一種元學(xué)習(xí)方法：它不是直接教模型做任務(wù)，而是教模型怎樣更有效地學(xué)習(xí)。

研究人員在知識(shí)整合與少樣本學(xué)習(xí)兩個(gè)領(lǐng)域?qū)EAL能力進(jìn)行驗(yàn)證。

知識(shí)整合

實(shí)例的目標(biāo)是高效地將段落中提供的信息整合到模型權(quán)重中。

圖2顯示了SEAL在知識(shí)整合任務(wù)中的工作流程，包括Passage（輸入段落）、Self-Edit（自我編輯）、Evaluation（評估）。

少樣本學(xué)習(xí)

圖3顯示了SEAL在少樣本學(xué)習(xí)任務(wù)中的工作原理，包括Few-Shot Examples（少樣本示例）、Self-Edit（自我編輯）階段、SFT（監(jiān)督微調(diào)）、Evaluation（評估）。

在該項(xiàng)實(shí)例中，研究人員通過Llama-3.2-1B-Instruct 進(jìn)行實(shí)驗(yàn)，并與ICL（上下文學(xué)習(xí)）、TTT + 自我編輯、Oracle TTT等基線進(jìn)行對比，結(jié)果如表1所示：

SEAL顯著提升了適配成功率達(dá)到了72.5%，但其表現(xiàn)仍低于Oracle TTT，說明仍有改進(jìn)空間。

據(jù)預(yù)測，到了2028年，前沿大模型將在所有公開可用的人類生成文本上完成訓(xùn)練。

那時(shí)大模型的進(jìn)步就不再依賴更多人類數(shù)據(jù)，而要靠自己創(chuàng)造新的學(xué)習(xí)材料——也就是要學(xué)會(huì)自身生成、提煉、改進(jìn)知識(shí)。

在這樣的趨勢下，SEAL展示了一種新的可能：

大模型在預(yù)訓(xùn)練后可以通過生成自己的合成自我編輯數(shù)據(jù)，并以輕量的權(quán)重更新來應(yīng)用它們，使模型可以自主整合新知識(shí)、適應(yīng)新任務(wù)。

研究人員希望將能SEAL擴(kuò)展到更廣泛的領(lǐng)域——包括預(yù)訓(xùn)練、持續(xù)學(xué)習(xí)和智能體系統(tǒng)，最終讓大模型可以在一個(gè)數(shù)據(jù)有限的世界中，真正實(shí)現(xiàn)自我學(xué)習(xí)與自我成長。

雖然在測試中，SEAL仍會(huì)出現(xiàn)「災(zāi)難性遺忘」的問題，還存在著諸多局限，但SEAL的提出仍為未來前沿大模型實(shí)現(xiàn)自主學(xué)習(xí)、自進(jìn)化提供了一條值得期待的新路徑。

也許未來在GPT-6上，我們就能看到這種自主學(xué)習(xí)的能力。

參考資料：

https://www.wired.com/story/this-ai-model-never-stops-learning/%20

https://arxiv.org/abs/2506.10943