在計(jì)算機(jī)博士里，我日常除了創(chuàng)業(yè)與做產(chǎn)品工作，最大的時(shí)間花費(fèi)就是看別人的論文了，其中我最近看到一篇文章，可以說是未來所有大模型的發(fā)展方向，以及實(shí)現(xiàn)方法。

其論文提到了在強(qiáng)化學(xué)習(xí)、監(jiān)督學(xué)習(xí)之外，另外一種優(yōu)化模型的方式，通過監(jiān)督每次模型生成的機(jī)制（可以理解為prompt），從而對(duì)比結(jié)果，將結(jié)果好的prompt繼續(xù)優(yōu)化再來訓(xùn)練。

并且支持自己內(nèi)容生成，將生成的內(nèi)容可以用于做模型訓(xùn)練。

也就是AI模型的自我進(jìn)化

在論文開頭，論文就提到了一個(gè)比喻，模仿學(xué)生在考試前，通過碎片化的筆記本來復(fù)習(xí)考試，通過讓自己記憶得到更準(zhǔn)確的生成結(jié)果，就會(huì)用碎片化。

提到了一個(gè)舉例，就是人類在考試之前都會(huì)自己記錄筆記，在復(fù)習(xí)的時(shí)候都會(huì)通過閱讀筆記來想起之前知識(shí)學(xué)習(xí)塊，從而加深自己的記憶同時(shí)能夠讓考試更加容易答對(duì)通過。

依靠這種方式，AI模型也應(yīng)該可以參考學(xué)生復(fù)習(xí)筆記的方式，將其零碎的知識(shí)內(nèi)容首先可以自己組合、重建，并且去生成更加精準(zhǔn)的內(nèi)容。

每次內(nèi)容生成后，可以判斷內(nèi)容效果，再來不斷優(yōu)化每一次的策略“prompt”，最終就實(shí)現(xiàn)了模型的進(jìn)化。

在這篇文獻(xiàn)里，他們也利用ARC方法（完成模型生成數(shù)據(jù)），將其碎片的數(shù)據(jù)進(jìn)行組塊、重建完整生成，再用模型校驗(yàn)自己的提示詞是否最佳的，從而不斷讓模型具備不斷優(yōu)化提示詞能力，也就是模型的自我進(jìn)化與學(xué)習(xí)。

如上圖是文章片段生成完整片段，并且用來評(píng)估。最終通過SEAL叫做自我學(xué)習(xí)大模型框架生成的準(zhǔn)確度在僅有幾塊的情況下，可以達(dá)到和ChatGPT4.1的生成準(zhǔn)確度。

相比以往的模型訓(xùn)練，這個(gè)模型框架最大的區(qū)別是如下圖，可以理解為在生成策略的優(yōu)化：Prompt

如下是文獻(xiàn)李SEAL方法的實(shí)現(xiàn)效果，給出了模型輸入內(nèi)容之后，模型通過不斷地重寫，從而讓模型自己提升自己，讓每一次重寫內(nèi)容更準(zhǔn)確。

其中第一次rewrite 和最后一次內(nèi)容長(zhǎng)度與質(zhì)量都有顯著的變化。

可想而知，這套框架用在圖像模型也是可以的，讓模型幾乎0標(biāo)注的進(jìn)行自我訓(xùn)練，在用戶任務(wù)完成一輪，就可以利用任務(wù)圖片數(shù)據(jù)集完成訓(xùn)練自我提升。

這幾乎就可用讓醫(yī)生、律師、甚至是產(chǎn)品經(jīng)理以及寫代碼，可以完成自己熟悉領(lǐng)域越來越準(zhǔn)，并且越來越達(dá)到自己的要求與目標(biāo)范圍。

在研究文獻(xiàn)里，SEAL模型框架研究也有限制：災(zāi)難性遺忘

隨著時(shí)間逐步前進(jìn)，知識(shí)陳舊之后，模型拉起的準(zhǔn)確度會(huì)越來越低，甚至是出現(xiàn)幻覺，所以模型會(huì)過渡擬合，以及過渡蒸餾。

現(xiàn)在AI模型的災(zāi)難性遺忘幾乎是一個(gè)難題，曾經(jīng)就有人做過實(shí)驗(yàn)，將一個(gè)圖像利用通用模型不斷的重復(fù)訓(xùn)練，反復(fù)把結(jié)果再來訓(xùn)練。

當(dāng)訓(xùn)練超過幾百次之后，就會(huì)得到女性二次元，這是因?yàn)榇竽Ｐ蛿?shù)據(jù)源采用海量數(shù)據(jù)，包含了海量女性角色、以及二次元圖，所以最終過渡擬合就會(huì)成為二次元

如上圖是rice university做的算法研究，將其一張圖片反復(fù)訓(xùn)練，最終得到的結(jié)果是另外一個(gè)人物，甚至是性別都變了。

如何對(duì)過往的數(shù)據(jù)進(jìn)行存儲(chǔ)以及模型檢索，是接下來這套算法需要做的衍生，在其論文里，給出了后續(xù)的研究計(jì)劃，將會(huì)繼續(xù)擴(kuò)展到記憶的問題。

比如通過以往的數(shù)據(jù)整合與單獨(dú)保存，以及過往數(shù)據(jù)調(diào)用策略的修改，從而讓模型能夠避免災(zāi)難性遺忘。

相比通用模型來說，SEAL模型其對(duì)于過往的數(shù)據(jù)災(zāi)難性遺忘程度要低的多，可以看見模型是有效果的。

如上圖是論文里隨著知識(shí)塊增加，以及自己反復(fù)進(jìn)化收斂，仍然會(huì)出現(xiàn)模型記憶丟失，在只有一段數(shù)據(jù)下，反復(fù)8次進(jìn)化，從0.33變成了0.19的準(zhǔn)確度，幾乎不管是幾段都會(huì)進(jìn)行降低。

將其算法在不僅是prompt校準(zhǔn)上的進(jìn)化，而是對(duì)過往數(shù)據(jù)的精準(zhǔn)度也要進(jìn)行計(jì)算，從而讓模型在實(shí)現(xiàn)自我進(jìn)化的同時(shí)，不會(huì)出現(xiàn)遺忘，相信這就是未來ChatGPT7甚至是8的發(fā)展目標(biāo)。

其實(shí)對(duì)于人類來說，到不會(huì)把以前記住的事情記錯(cuò)，而是會(huì)遺忘，讓一個(gè)人記住以往時(shí)間的數(shù)據(jù)這一點(diǎn)也是很難，就想讓我們現(xiàn)在想象小時(shí)候的記憶，我們?nèi)匀粫?huì)覺得很難記得住，就是因?yàn)檫@些記憶碎片往往難以尋找，但是當(dāng)我們找到了某一個(gè)記憶碎片或情景，就可以迅速記得到當(dāng)時(shí)的更多片段情況。

這就是大腦記憶的數(shù)據(jù)檢索，而目前AI模型在進(jìn)化模型上，這一點(diǎn)反復(fù)進(jìn)化會(huì)導(dǎo)致出現(xiàn)錯(cuò)誤數(shù)據(jù)，也就是錯(cuò)誤記憶這一點(diǎn)是現(xiàn)在團(tuán)隊(duì)要去做的。

ChatGPT6自我進(jìn)化

從現(xiàn)在來看，這篇論文至少給了一個(gè)趨勢(shì)，也就是一個(gè)AI大模型會(huì)包含進(jìn)化能力，這樣就不需要再給他數(shù)據(jù)訓(xùn)練了，而是自己通過日常的溝通與任務(wù)完成，他其實(shí)就在不斷訓(xùn)練自己。

這篇文獻(xiàn)的研究作者已經(jīng)跳槽到OPENAI去了，這篇文章最大的意義就是讓模型越來越聰明，甚至是對(duì)于用戶來說，自己賬戶下的ChatGPT將會(huì)越來越懂你，并且知道你所了解的方向與知識(shí)，逐步成為超越或者完美契合你的靈魂伴侶。

讓模型自我進(jìn)化，而且模型的進(jìn)化小到個(gè)人賬戶，大到整個(gè)模型基座，都是可以進(jìn)化的，從而不用擔(dān)心模型還需要人工來進(jìn)行訓(xùn)練。

不再需要依靠開發(fā)者每次發(fā)版本一樣release，用戶就能體驗(yàn)到模型的新能力。

當(dāng)然現(xiàn)在這種進(jìn)化只是在模型的準(zhǔn)確度與生成內(nèi)容量，和模型在功能、多模態(tài)上還沒有關(guān)系，也就是模型不能從文本模型變成圖像模型，這一點(diǎn)進(jìn)化還做不到。

以上就是這篇文獻(xiàn)，我相信ChatGPT6以及后續(xù)模型將會(huì)更加“人”化。

今天的分享就到這里

文獻(xiàn)地址：https://arxiv.org/pdf/2506.10943

來源：網(wǎng)絡(luò)博客

題圖來自 Unsplash ，基于 CC0 協(xié)議， 如有侵權(quán)，請(qǐng)聯(lián)系pmtalk123刪除

“分享產(chǎn)品經(jīng)理改變世界的點(diǎn)滴”

產(chǎn)品顧問｜ 產(chǎn)品咨詢｜培訓(xùn)合作

請(qǐng)?zhí)砑游⑿? PMxiaowanzi

最近我的原創(chuàng)

每日案例拆解庫(kù)，AI等產(chǎn)品打卡群

我創(chuàng)建的產(chǎn)品設(shè)計(jì)打卡社群，加入后365天，每天體驗(yàn)一款A(yù)PP。提升產(chǎn)品設(shè)計(jì)能力，同時(shí)有1300份體驗(yàn)報(bào)告幫助你找到競(jìng)品

在這里你可以隨時(shí)查詢到你想找的各類競(jìng)品行業(yè)APP，無須自己親自下載就可以馬上得到APP的一手產(chǎn)品優(yōu)化、交互設(shè)計(jì)、功能描述信息。

從優(yōu)化&建議、商業(yè)模式、運(yùn)營(yíng)、功能描述、交互設(shè)計(jì)、產(chǎn)品定位至少6個(gè)維度，體驗(yàn)一款應(yīng)用。

平均1天1塊錢，掃碼購(gòu)買即可加入

連續(xù)體驗(yàn)48款應(yīng)用，通過后原路退回

報(bào)名后添加星球助理

PMTalk123