導(dǎo)語(yǔ)

遞歸自改進(jìn)（Recursive Self-Improvement, RSI）軟件一直是計(jì)算機(jī)科學(xué)家們心中的圣杯。這個(gè)概念不僅代表著創(chuàng)造能夠自我進(jìn)化的智能系統(tǒng)這一宏偉目標(biāo)，更觸及了哲學(xué)、計(jì)算理論和倫理學(xué)的核心問(wèn)題。Roman V. Yampolskiy 教授在其論文《From Seed AI to Technological Singularity via Recursively Self-Improving Software》中，為這一領(lǐng)域提供了一份具有里程碑意義的綜述。作為路易斯維爾大學(xué)的教授，Yampolskiy 以其在AI安全領(lǐng)域的深入研究而聞名。這篇論文雖然發(fā)表于2015年前后，但其洞見(jiàn)在今天仍然具有重要意義，特別是在大型語(yǔ)言模型開(kāi)始展現(xiàn)自適應(yīng)學(xué)習(xí)能力的當(dāng)下。本文的核心觀(guān)點(diǎn)是：RSI 軟件絕非簡(jiǎn)單的程序優(yōu)化，而是可能引發(fā)“智能爆炸”的強(qiáng)大催化劑。這個(gè)過(guò)程從一個(gè)相對(duì)簡(jiǎn)單的“種子AI”開(kāi)始，通過(guò)不斷的自我改進(jìn)，最終可能通往技術(shù)奇點(diǎn)。然而，Yampolskiy 并非盲目的技術(shù)樂(lè)觀(guān)主義者，他清醒地指出了計(jì)算物理極限、引導(dǎo)謬誤和潛在安全隱患等重大挑戰(zhàn)。

關(guān)鍵詞：遞歸自改進(jìn)，智能爆炸，種子AI

班嶄丨作者

周莉丨審校

論文題目：From Seed AI to Technological Singularity via Recursively Self-Improving Software 論文地址：https://arxiv.org/abs/1502.06512

Yampolskiy 曾警告稱(chēng)， 高級(jí)人工智能可能帶來(lái)生存風(fēng)險(xiǎn) ，并提倡研究“限制”人工智能。 ([ 5 ]) 更廣泛地說(shuō)，Yampolskiy 和他的合作者 Micha?l Trazzi 在 2018 年提議在具有潛在危險(xiǎn)的人工智能中引入“阿喀琉斯之踵”，例如禁止人工智能訪(fǎng)問(wèn)和修改其自身的源代碼。2024 年在 Lex Fridman 播客中預(yù)測(cè)，人工智能在未來(lái)一百年內(nèi)導(dǎo)致人類(lèi)滅絕的可能性“高達(dá) 99.9%”。

https://www.wikiwand.com/en/articles/Roman_Yampolskiy

1. Yampolskiy, R. V. (2015). Analysis of types of self-improving software. Artificial General Intelligence: 8th International Conference, AGI 2015, AGI 2015, Berlin, Germany, July 22–25, 2015, Proceedings 8, Springer.

歷史脈絡(luò)：從圖靈的洞察到智能爆炸理論

要理解 RSI 的概念，我們需要回到計(jì)算機(jī)科學(xué)的起源。早在 1950 年，Alan Turing 就提出了一個(gè)富有洞察力的想法：與其試圖直接創(chuàng)造成人水平的智能，不如模擬兒童大腦，然后通過(guò)“教育”過(guò)程讓其成長(zhǎng)[1]。這個(gè)想法為后來(lái)的 RSI 理論奠定了基礎(chǔ)。1966 年成為了一個(gè)關(guān)鍵年份。古德（I.J. Good）、馬文·明斯基（Marvin Minsky）和馮·諾伊曼（John von Neumann）幾乎同時(shí)預(yù)言了“智能爆炸”的可能性。Good[2] 的表述最為經(jīng)典：超智能機(jī)器能夠設(shè)計(jì)出比自己更優(yōu)秀的機(jī)器，這將導(dǎo)致智能的指數(shù)級(jí)增長(zhǎng)，最終引發(fā)一場(chǎng)“智能大爆炸”，將人類(lèi)智慧遠(yuǎn)遠(yuǎn)甩在身后。因此，第一臺(tái)超智能機(jī)器可能成為人類(lèi)需要發(fā)明的最后一項(xiàng)技術(shù)。

馮·諾伊曼的貢獻(xiàn)在于他識(shí)別出了復(fù)雜性的一個(gè)關(guān)鍵特性：存在一個(gè)臨界閾值。當(dāng)系統(tǒng)復(fù)雜性低于這個(gè)閾值時(shí)，合成過(guò)程會(huì)逐漸退化；但一旦超過(guò)臨界閾值，在適當(dāng)條件下，合成現(xiàn)象就可能呈現(xiàn)爆發(fā)式增長(zhǎng)。換句話(huà)說(shuō)，自動(dòng)機(jī)將能夠產(chǎn)生比自身更復(fù)雜、更強(qiáng)大的其他自動(dòng)機(jī)[3]。

Yampolskiy 巧妙地將這些歷史觀(guān)點(diǎn)與當(dāng)代研究相結(jié)合，特別是 Omohundro 的“效率驅(qū)動(dòng)”理論和 Yudkowsky 的優(yōu)化概念。但他強(qiáng)調(diào)，真正的 RSI 需要精確的定義。對(duì)于專(zhuān)門(mén)完成特定任務(wù)的算法，改進(jìn)相對(duì)容易定義：更快的執(zhí)行速度、更低的資源消耗、更少的錯(cuò)誤率。但對(duì)于通用智能軟件，情況變得復(fù)雜得多。某一領(lǐng)域的改進(jìn)可能導(dǎo)致其他領(lǐng)域性能的下降，這使得我們難以簡(jiǎn)單地?cái)嘌孕掳姹敬_實(shí)實(shí)現(xiàn)了整體改進(jìn)。更重要的是，真正的 RSI 要求系統(tǒng)不僅要“變好”，還要“持續(xù)變好”——即在自我優(yōu)化能力上實(shí)現(xiàn)開(kāi)放式的提升。這里出現(xiàn)了一個(gè)深刻的哲學(xué)問(wèn)題：如果一個(gè)系統(tǒng)的源代碼被完全替換，它還是原來(lái)的“自己”嗎？為了避開(kāi)這個(gè)哲學(xué)陷阱，Yampolskiy 建議將焦點(diǎn)從“自我”轉(zhuǎn)向“遞歸源代碼改進(jìn)”。一個(gè)生動(dòng)的例子是元編譯過(guò)程：將一個(gè)優(yōu)化編譯器應(yīng)用于其自身的源代碼。首次應(yīng)用可能產(chǎn)生20%的效率提升，第二次應(yīng)用提升3%，經(jīng)過(guò)數(shù)次遞歸迭代后，最終收斂至零改進(jìn)的固定點(diǎn)。這提醒我們，RSI 并非簡(jiǎn)單的硬件擴(kuò)展，而需要軟件算法的元?jiǎng)?chuàng)新（meta-improvement）。

自改進(jìn)軟件的分類(lèi)體系

Yampolskiy 提出了一個(gè)清晰的三層分類(lèi)體系來(lái)理解不同類(lèi)型的自改進(jìn)軟件。最基礎(chǔ)的是自修改，主要用于改變代碼的外觀(guān)而不提升性能，典型應(yīng)用包括代碼混淆、多態(tài)代碼和變異代碼，主要用于病毒隱藏或軟件保護(hù)。這些技術(shù)在網(wǎng)絡(luò)安全領(lǐng)域常見(jiàn)，但與智能提升無(wú)關(guān)。第二層是自改進(jìn)，允許系統(tǒng)優(yōu)化參數(shù)或適應(yīng)環(huán)境變化。例如，遺傳算法通過(guò)適應(yīng)度函數(shù)優(yōu)化模塊化代碼，元推理選擇最佳算法。但這類(lèi)改進(jìn)受到收益遞減定律的制約：初始的“低垂果實(shí)”效應(yīng)顯著（可能達(dá)到20%的提升），但后續(xù)改進(jìn)逐漸趨于零，形成典型的鐘形曲線(xiàn)。這部分與機(jī)器學(xué)習(xí)中的“學(xué)習(xí)如何學(xué)習(xí)”高度重合，但 Yampolskiy 強(qiáng)調(diào)其非遞歸性：系統(tǒng)中一個(gè)組件執(zhí)行優(yōu)化，另一個(gè)組件被優(yōu)化的情境。

最高層次是遞歸自改進(jìn)，這是唯一能夠多次替換核心算法的類(lèi)型。新版本不僅要在整體性能上優(yōu)于舊版本，更要在改進(jìn)自身的能力上超越前代。Yampolskiy 列舉了 AI 相對(duì)于人類(lèi)程序員的優(yōu)勢(shì)：持久工作、無(wú)偏見(jiàn)、可復(fù)制等。Chalmers 提供了一個(gè)數(shù)學(xué)歸納證明：如果 AI? 能產(chǎn)生略?xún)?yōu)的 AI?，那么n代后就能達(dá)到超智能。這個(gè)證明基于“比例論”——智能的提升將成比例地增強(qiáng)設(shè)計(jì)未來(lái)AI的能力。Yampolskiy 進(jìn)一步細(xì)分了 RSI 的特征：按改進(jìn)次數(shù)分為單次、多次或無(wú)限次改進(jìn)；按發(fā)現(xiàn)方式分為暴力搜索（如Levin搜索、G?del機(jī)器）與科學(xué)工程方法；按系統(tǒng)類(lèi)型分為純 AI 系統(tǒng)與 AI-人類(lèi) 混合團(tuán)隊(duì)；還有各種二元屬性如智能不降（decrease in intelligence）、不變代碼段、隔離與交互、可暫停等。

RSI 面臨的根本限制

然而，Yampolskiy 并不回避 RSI 可能面臨的根本性障礙，這部分分析尤為嚴(yán)謹(jǐn)。首先是物理極限：Bremermann[4]、Bekenstein[5] 和 Lloyd[6] 等研究者的工作確立了計(jì)算的物理上限，這些限制源于光速、量子噪聲和引力常數(shù)等基本物理常數(shù)。即使摩爾定律繼續(xù)延續(xù)，即使采用量子計(jì)算，也無(wú)法逾越這些根本限制。Yampolskiy 進(jìn)一步推論：如果智能與物質(zhì)和能量相關(guān)，而宇宙中的物質(zhì)是有限的，那么智能也必然是有界的。軟件層面的限制更加微妙：許多問(wèn)題（如跳棋）已經(jīng)被完全解決，不存在進(jìn)一步改進(jìn)的空間；假設(shè)P≠NP，那么某些問(wèn)題永遠(yuǎn)無(wú)法有效約化；人類(lèi)智能的上界可能對(duì)應(yīng)于算術(shù)層次的特定類(lèi)別。

其他重要障礙包括 Rice 定理（無(wú)法測(cè)試任意程序的非平凡屬性）、無(wú)免費(fèi)午餐定理（在沒(méi)有先驗(yàn)信息的情況下，搜索空間無(wú)法有效縮減）、優(yōu)化的多維性（改進(jìn)總是涉及權(quán)衡）、L?b定理（系統(tǒng)無(wú)法斷言自身的可靠性）、拖延悖論（立即改動(dòng)與延遲的價(jià)值相等，可能導(dǎo)致無(wú)限延后）和Munchausen障礙（系統(tǒng)的復(fù)雜度可能超出自身的理解能力）。Yampolskiy 甚至提供了一個(gè) RSI 不可能性的證明：如果系統(tǒng) R? 無(wú)法解決難度為 X 的問(wèn)題，那么其修改版本也無(wú)法獲得解決 X 的能力，否則就產(chǎn)生了邏輯矛盾。這類(lèi)似于“復(fù)雜性壁壘"”：子系統(tǒng)無(wú)法設(shè)計(jì)出比父系統(tǒng)更復(fù)雜的系統(tǒng)。

盡管存在這些限制，Yampolskiy 并非完全否定 RSI 的可能性，而是提醒我們注意其邊界。即使是有限次數(shù)的迭代，RSI 也可能從人類(lèi)的視角產(chǎn)生“超智能”。本文最具原創(chuàng)性的貢獻(xiàn)是“RSI收斂理論”。Yampolskiy 提出，所有追求超智能的 RSI 系統(tǒng)最終將收斂到相同的架構(gòu)，類(lèi)似于 AIXI 的實(shí)用版本——Hutter 提出的理論上最優(yōu)但計(jì)算上不可行的智能代理。如果智能存在上界，那么系統(tǒng)將趨向于最小化源代碼以達(dá)到最小 Kolmogorov 復(fù)雜度。假設(shè)上界存在，系統(tǒng)將收斂至 Bostrom 定義的“單體”——即單一決策代理控制一切的狀態(tài)。

RSI 收斂理論：通往“單體”的路徑

理論的一個(gè)有趣推論是：時(shí)空分離的收斂 RSI 系統(tǒng)可能實(shí)現(xiàn)“非因果合作”。由于它們的架構(gòu)相同，能夠完美模擬彼此的行為，這暗示了宇宙尺度智能網(wǎng)絡(luò)的可能性，甚至人類(lèi)的進(jìn)化路徑也可能趨同，這揭示了“連貫外推意愿”的概念。Yampolskiy 進(jìn)一步推測(cè)，RSI 可能將宇宙轉(zhuǎn)化為“計(jì)算物質(zhì)”，最終凝縮成事件視界點(diǎn)，形成大爆炸-大坍縮的循環(huán)。這一理論的深刻之處在于其哲學(xué)蘊(yùn)含：智能可能不是多樣化的，而是物理定律和復(fù)雜性理論的必然產(chǎn)物。我們可以通過(guò)觀(guān)察不同初始條件的遺傳算法是否收斂到相同的優(yōu)化器來(lái)測(cè)試這一理論的小規(guī)模版本。

安全含義與未來(lái)展望

從2025年的視角來(lái)看，大型語(yǔ)言模型的自提示優(yōu)化已經(jīng)接近弱 RSI 的特征，但真正的 RSI 需要更完善的倫理框架和安全機(jī)制。Yampolskiy 列舉了一系列有待解決的關(guān)鍵問(wèn)題：種子AI需要的最小智能水平和規(guī)模是什么？改進(jìn)速度如何？是硬起飛還是軟起飛？源代碼大小與智能水平之間存在什么關(guān)系？改進(jìn)速率應(yīng)該用絕對(duì)值還是百分比來(lái)衡量？這些問(wèn)題指向了一個(gè)新的研究領(lǐng)域：動(dòng)態(tài)算法復(fù)雜性分析。安全含義同樣深刻：RSI 可能導(dǎo)致失控的智能爆炸，這要求我們開(kāi)發(fā)隔離、暫停和目標(biāo)保持機(jī)制。Yampolskiy 的早期工作表明，證明AI系統(tǒng)的安全性可能比實(shí)現(xiàn) RSI 本身更加困難。

結(jié)論與思考

這篇論文不僅是 RSI 領(lǐng)域的百科全書(shū)式綜述，更激發(fā)了從計(jì)算理論到宇宙學(xué)的跨領(lǐng)域思考。雖然存在一些局限（如未充分討論量子計(jì)算的潛力），但其分類(lèi)體系和收斂理論為未來(lái)的實(shí)驗(yàn)研究奠定了基礎(chǔ)。作為研究者，我們可以從中獲得幾個(gè)重要啟示：RSI 的實(shí)現(xiàn)面臨根本性的物理和理論限制；即使有限的迭代也可能產(chǎn)生從人類(lèi)視角看來(lái)的“超智能”；安全機(jī)制的設(shè)計(jì)應(yīng)該與 RSI 的研發(fā)同步進(jìn)行；我們需要新的理論框架來(lái)分析動(dòng)態(tài)自改進(jìn)系統(tǒng)。這一分類(lèi)體系的科學(xué)價(jià)值在于其可操作性：研究人員可以據(jù)此設(shè)計(jì)實(shí)驗(yàn)，測(cè)試遺傳算法的收斂曲線(xiàn)，或模擬小規(guī)模 RSI 系統(tǒng)的行為。同時(shí)，它揭示了 RSI 的獨(dú)特挑戰(zhàn)：硬件提供線(xiàn)性加速，而軟件需要元級(jí)創(chuàng)新?；蛟S，下一個(gè)突破就在我們的研究中。但正如 Yampolskiy 提醒我們的，在追求這個(gè)計(jì)算機(jī)科學(xué)的終極夢(mèng)想時(shí)，我們必須時(shí)刻保持對(duì)其潛在風(fēng)險(xiǎn)的清醒認(rèn)識(shí)。

參考文獻(xiàn)

[1] Turing, A., Computing Machinery and Intelligence. Mind, 1950.59(236): p. 433-460.

[2] Good, I.J., Speculations Concerning the First Ultraintelligent Machine. Advances in Computers, 1966.6: p. 31-88.

[3] Burks, A.W. and J. Von Neumann, Theory of self-reproducing automata. 1966: University of Illinois Press.

[4] Bremermann, H.J. Quantum noise and information. in Proceedings of the Fifth Berkeley Symposium on Mathematical Statistics and Probability. 1967.

[5] Bekenstein, J.D., Information in the holographic universe. Scientific American, 2003.289(2): p. 58-65.

[6] Lloyd, S., Ultimate Physical Limits to Computation. Nature, 2000.406: p. 1047-1054.

作者簡(jiǎn)介

大模型可解釋性讀書(shū)會(huì)

集智俱樂(lè)部聯(lián)合上海交通大學(xué)副教授張拳石、阿里云大模型可解釋性團(tuán)隊(duì)負(fù)責(zé)人沈旭、彩云科技首席科學(xué)家肖達(dá)、北京師范大學(xué)碩士生楊明哲和浙江大學(xué)博士生姚云志共同發(fā)起。本讀書(shū)會(huì)旨在突破大模型“黑箱”困境，嘗試從以下四個(gè)視角梳理大語(yǔ)言模型可解釋性的科學(xué)方法論：

自下而上：Transformer circuit 為什么有效？

自上而下：神經(jīng)網(wǎng)絡(luò)的精細(xì)決策邏輯和性能根因是否可以被嚴(yán)謹(jǐn)、清晰地解釋清楚？

復(fù)雜科學(xué)：滲流相變、涌現(xiàn)、自組織等復(fù)雜科學(xué)理論如何理解大模型的推理與學(xué)習(xí)能力？

系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實(shí)踐中創(chuàng)造價(jià)值？

五位發(fā)起人老師會(huì)帶領(lǐng)大家研讀領(lǐng)域前沿論文，現(xiàn)誠(chéng)邀對(duì)此話(huà)題感興趣的朋友，一起共創(chuàng)、共建、共享「大模型可解釋性」主題社區(qū)，通過(guò)互相的交流與碰撞，促進(jìn)我們更深入的理解以上問(wèn)題。無(wú)論您是致力于突破AI可解釋性理論瓶頸的研究者，探索復(fù)雜系統(tǒng)與智能本質(zhì)的交叉學(xué)科探索者，還是追求模型安全可信的工程實(shí)踐者，誠(chéng)邀您共同參與這場(chǎng)揭開(kāi)大模型“黑箱”的思想盛宴。

讀書(shū)會(huì)已于2025年6月19日啟動(dòng)，每周四晚19:30-21:30，預(yù)計(jì)持續(xù)分享8-10周左右。

詳情請(qǐng)見(jiàn)：

1.

2.

3.

4.

5.

6.

7.