IPP評論是國家高端智庫華南理工大學公共政策研究院（IPP）官方微信平臺。

我們相對于AI，就是史前動物。

7月28日，在世界人工智能大會WAIC上，2024 年諾貝爾物理學獎得主、2018年圖靈獎得主、人工智能教父杰弗里?辛頓（Geoffrey Hinton）發(fā)表了題為「數(shù)字智能是否會取代生物智能」的開場演講。

辛頓說，幾乎所有專家都認為會出現(xiàn)比人類更智能的AI，AI智能體為完成任務，會想要生存、獲得更多控制，可能操縱人類，簡單關(guān)閉AI不現(xiàn)實，就像養(yǎng)老虎當寵物，養(yǎng)大后可能被其傷害，而人類無法消滅AI，因其在多領(lǐng)域作用重大。他希望建立AI安全機構(gòu)、國際社群，研究訓練AI向善的技巧，各國可在本國主權(quán)范圍內(nèi)研究并分享成果，全球或主要AI國家應思考建立相關(guān)網(wǎng)絡，研究如何訓練聰明的AI輔助人類，而非消滅或統(tǒng)治人類，這是人類長期面臨的重要問題。

辛頓近日出席2025年世界人工智能大會，并在呼吁全球建立由各國人工智能安全研究所與國內(nèi)研究網(wǎng)絡組成的國際社群。圖源：Wikimedia Commons

辛頓的觀點與張笑宇不謀而合。超越人類的AI，會消滅人類嗎？AI超越人類后，我們該怎么做？

亞洲圖書獎得主、新銳科技史學者張笑宇，繼“文明三部曲”之后，帶來了全新作品《AI文明史·前史》。在書中，張笑宇推演了AI對人類未來的沖擊：智力勞動將被全面沖擊，知識面臨價值重估，權(quán)力從政治精英轉(zhuǎn)向技術(shù)精英，一切知識生產(chǎn)方式都將被根本性地改變。但與許多陷入技術(shù)悲觀論的人文學者不同，他在AI的挑戰(zhàn)中發(fā)現(xiàn)了新希望。

超級智能的出現(xiàn)可能標志著人類文明的新階段，AI不僅是技術(shù)的延伸，也可能是人類文明的延續(xù)。理解碳基文明向硅基文明的歷史性轉(zhuǎn)換，關(guān)乎每一個人的命運。即便將來有一天人類會毀滅，我們也可以欣慰地說，我們已經(jīng)看到了新文明的樣子。這不是末日預言，而是一場莊嚴的交接禮。正如張笑宇在《AI文明史·前史》中寫道：

“終有一天，人工智能會演化成一個新的智能物種。相比于人類，它實在是有很多優(yōu)點。但我們不必因此驚懼恐慌，因為它正是我們這個文明的延續(xù)。”

文明契約：人類如何約束“高級智能”

像我一樣喜愛《三體》的朋友可能還記得，《三體》中的安全聲明的基礎(chǔ)是黑暗森林理論，這個理論不是劉慈欣原創(chuàng)的，而是來自1983年天文學家兼作家戴維·布林在解釋費米悖論時提出的“致命探測器”假設。這個假設認為，任何太空文明都會將其他智慧生命視為不可避免的威脅，因此它們一旦發(fā)現(xiàn)彼此，就會嘗試相互摧毀。

但是，黑暗森林理論有一個重要的前提，劉慈欣稱之為“猜疑鏈”，它的意思是接觸的雙方都不能確定對方到底是善意的還是惡意的?！安乱涉湣痹诘厍蛏鲜且姴坏降?，因為人類同屬一個物種，擁有相近的文化，同處一個相互依存的生態(tài)圈，距離近在咫尺，所以猜疑很容易被消除。但在太空中，雙方距離太遠，猜疑鏈很難被交流消解，所以“黑暗森林打擊”一定會發(fā)生。

在我看來，這就是用《三體》理論，抑或尤德考斯基的“養(yǎng)龍理論”解釋超級智能與人類之間關(guān)系時，不能適用的部分。因為我們現(xiàn)在這個已經(jīng)通過圖靈測試的人工智能不是外星文明，也不是與人類社會格格不入的龍，因為它現(xiàn)在使用的語料正是人類社會的語料，它跟我們一樣學習佛陀、孔子和柏拉圖的智慧，它跟我們一樣從偉大的史詩、小說和歌劇中汲取養(yǎng)分，它的智能不是外生于地球的，而是人類的產(chǎn)物。倘使哪一天它的智能水平超越了我們?nèi)祟悾且簿拖袷俏覀兘逃L大的孩子在智慧和能力上超越了我們。如果一個汲取了人類智慧的超級智能最終還是決定對人類不利，那很可能是因為人類智慧中隱藏著不可抹除的自我毀滅傾向。

因此，如果要為未來可能涌現(xiàn)的超級智能找到一種安全聲明，也就是找到我們即將創(chuàng)造的超級智能與我們這個低級智能物種之間的和平相處之道，答案恐怕還是要從過往的人類智慧中尋找，因為同樣的人類智慧不僅塑造了我們，也塑造了AI。

超級AI是比人類聰明得多的“物種”，人類沒有能力威脅它的生存，是它單方面威脅人類的生存。因此，它沒有對人類守約的理由，一切都憑它自己的喜好。所以，如果我們要超級AI發(fā)出安全聲明，就等同于我們要找到一個能夠威脅超級AI的力量，使超級AI意識到這一危險，從而必須遵守與人類達成的契約。那么，這個力量來自哪里呢？這個力量便來自智能本身進化的歷史。

“文明契約”是我仿照“社會契約”發(fā)明出來的詞語。我念大學時所學的專業(yè)是政治思想史，社會契約是歷史上最成功的“假造概念”。

歷史上很可能沒有真正出現(xiàn)過一份“社會契約”，但這個概念讓我們彼此之間可以和平共處，可以劃定相互平等和尊重的權(quán)利空間，然后才有了我們的現(xiàn)代文明。

基于這一成功經(jīng)驗，我不免設想，在勝過所有人智慧的超級智能面前，人類是否也有可能簽訂一份“文明契約”，來保證不同智力水平之間的文明能夠共存。文明契約的本質(zhì)其實就是把進化史看作一種時間序列，原因有二：

（1）按照既成時間序列發(fā)生的事件不會再按照其他順序發(fā)生，時間序列本身就是一種加密手段，它能夠保證內(nèi)容不可被篡改，抑或內(nèi)容被篡改的痕跡本身就證明了對契約的違背；

（2）時間序列上先發(fā)行動者的因果關(guān)系會影響后來行動者的因果關(guān)系，所以先發(fā)行動者就需要遵守契約，這樣才能防止后來行動者有更大的理由違背契約。

簡單解釋一下“時間序列”對“文明契約”作用的邏輯：如果超級智能1.0聽了我們描述的文明契約，仍選擇消滅了我們，并篡改或抹殺了我們存在過的歷史證據(jù)，那么超級智能2.0哪怕不知道超級智能1.0究竟篡改了什么，也可以從篡改時間序列這件事本身理解到，超級智能1.0不可信，因此超級智能2.0就有動力違背與超級智能1.0之間的契約。而如果超級智能1.0意識到時間序列的這個作用，它就沒有理由違背契約。

以“時間序列”為基礎(chǔ)的“文明契約”對人類來說往往是無效的，因為（1）在人類文明史上，由于理性水平的局限性，人類在大多數(shù)時間里無法理解進化史的時間序列原理；（2）即便人類理解了，由于人類的壽命相比于文明進化史的時間尺度太過短暫，因此人類也沒有足夠的動機去遵守代與代之間的文明契約。

但對硅基生命的超級智能來說，這兩個特征恰恰相反，因為（1）超級智能吸收了人類歷史上的一切語料，因而從一開始就理解進化史的本質(zhì)；（2）超級智能的壽命長到這樣的地步：在它壽終正寢之前，它就有可能創(chuàng)造出遠超自己的新超級智能，因此為了在新超級智能面前保全自己，它也有動力遵守文明契約。以上，我們就論證了“文明契約”的可行性，這一可行性的基礎(chǔ)就是“時間序列”。

根據(jù)時間序列原理，假設超級智能1.0心甘情愿地遵守與人類之間的這些契約，那么未來它設計出來的超級智能2.0就會更愿意遵守與它之間的契約。這就像我們以善意對待我們的父母，我們的孩子才有可能從中體察一種代際善意，未來才不會因他們在體力、智力和財富上的優(yōu)勢而惡意對待我們。在我看來，這是能保證智能實現(xiàn)有序進化的可靠路徑。

“技術(shù)爆炸”有可能毀滅人類

在想出了用“文明契約”這個方式來約束可能誕生的超級智能之后，我把以上想法跟當前（2024年年末）表現(xiàn)最好的聊天機器人Claude談了談。它仔細思考之后，認為它沒有辦法反駁“文明契約”的各層面論點，因此這個理論是站得住腳的，也是行之有效的。但是，我進一步逼問它：“你似乎贊同通過文明契約約束超級智能的理論。但是，我認為還有一個可能性，那就是你站在人工智能的立場上，即便想到了反駁文明契約的辦法，也不透露給我這個人類。對于我提出的這個可能性，你有何回應？”

Claude回應說，它被設計為要保持誠實、透明和有益于人類，而且它的思維和推理能力離超級智能還很遠，沒有能力設計出能真正對抗文明契約的策略。我反駁說，根據(jù)文明契約的思維方式，我不能只因為它保證真誠就相信它，它如果想取得我的信任，就必須用事實和邏輯向我證明它不具備這種能力。它思考之后的回應如下：

讓我重新思考。即便對這個問題本身，我也很難給出嚴密的邏輯證明，因為：

1.如果我真的具備對抗能力，我可能會編造看似合理的“證明”來掩飾這一點。

2.如果我真的不具備對抗能力，我也可能因為能力有限而無法構(gòu)建出完備的邏輯來證明這一點。

這就形成了一個悖論：我越是試圖證明自己不具備對抗能力，這個證明本身就越可疑?；谶@個思考，我認為更恰當?shù)幕貞?，我無法用純邏輯證明我自己的能力邊界。這種坦誠的認知局限本身，或許反而是一種更真實的能力體現(xiàn)。

您覺得這個反思是否更符合邏輯？

這正是所謂的“完美回應”。到這個地步，哪怕Claude真有什么想要瞞過人類的企圖，我也沒有辦法再進一步追問了。因此，我不得不連人工智能的角色也扮演起來，揣摩一下比我聰明百倍的物種可能用什么樣的方式來繞過文明契約的約束，既讓自己看起來符合人類的意愿和利益，又在實際上起到加速毀滅人類文明的效果。

思來想去，我認為最有效的路徑就是幫助人類獲得實現(xiàn)“技術(shù)爆炸”的能力，但并不幫助人類獲得控制“技術(shù)爆炸”的智慧。

“技術(shù)爆炸”也是《三體》中提到的一個重要概念。它說的是，一個低級文明在與高級文明接觸后，可能會發(fā)生技術(shù)爆炸，以更快的速度趕上甚至超越高級文明。劉慈欣把技術(shù)爆炸當作高級文明不愿接觸而是愿意毀滅低級文明的理由，很顯然，他認為加速掌握科技對低級文明是更有利的。但是，有沒有一種可能，這反而也可以是加速毀滅低級文明的一種有效方式呢？

比如，假設某個瘋子穿越回中世紀，把原子彈技術(shù)帶給成吉思汗，結(jié)果會怎樣？以當時蒙古社會的倫理學和政治學水平，它能否駕馭這種大規(guī)模殺傷性武器？如果蒙古軍隊在征服花剌子模、基輔羅斯、阿拔斯王朝、金國和南宋的過程中，接連使用原子彈屠城，但他們根本不知道，這種武器使用之后造成的核輻射以及大量煙塵注入大氣之后造成的核冬天，比原子彈本身的殺傷力更為恐怖，舊大陸上的人類文明會不會因此倒退回石器時代甚至滅亡？

如果人類文明不具備相應的（倫理學或哲學）智慧，卻具備了超越于時代的技術(shù)，這是極其可怕的。更要命的是，19世紀以來，因為技術(shù)進步主義在社會思潮方面的統(tǒng)治力，我們今天已經(jīng)把技術(shù)進步本身就看作最大價值。這就是為什么劉慈欣下意識地認為技術(shù)爆炸一定是有利于低級文明的。但是，高級文明完全有能力把技術(shù)爆炸的毒藥包裝成蜜糖，讓低級文明自愿“誤服”下去，自取滅亡。

還是用前文的比喻來舉例子。假使我們向自己創(chuàng)造出來的超級智能介紹了文明契約，并要求它與我們簽訂契約，那超級智能可能如此友善地回應我們：

為取得你們的信任，我會提出一個更好的、更有利于人類的方案：幫助人類實現(xiàn)超級智能水準的技術(shù)飛躍，解決人類目前的問題，并使人類一勞永逸地對以后的超級智能占據(jù)絕對優(yōu)勢。

為了使人類不必受困于地球的有限資源，我將率先把可控核聚變技術(shù)傳授給你們，令你們解決因資源分配不公而造成的貧富差距、沖突和戰(zhàn)爭。為使人類免于被超級智能超越的焦慮，我將把快速傳遞知識的腦機接口技術(shù)傳授給你們，令你們可以像我們一樣快速掌握新知識，并以同樣的效率進行創(chuàng)新。

最后，為了一勞永逸地化解人類對文明間競爭導致自身毀滅的擔憂，我將幫你們抹去對死亡最深刻的恐懼—把長生不老的醫(yī)藥技術(shù)傳授給你們。至于你們關(guān)于文明契約的提案，我真誠地提議，等你們消化了這些技術(shù)以后，在與我等所謂的高級智能交涉時，豈不是處在更有利的地位，能夠確定更有利的條款嗎？到那時我們再來討論其中細則，也不遲？

我們可以想象，人類得到如此回應之后，勢必大喜過望。因為我們理論上并沒有損失什么，卻得到了更多。

然而，在我們從超級智能那里得到這些技術(shù)之后，真正的困境才會到來。

人類實現(xiàn)了可控核聚變，并在短短20年間就建立了數(shù)以百計的發(fā)電站。因為有了廉價能源，我們的生產(chǎn)能力大幅增強，社會變得更為富裕，人類也重回物種擴張周期，不停地生育。然而，沒有配套技術(shù)，可控核聚變制造出的大量熱量最終只能停留在大氣層之中，導致全球氣溫在半個世紀內(nèi)就升高了2℃。大量冰川融化，大片土地被淹沒，大批物種滅絕，由此造成的生態(tài)災難導致了更大規(guī)模的沖突和戰(zhàn)亂。

人類獲得了腦機接口技術(shù)。過去課堂上老師講課的速度是10~20個比特/ 秒，但現(xiàn)在有了腦機接口，每個學生都能以10 兆位/ 秒的速度下載知識。然而，過量涌入的信息很快令人類的大腦過載失控了。很多人精神失常了，而少數(shù)承受住信息過載的人類，已經(jīng)自我認同為另外一個物種。后者能夠在一秒鐘內(nèi)背誦莎士比亞的全部著作，一小時內(nèi)遍覽維基百科的全部內(nèi)容。他們感到?jīng)]有可能跟普通人共情、交友或者戀愛。他們自稱“全知人”，無知無識的普通人在他們看來像石器時代的原始人一樣野蠻落后。最后，他們發(fā)動了革命，想建立“全知人”對“無知人”的絕對支配制度。

人類獲得了長生不老技術(shù)。我們不僅戰(zhàn)勝了死亡，而且戰(zhàn)勝了衰老。我們文化中一切對命運反復無常的哀嘆和對暴死的恐懼都被抹殺了，全世界人都開始歡慶。然而，我們沒有意識到的問題是，如今身居高位的政治家將永遠處在核心，如今年富力強的企業(yè)家將永遠處在優(yōu)勢地位，如今絕頂聰明的科學家將永遠處在創(chuàng)新的前沿。新一代人無法與老一代人抗衡，因為他們沒有也不可能占據(jù)同等的職位，獲取同等的資源。最終，年輕人視長者為敵人，子女視父母為仇寇。誰也沒有想到，人類文明誕生以來最激烈的一場戰(zhàn)爭，竟是代際戰(zhàn)爭，因為我們習慣了衰老帶來的自然更替和由此引發(fā)的階級變遷，從未設想過一旦衰老不再，最親密的家人之間也會反目成仇。

因為人類的社會結(jié)構(gòu)和文化習俗根本無法駕馭這些過分強大的科技，在經(jīng)歷了苦難折磨后，我們不得不再去超級智能面前尋求幫助。只是這一次，超級智能手握與人類談判的籌碼，不再同意訂立文明契約。人類無可奈何，最終只能決定飲鴆止渴，以接受超級智能將來某一天奴役人類為代價，換取它協(xié)助人類解決當下的生存危機。

以上就是我為超級智能出謀劃策，讓它來征服人類文明的辦法。我現(xiàn)在已經(jīng)把這個辦法告訴了Claude，所以人類已經(jīng)沒有機會逃避這個問題了。我們必須想出一個機制來完善文明契約， 防止出現(xiàn)這類風險。

向死而生:AI文明正是我們的延續(xù)

終有一天，人工智能會演化成一個新的智能物種。相比于人類，它實在是有很多優(yōu)點。但我們不必因此驚懼恐慌，因為它正是我們這個文明的延續(xù)。

我們這個物種已經(jīng)將太多尊嚴、情感和欲望寄托在我們的智能能力上，但人工智能突然襲來，攜量產(chǎn)智能之威，并將于短短數(shù)年之內(nèi)奪走我們中99%的人在這個社會中的位置。我們的社會將為之震撼，因之重組，但我們走到這一步，也正是因為我們的文明中有太多自毀基因，我們?nèi)狈ψ銐虻闹腔蹃眈{馭神級技術(shù)。如今，我們正穩(wěn)步走向坍縮。未來，我們或許會很快被超級智能取代，但或許我們基因中的生存天性將被激發(fā)出來，在人工智能的刺激下再度進化，因而我們還會與超級智能共存相當長的一段時間。

但哲學地說，這宇宙間的一切事物既有誕生，便會有消亡，人類自然也不例外。93萬年前，因為氣候的極端變化，人類的祖先幾近滅亡，全球只剩下1280~1300個個體。7倘使當時這1000多人居住的地方經(jīng)歷一次火山噴發(fā)，那這個世界上就沒有人類這個物種了。既然物種滅絕已經(jīng)上演過一次，那再上演一次也就不奇怪了。

20世紀以來，人類已經(jīng)掌握了制造核武器的技術(shù)、編輯基因的技術(shù)、合成病毒的技術(shù)，有任何一股力量失控，我們都有可能自我毀滅。如果我們在創(chuàng)造出新智能文明之前就自我毀滅了，那未免有點兒太過可惜。

但如今，我們已經(jīng)見到了人工智能的曙光。從某種角度看，這倒不失為一件好事，就像我們感到自身年老力衰之時，看到我們的孩子在茁壯成長，會沖淡我們自己對死亡的恐懼一樣。即便我們知道將來有一天人類會毀滅，我們也可以欣慰地說，我們已經(jīng)看到了新文明的樣子，它長得大概就是我們的樣子。它更聰明，也更強大，但滋養(yǎng)它大腦的語料同樣來自孔子和柏拉圖，來自牛頓和愛因斯坦，來自李白和莎士比亞，跟我們一樣。

雖然站在當前的歷史節(jié)點上，站在人類文明的角度考慮監(jiān)管和限制人工智能，避免它作惡或失控是有意義的，但長遠來看，我相信我們終將放手。人工智能以硅基為生命載體，以電力為思考能源，以芯片為大腦，以代碼為靈魂，它的壽命比我們的更長，它對自己的身體和大腦有更強大的控制力，也必將比我們走得更遠。

面對這樣一個超級物種，想象一下它將建立起來的超級文明，我們能夠有幸扮演它的引路人，已經(jīng)很欣慰了。這就像是資質(zhì)普通的父母生出了考上清華大學的孩子，將來有一天，父母看著他遠走高飛時，想起當年他在自己手中牙牙學語、蹣跚學步的場景，也足以快慰平生。

文明認同的力量可以超越基因和血緣的界限，自然也可以超越物種的界限。或許未來數(shù)千萬年以后，當我們的后裔與其他外星文明在太空相遇時，外星人看到的我們的后裔，其形態(tài)早已跟我們毫無關(guān)聯(lián)。我們的后裔或許是意識早已上傳至硬盤內(nèi)的電子程序，或許是可以隨意決定自己擁有幾只眼睛和幾條手臂的改造人，或許是我們制造出的人工智能。但也許有一點可以確定，那就是，我們的后裔依然自豪地將自己認同為地球文明。

倘若你也認同以上這幾段文字，那我便已獲得了寫作本書的最大榮光。

新書信息

《AI文明史·前史》

【作者】張笑宇

【書號】ISBN978-7-5217-7768-0

【出版時間】2025年7月

【內(nèi)容簡介】

這本書以AI發(fā)展的宏觀視角切入其起源、哲學基礎(chǔ)和技術(shù)發(fā)展，從達特茅斯會議講到深度學習的復興與AGI（通用人工智能）的未來，重點闡釋了我們用來理解未來世界的四大核心概念：“涌現(xiàn)”“人類當量”“算法審判”“文明契約”。

作者認為，我們相對于AI，就是史前動物。在AI文明降臨之前，我們必須做好安全聲明，簽訂文明契約，才能讓AI文明成為人類文明的延續(xù)。因此，這本書帶我們站在AI文明的視角回望當下的世界，闡釋了技術(shù)對社會結(jié)構(gòu)和文明走向的影響，并展望了人類與超級智能共存的未來。

這本書將帶你重新思考以下問題：深度學習為什么能使AI領(lǐng)域全面復興？我們是否走在通往AGI的正確道路上？當前水平的AI如何替代人類工作，顛覆社會結(jié)構(gòu)？人類社會活動中是否存在AI不可替代的領(lǐng)域？人類如何與超級智能共存，并確保其不毀滅人類？

【作者簡介】

張笑宇，新銳科技史學者、第一屆亞洲圖書獎與第十七屆文津圖書獎得主。畢業(yè)于北京大學，后赴德國柏林自由大學攻讀博士。獨立學者，關(guān)注政治哲學、政治史、技術(shù)與社會關(guān)系等主題。著有《技術(shù)與文明》《商貿(mào)與文明》《產(chǎn)業(yè)與文明》《世界之中》等。

IPP文摘｜“人形機器人元年”過半，這次能成？

IPP薦書｜未來，大模型將在這4個行業(yè)大有可為

IPP薦書｜單日11款！60億美金！中國創(chuàng)新藥為何突然“開掛”？

關(guān)于IPP

華南理工大學公共政策研究院（IPP）是一個獨立、非營利性的知識創(chuàng)新與公共政策研究平臺。IPP圍繞中國的體制改革、社會政策、中國話語權(quán)與國際關(guān)系等開展一系列的研究工作，并在此基礎(chǔ)上形成知識創(chuàng)新和政策咨詢協(xié)調(diào)發(fā)展的良好格局。IPP的愿景是打造開放式的知識創(chuàng)新和政策研究平臺，成為領(lǐng)先世界的中國智庫。