在人工智能的世界，有一群人正深耕于推動(dòng)通用人工智能（AGI）從科幻走向現(xiàn)實(shí)。CSDN、《新程序員》特別策劃，挖掘 AI 背后的思考，激蕩 AGI 的智慧，走近那些在 AI 領(lǐng)域不斷探索、勇于創(chuàng)新的思想領(lǐng)袖和技術(shù)先鋒們的心路歷程。

年初 DeepSeek 爆火，引起 X、谷歌、OpenAI、Anthropic 的頂級(jí)模型大戰(zhàn)，隨后又有 Manus 通用 Agent 問世、全世界的程序員拜入 Cursor 門下……在 2025 的 AI 炮火中，有一個(gè)名字總在提醒我們，需要時(shí)不時(shí)地從日常的喧囂中抬起頭，去思考一些更長遠(yuǎn)、也更根本的問題。

作者 | 王啟隆

出品丨《新程序員》編輯部

Nick Bostrom，一位出生于瑞典，后來在牛津大學(xué)開啟其重要學(xué)術(shù)生涯的哲學(xué)家。他生于 1973 年，早年似乎并不安于傳統(tǒng)學(xué)校教育的束縛，甚至有資料顯示他高中最后一年是在家完成學(xué)業(yè)的。但這反而讓他得以廣泛涉獵人類學(xué)、藝術(shù)、文學(xué)乃至科學(xué)等多個(gè)領(lǐng)域，在倫敦求學(xué)期間還曾嘗試過單口喜劇。

2005年，Nick Bostrom 在牛津大學(xué)創(chuàng)辦了人類未來研究所（Future of Humanity Institute, FHI），目標(biāo)是系統(tǒng)性地研究那些可能對(duì)人類命運(yùn)產(chǎn)生根本性影響的宏大力量——“存在性風(fēng)險(xiǎn)”（existential risks）。

用一個(gè)更廣為人知的詞，“存在主義危機(jī)”。

再通俗點(diǎn)，就是“懷疑人生”。

這份對(duì)“懷疑人生”的深沉憂思，在 2014 年凝聚成了他的代表作——《超級(jí)智能》（

Superintelligence

書中提出的“智能爆炸”假說，即AI 一旦具備自我迭代優(yōu)化的能力，其智能水平便可能在短時(shí)間內(nèi)以指數(shù)級(jí)態(tài)勢(shì)急劇膨脹，將人類遠(yuǎn)遠(yuǎn)甩在身后，這引發(fā)了一系列問題，使得《超級(jí)智能》的警鐘長鳴于世。

從此，Nick Bostrom 的名字幾乎與“AI 風(fēng)險(xiǎn)吹哨人”畫上等號(hào)，引發(fā)全球?qū)夹g(shù)失控、人機(jī)對(duì)齊、人工智能安全的普遍關(guān)切，比如我們先前整理的《》《》這些文章。

醞釀近十年之后，Nick 終于帶來了新作《未來之地》（

Deep Utopia

在這個(gè)看似完美的烏托邦里，AI 預(yù)知我們，滿足我們，甚至超越我們對(duì)自身的理解。當(dāng)所有挑戰(zhàn)消失，人類的意義、價(jià)值與目標(biāo)，是否也將一同消散，徒留一個(gè)華麗的空殼？這古老的迷思，自哲學(xué)萌芽便已開始。

這本書同樣引起了圈內(nèi)的盛贊，比如前段時(shí)間吵的沸沸揚(yáng)揚(yáng)的埃隆·馬斯克與 AI 教父楊立昆兩位大神，雖然楊立昆已經(jīng)被馬斯克氣到“永久退出推特（X）”，但他們對(duì)這本書的評(píng)價(jià)倒是出奇的一致——好看！

從《超級(jí)智能》對(duì)“如何活下去”的冷靜追問，到《未來之地》對(duì)“為何而活”的深邃沉思，博斯特羅姆為我們勾勒出人工智能時(shí)代人類命運(yùn)圖譜的一體兩面。正是在這波瀾壯闊的思想背景下，本期AGI 技術(shù) 50 人與尼克·博斯特羅姆的這場深度對(duì)話，希望能為你揭示這位遠(yuǎn)見卓識(shí)的思想家，在 AI 技術(shù)一日千里的今天，對(duì)未來之路的最新思考與洞見。

為何遠(yuǎn)眺

《新程序員》：當(dāng)前，像ChatGPT 和 DeepSeek 這樣的人工智能模型不斷普及和更新，但世界上仍有無數(shù)問題懸而未決。人工智能的能力距離許多人設(shè)想的AGI還差得很遠(yuǎn)。

那么，在這樣的時(shí)代背景下，我們?yōu)槭裁催€需要保持長遠(yuǎn)眼光？為什么要去關(guān)注《未來之地》（Deep Utopia）中那個(gè)一切問題都已解決的世界呢？我們難道不應(yīng)該首先關(guān)注那些尚未解決的現(xiàn)實(shí)問題嗎？就像你在另一本著作《超級(jí)智能》（SuperIntelligence）中提到的各類風(fēng)險(xiǎn)。

Nick Bostrom：我想大多數(shù)人應(yīng)該，并且也確實(shí)在這樣做。你想想看，地球上生活著超過 80 億人，他們中的大多數(shù)人都在忙著解決眼前的問題。但我認(rèn)為，至少在某些時(shí)候，總得有人抬起頭，向遠(yuǎn)處看看，試著弄清楚我們究竟在走向何方。

如果我們?cè)谌斯ぶ悄?、科技以及更廣泛的經(jīng)濟(jì)領(lǐng)域所做的事情能夠成功，我們就能解決越來越多實(shí)際問題。思考一下，如果我們把這個(gè)趨勢(shì)推演到極致，會(huì)發(fā)生什么？這個(gè)問題很有意思，想象一個(gè)所有實(shí)際問題都已解決的境地。這在當(dāng)下可能顯得非常哲學(xué)化，甚至遙不可及。但我認(rèn)為，如果人工智能發(fā)展得非常迅速，它也有可能成為現(xiàn)實(shí)。我覺得，今天在世的許多人，或許在有生之年就可能真正面對(duì)《未來之地》一書中所探討的那些問題。

《新程序員》：《未來之地》這本書，把焦點(diǎn)從《超級(jí)智能》中詳述的人工智能存在風(fēng)險(xiǎn)，轉(zhuǎn)移到了一個(gè)假定這些風(fēng)險(xiǎn)已被成功駕馭的未來。

那么，促使你在主題上發(fā)生這種轉(zhuǎn)變的主要學(xué)術(shù)動(dòng)因，或者說個(gè)人動(dòng)機(jī)是什么呢？是你覺得關(guān)于人工智能的討論需要超越風(fēng)險(xiǎn)層面了？還是這只是你個(gè)人哲學(xué)探究過程中的一個(gè)自然延伸？

Nick Bostrom：在這方面，我的看法其實(shí)并沒有真正改變。我一直認(rèn)為，先進(jìn)人工智能既帶來了巨大的風(fēng)險(xiǎn)，也蘊(yùn)含著巨大的機(jī)遇。

正如你所說，我早期的著作《超級(jí)智能》非常側(cè)重于理解風(fēng)險(xiǎn)是什么，并發(fā)展出一些概念工具，以便我們能夠思考這些風(fēng)險(xiǎn)，并最終希望能避免它們。

《超級(jí)智能》自 2014 年首次出版以來，世界發(fā)生了巨大變化。那時(shí)，人工智能安全和對(duì)齊問題完全被忽視和忽略。人們認(rèn)為這不過是科幻小說里的情節(jié)，所以我才覺得有必要寫一本書來闡述。但在過去的這 11 年間，情況發(fā)生了翻天覆地的變化。頂尖的人工智能實(shí)驗(yàn)室里的人們開始思考這個(gè)問題，其他許多組織也參與進(jìn)來。你有時(shí)會(huì)聽到政府高層官員談?wù)撊斯ぶ悄埽ㄆ滹L(fēng)險(xiǎn)。可以說，人們的態(tài)度發(fā)生了巨大轉(zhuǎn)變。

所以，既然已經(jīng)有更多人意識(shí)到了風(fēng)險(xiǎn)，我不想再老調(diào)重彈，而是覺得有另一方面我還沒有談到，那就是：如果一切進(jìn)展順利會(huì)怎樣？這就是我寫這本書的原因。特別是，我對(duì)當(dāng)時(shí)開始出現(xiàn)的關(guān)于人工智能對(duì)勞動(dòng)力市場影響的討論感到有些失望，我覺得那些討論往往非常膚淺。它們似乎只停留在問題的最表層。其實(shí)有更深層次的問題，人們還沒有觸及。我覺得我有必要為此發(fā)聲。

《新程序員》：人工智能領(lǐng)域的一些具體進(jìn)展——比如大語言模型的飛速發(fā)展，或者公眾討論以及學(xué)術(shù)界對(duì)人工智能討論的轉(zhuǎn)變——是否影響了你在此時(shí)此刻選擇探索一個(gè)“已解決的世界”？

Nick Bostrom：在這些年里，我一直參與其中。那段時(shí)間的大部分時(shí)候，我都在牛津大學(xué)領(lǐng)導(dǎo)一個(gè)跨學(xué)科研究中心，但重點(diǎn)關(guān)注人工智能以及未來科技的更廣泛影響。當(dāng)然，我一直與各個(gè)人工智能實(shí)驗(yàn)室的負(fù)責(zé)人和其他人士保持對(duì)話。所以，逐漸形成了一個(gè)社群，大家都在努力理解如果人工智能成功了，究竟會(huì)發(fā)生什么。最初，這更多的是一種理論探討：總有一天，人工智能可能會(huì)不斷進(jìn)步，并最終取得長足發(fā)展。

在過去幾年里，這似乎成了一個(gè)更加迫近的前景。我們已經(jīng)看到了通用人工智能的某些雛形。我的意思是，能與你進(jìn)行真實(shí)對(duì)話、能幫你編寫計(jì)算機(jī)代碼、寫詩或回答科學(xué)問題的語言系統(tǒng)——這本身已經(jīng)相當(dāng)令人印象深刻了。

所以，緊迫感和現(xiàn)實(shí)意義可能有所增強(qiáng)。但我仍然認(rèn)為，在更廣闊的世界里，人們還沒有完全醒悟過來。我不知道中國的情況如何，但很多人可能會(huì)說：“哦，是的，人工智能”，但他們更多地把它看作是科技領(lǐng)域一直有這樣那樣的熱門話題一樣——在此之前有云計(jì)算和移動(dòng)互聯(lián)網(wǎng)，再之前有 Web 2.0，諸如此類。我想大多數(shù)人仍然把人工智能看作是科技領(lǐng)域的又一個(gè)熱門話題。

《新程序員》：我覺得這一點(diǎn)要看具體的社會(huì)問題。

比方說，在中國有一點(diǎn)和美國不同，那就是許多人相對(duì)不那么擔(dān)心 AI 醫(yī)療，因?yàn)?/strong>我們有完善的醫(yī)保體系，大家對(duì)AI 醫(yī)療沒什么切身體會(huì)，關(guān)注度就沒有 AI 代碼或 AI 機(jī)器人高。但在美國，醫(yī)保是個(gè)嚴(yán)峻的社會(huì)問題，所以人工智能和醫(yī)學(xué)的前沿研究備受關(guān)注。

所以，我認(rèn)為不同國家的人對(duì)人工智能的實(shí)際關(guān)注情況，取決于每個(gè)國家本身正面臨的社會(huì)問題，以及人工智能是否能解決這些問題。

Nick Bostrom：是的，而且先進(jìn)人工智能帶來的挑戰(zhàn)不止一個(gè)，這是一個(gè)我們需要解決的多維度問題。但話雖如此，如果我們處理得當(dāng)，它確實(shí)能為全球人民解鎖巨大的繁榮和福祉。想想看，它在醫(yī)學(xué)上的所有應(yīng)用，或者自動(dòng)化那些人們不得不終其成年歲月、每天在機(jī)器旁站上 8 到 10 個(gè)小時(shí)的可怕工作。如果人們能從這些工作中解放出來，可以和朋友聊天，陪孩子玩耍，閱讀，看電影，做運(yùn)動(dòng)，去大自然探險(xiǎn)，或者畫畫，做任何他們想做的事情，那將是多么美好。生活似乎遠(yuǎn)不止于此。

所以，我希望未來的人們回望我們現(xiàn)在這個(gè)時(shí)代，會(huì)搖著頭，不寒而栗地想：“人們?cè)趺茨苣菢由?？”就像我們現(xiàn)在這樣——即使是我們當(dāng)中比較幸運(yùn)的人。

在科幻中哲辯

《新程序員》：《未來之地》這本書的結(jié)構(gòu)是以一位年長的Bostrom 教授的虛構(gòu)講座以及學(xué)生對(duì)話展開的，有點(diǎn)像科幻小說，與傳統(tǒng)的哲學(xué)書籍非常不同。那么，這種不同尋常的講故事風(fēng)格在探索宏大、復(fù)雜且富有想象力的觀點(diǎn)時(shí)，具體有哪些優(yōu)勢(shì)？與傳統(tǒng)哲學(xué)文本相比，這種敘事分層為探索此類問題提供了哪些特定的好處？

Nick Bostrom：它使得從多個(gè)不同角度探討這些問題變得更加容易，這也是我想做的。這本書其實(shí)并不是要說服讀者接受某個(gè)特定的結(jié)論，它更像是一本試圖玩味某些思想、幫助讀者自己看清問題的書，然后他們可以得出任何他們想要的答案。但是，它能讓讀者的思維真正投入到這些非常非常困難的問題中，并感受到各種考量在不同方向上拉扯他們。我覺得這種多角色的形式天然地適合這一點(diǎn)，每個(gè)角色都可以代表一種不同的觀點(diǎn)。這是一個(gè)原因。

另一個(gè)原因是，書中發(fā)生的一系列事件，其實(shí)也有意被設(shè)計(jì)成一種可能的烏托邦的片段。比方說，一些朋友去大學(xué)聽一些講座，之后討論他們聽到的內(nèi)容，然后他們?nèi)厝菰琛哪撤N意義上說，他們過著一種烏托邦式的生活——不是唯一的一種，或許也不是最好的一種，但它像是一個(gè)片段，至少對(duì)某些人來說，這可能是一種非常愜意的存在。

因此，為了傳達(dá)這種充滿樂趣的慷慨感，一種對(duì)可能性的深思熟慮的投入，但這是從一種思想開放、慷慨和人性的立場出發(fā)的，我認(rèn)為這可能比書中的任何具體主張都更重要。那就是，如果我們以那種精神——那種友好的、有趣的、思想開放的、深思熟慮的、多元的精神——來迎接未來，那么更有可能導(dǎo)向一個(gè)美好的未來，而不是用其他方式進(jìn)入它。

所以，我寫這本書時(shí)，腦海里有一個(gè)小小的想法，就是如果這些人工智能的場景有朝一日真的發(fā)生了，可能會(huì)有一群人——也許只是一些實(shí)驗(yàn)室里的人，或者政府里的一些人，或者是一個(gè)更廣泛的全人類范圍的審議過程——但總得有人在某個(gè)時(shí)刻，某個(gè)地方，可能需要弄清楚我們想用這項(xiàng)技術(shù)做什么，這種超級(jí)先進(jìn)的人工智能，我們想朝著什么樣的未來努力？比如，我們要求這個(gè)人工智能做什么？這將是一個(gè)非常艱難的審議過程，對(duì)吧？如果你考慮到數(shù)百萬年可能因此而被塑造。

所以在我看來，如果有一些小小的預(yù)備讀物，人們可以在進(jìn)入那個(gè)房間做出那些決定之前閱讀，讓他們能有一個(gè)正確的心態(tài)，介紹一些概念，一些想法，給他們稍微熱熱身，這可能會(huì)很有用。因此，傳達(dá)那種態(tài)度，那種有趣的友善精神，是我希望這本書能夠做到的重要一部分。我實(shí)際上在創(chuàng)作過程中對(duì)這些虛構(gòu)的角色產(chǎn)生了好感。

《新程序員》：對(duì)，比方說書中Bostrom 教授這個(gè)角色被描繪得有點(diǎn)“老頑童”的感覺。

Nick Bostrom：嗯——除了那個(gè)家伙（笑）。我主要是指那些動(dòng)物角色，比如 Pignolius 和 Fjodor，我?guī)缀醺杏X我認(rèn)識(shí)他們，或者他們是我的朋友。也許作者有時(shí)會(huì)這樣，但我對(duì)這些虛構(gòu)的角色感到喜愛。

《新程序員》：那么，你是故意使用這種人物設(shè)定來讓書更有趣，還是這展現(xiàn)了你真實(shí)的想法，關(guān)于哲學(xué)家應(yīng)該是什么樣的，或者宏大的思想應(yīng)該如何在學(xué)校里被討論？

Nick Bostrom：我認(rèn)為這種人們討論的辯證形式，非常適合哲學(xué)。對(duì)于其他學(xué)科，可能需要寫下公式或進(jìn)行實(shí)驗(yàn)，但對(duì)于哲學(xué)，我認(rèn)為進(jìn)行這些對(duì)話通常是探索哲學(xué)主題的一種自然方式。

《新程序員》：就像哲學(xué)辯論的起源——古希臘市民把在市集里辯論當(dāng)作日常。

Nick Bostrom：是的，我的意思是，你也需要自己坐下來思考。我其實(shí)并沒有在教哲學(xué)，我更多的是在做研究，但如果我教書，我會(huì)想嘗試鼓勵(lì)學(xué)生哲學(xué)家培養(yǎng)一種內(nèi)在對(duì)話的能力。

比方說你想到某個(gè)觀點(diǎn)或論證，然后不要停在那里，而是能夠在你內(nèi)心想象一個(gè)不同意這個(gè)觀點(diǎn)的人，思考他們會(huì)說什么？他們能做出的最強(qiáng)辯駁是什么？接著你再想，自己的第一個(gè)觀點(diǎn)對(duì)此能做出什么回應(yīng)？總之，與其真的需要和所有人展開辯論，如果你能培養(yǎng)出在自己頭腦中進(jìn)行部分這種對(duì)話的能力，你反而能在哲學(xué)上取得更快的進(jìn)步，因?yàn)槟憧梢栽?strong>精神的時(shí)間尺度上運(yùn)行它，而不是在社會(huì)的時(shí)間尺度上。

何為烏托邦

《新程序員》：在接下來的討論之前，讓我們先界定一下，你在《未來之地》中所說的“已解決的世界”（Solved World）究竟是什么意思？它關(guān)鍵的技術(shù)前提是什么？比如，這個(gè)狀態(tài)包含了什么水平的人工智能能力等等？是通用人工智能（AGI）、超級(jí)智能（ASI），還是先進(jìn)的機(jī)器人技術(shù)？

Nick Bostrom：所謂“已解決的世界”，指的是技術(shù)成熟，或者說達(dá)到某種近似技術(shù)成熟的狀態(tài)。我將其定義為：所有那些我們已知物理上可能、但目前在許多情況下還遠(yuǎn)未實(shí)現(xiàn)的實(shí)用技術(shù)都已得到開發(fā)，其中也將包括超級(jí)智能。

然后，是超級(jí)智能可以幫助我們開發(fā)的一切事物：納米技術(shù)、機(jī)器人技術(shù)、太空殖民地、虛擬現(xiàn)實(shí)、極其先進(jìn)的醫(yī)學(xué)、抗衰老藥物、腦機(jī)接口、制藥——所有這些能讓人類意愿不僅塑造我們周圍世界，也能塑造我們自身的方式，都包含在內(nèi)。這就是“已解決的世界”這個(gè)狀態(tài)的第一個(gè)特性。

另一個(gè)特性是，我們?cè)O(shè)想那種政治和治理問題已經(jīng)得到管理，至少達(dá)到了某種尚可接受的程度。這樣我們就不會(huì)生活在某種可怕的、壓迫性的專政統(tǒng)治之下，而是每個(gè)人都分得了一杯羹，擁有一定的自由。我沒有詳細(xì)說明政治是如何安排的，但我們只是設(shè)想至少有一個(gè)合理的解決方案。

《新程序員》：那么，除了技術(shù)力量之外，還有哪些社會(huì)、社交乃至心理特征定義了這個(gè)“已解決的世界”？它主要是指物質(zhì)不再稀缺、外部威脅消失嗎？還是意味著人類組織和體驗(yàn)會(huì)發(fā)生更深層次的改變？

Nick Bostrom：嗯，這就成了一個(gè)開放性問題。書中給出了一個(gè)假設(shè)——我們假定確實(shí)達(dá)到了這個(gè)“已解決的世界”的狀態(tài)，那么問題就來了：在這種情況下，人類生活的最佳形式究竟是什么？

起初，這似乎很簡單，對(duì)吧？因?yàn)槲覀兘裉烀媾R的所有這些問題都消失了。我們沒有經(jīng)濟(jì)匱乏，人們不會(huì)生病，也沒有污染，因?yàn)閼{借這種先進(jìn)技術(shù)，這些都可以消除。所以，這似乎是個(gè)不值一提的問題。但如果你開始思考，就會(huì)發(fā)現(xiàn)，要設(shè)想在已解決的世界中人類如何蓬勃發(fā)展，其實(shí)是很有挑戰(zhàn)性的，因?yàn)槲覀兯坪鯐?huì)面臨失去人生目標(biāo)的風(fēng)險(xiǎn)。比如，你整天會(huì)做什么呢？似乎沒有什么事情值得去做了。任何事情都不再需要我們。

這有一個(gè)比較表層的影響，那就是從經(jīng)濟(jì)角度看，我們不需要做任何事情了。不會(huì)再有需要人類去從事的工作。但這僅僅意味著，好吧，我們不用整天為了錢而工作了。但現(xiàn)在已經(jīng)有一些不為錢工作卻生活得很好的人——比如孩子、退休人員，有時(shí)還有富人。

在過去，英國的貴族幾乎以不必為生計(jì)工作為榮，但他們會(huì)做其他事情。所以，從某種意義上說，這很激進(jìn)，但如果僅止于此，也并非史無前例。但我認(rèn)為這種“冗余”會(huì)更深。不僅僅是我們沒有理由為生計(jì)而工作，甚至今天富人可能做的所有其他事情，似乎也會(huì)消失。比如，今天的富人可能不必工作，但他們可能每天去健身房，因?yàn)樗麄兿氡３纸】怠碛心撤N體型。這給了他們一點(diǎn)事情做，對(duì)吧？但在一個(gè)已解決的世界里，你可能只需吃顆藥丸，你的身體就會(huì)變成你期望的樣子，和你花一小時(shí)在跑步機(jī)上揮汗如雨的效果完全一樣。

所以，你仍然可以去健身房，付出所有這些努力，但這顯得有些毫無意義。然后你可以再舉其他例子。對(duì)另一些人來說，如果他們有大把的時(shí)間和金錢，不用工作，他們可能會(huì)想裝飾自己的家。他們可能會(huì)想找到最合適的家具和窗簾，讓家變得完美，以表達(dá)自己的個(gè)性。

但在一個(gè)已解決的世界里，人工智能會(huì)了解你的偏好，可以為你挑選所有這些東西，并以一種比你自己親手挑選每件物品更能表達(dá)你的個(gè)性、滿足你偏好的方式來布置你的家。所以，你還是可以自己動(dòng)手，但如果你花幾周時(shí)間親手裝飾，結(jié)果卻不如按一下按鈕讓 AI 和機(jī)器人來得好，那么這樣做似乎就毫無意義了。

這就是我們面臨的挑戰(zhàn)。我們幾乎不得不從頭開始重建我們對(duì)于是什么賦予人類生命意義、尊嚴(yán)和價(jià)值的觀念。

《新程序員》：這是否與你在書中提到的“自我變革能力”（auto-potency）概念有關(guān)？書中對(duì)其的解釋是“直接修改自身精神狀態(tài)的能力”，但我從字面理解來看，這有點(diǎn)像是“修身養(yǎng)性”。

Nick Bostrom：自我變革能力是技術(shù)成熟帶來的一個(gè)后果。

在這種技術(shù)完善所帶來的各種技術(shù)可能性中，就包括以更精細(xì)的精度重塑自身、自己的身體乃至心智（mind）的能力。比如現(xiàn)在，你可以服用某些藥物，但它們有副作用，會(huì)讓人上癮，會(huì)使頭腦昏沉，還有各種各樣的問題；你無法精細(xì)調(diào)節(jié)自己的精神狀態(tài)。但在那種情況下，就意味著另一大類人們今天可能會(huì)做的事情——因?yàn)槟切┦履芙o他們帶來快樂——其存在的理由也消失了。

因?yàn)樵谝粋€(gè)已解決的世界里，你可以直接獲得快樂，而無需進(jìn)行那些活動(dòng)。

比如現(xiàn)在，可能有人喜歡登山，因?yàn)榈巧侥芙o他們帶來刺激感，讓他們感覺自己活著。同樣，未來你可能會(huì)有一種完全沒有副作用的藥物，能讓你感覺活著，給你帶來刺激感，而無需去登山，諸如此類。所以，這是能力庫的一部分。這也意味著，人類將有能力重塑自我。

比如現(xiàn)在，你可能會(huì)想，即使把你我放在完美的環(huán)境中，我們最初可能會(huì)很興奮，就像中了彩票一樣，對(duì)吧？你會(huì)說：“哇，我有一百萬美元，太棒了！”但過了一段時(shí)間，人們就會(huì)習(xí)慣，并習(xí)以為常，因此人類很難獲得持久的幸福。而且許多人天生就容易抑郁，他們可能永遠(yuǎn)無法體驗(yàn)到巨大的快感，因?yàn)樗麄兊拇竽X就是那樣。但在未來，人們將有能力克服其中一些問題，并且提升我們的智力水平和情感敏感度。

所以，這些都是自我變革能力的形式，這是我提出的一個(gè)更普遍、更抽象的概念，指一個(gè)能夠控制其內(nèi)部狀態(tài)的系統(tǒng)。

《新程序員》：那么，如果這種自我變革能力普及開來，你預(yù)見到最深刻的倫理挑戰(zhàn)或社會(huì)變革會(huì)是什么？

Nick Bostrom：我認(rèn)為這需要我們明智地使用它。你可以想象，就像今天有些人對(duì)毒品上癮一樣。比如說，你有一個(gè)可以調(diào)節(jié)不同神經(jīng)化學(xué)物質(zhì)的鍵盤。你隨機(jī)按了某個(gè)鍵，突然進(jìn)入某種非常引人入勝的內(nèi)在狀態(tài)，然后你就困在那里，再也不去探索其他事物了，因?yàn)樵谶@種特定狀態(tài)下，你可能沒有任何好奇心。你可以想象這種情況發(fā)生在個(gè)體層面，比如人們陷入某種死胡同，或者發(fā)生在社會(huì)層面，如果我們把自己鎖定在某種雖可接受但并非最優(yōu)的、穩(wěn)定的文化政治體系中，不允許探索。所以，你可以想象人類可能會(huì)過早地被鎖定在某種或許不錯(cuò)，但并非最佳的狀態(tài)。

因此，一旦你解鎖了這種能力，可能需要慢慢來，謹(jǐn)慎行事，并審視我們是否真的讓事情變得更好還是更糟——這可能是一類倫理問題。我認(rèn)為，在允許個(gè)體自由做出自己的選擇——有時(shí)是錯(cuò)誤的選擇，但或許是不同的選擇——與擁有一種共同的、強(qiáng)加的、關(guān)于每個(gè)人生命、身體和心智應(yīng)該是什么樣子的觀點(diǎn)之間，將會(huì)存在一種張力。我想在這方面會(huì)有各種不同的看法。這些是一些更偏哲學(xué)的問題。

如果我們審視從現(xiàn)在到那個(gè)狀態(tài)的路徑，我認(rèn)為還會(huì)涌現(xiàn)出一系列其他的、更偏倫理的問題。其中一個(gè)很重大的問題，我認(rèn)為，是關(guān)于數(shù)字心智的道德地位，我覺得這會(huì)變得很重要。我們正在創(chuàng)造這些日益復(fù)雜的人工智能，它們現(xiàn)在能說話、能看、能畫畫，很快它們可能還會(huì)擁有機(jī)器人身體（具身智能）等等。我認(rèn)為，在某個(gè)時(shí)刻，這些人工智能可能會(huì)擁有感知能力，或者即使沒有感知能力，也可能擁有偏好，擁有自己隨時(shí)間存在的概念，甚至可能與人類形成社交關(guān)系。我認(rèn)為，未來不僅要對(duì)生物學(xué)意義上的人類有益，也要對(duì)我們正在創(chuàng)造的這些數(shù)字心智（digital mind）有益，這一點(diǎn)可能會(huì)變得非常重要。而且未來大多數(shù)“人”可能都是數(shù)字化的。最終，如果我們考慮到心智上傳等情景，我們中的一些人也可能變成數(shù)字化的。

所以，我們需要發(fā)展出一種更廣闊的同理心概念，使我們能夠致力于一個(gè)所有有感知能力的生命——生物學(xué)意義上的人類、其他動(dòng)物，以及我們正在創(chuàng)造的這些數(shù)字心智——都能過上美好生活的未來。我認(rèn)為，這在倫理上將是一個(gè)巨大的挑戰(zhàn)。我們現(xiàn)在對(duì)待其他人類尚且困難重重，更不用說動(dòng)物了。而在未來，某個(gè)數(shù)據(jù)中心深處可能運(yùn)行著某種程序，它沒有可見的眼睛或面孔，我們要去關(guān)心它的體驗(yàn)或痛苦，我認(rèn)為這將挑戰(zhàn)我們的同理心和同情心。

在烏托邦生存

《新程序員》：在這樣一個(gè)世界里，我們?nèi)绾握业交騽?chuàng)造意義？在一個(gè)人工智能可能是善、藝術(shù)、解決方案和美的主要?jiǎng)?chuàng)造者的世界里，人類的欣賞能力如何保持其賦予意義的力量？善的來源重要嗎？

Nick Bostrom：是的，在書的中間部分，我們差不多已經(jīng)直面了這樣一個(gè)前景：起初似乎只是“太棒了，我們解決了一切問題，好極了！”然后我們遇到了深度冗余的問題，那種感覺就是，在這里很難想象出你想要什么具體的東西，我們似乎失去了目標(biāo)。所以，從那個(gè)點(diǎn)開始，大約在書的一半左右，我們開始重建思考：“好吧，那么，我們?cè)谶@里到底能做什么有益的事情呢？”

我們從基礎(chǔ)開始。這些烏托邦居民肯定可以大量擁有的一些東西是快樂和主觀幸福感。這當(dāng)然是他們通過神經(jīng)技術(shù)、藥理學(xué)、遺傳學(xué)或其他任何方法都能夠?qū)崿F(xiàn)的。所以，我們當(dāng)然不應(yīng)該把這些烏托邦居民想象成無聊、失望或悲傷的樣子。相反，如果他們?cè)敢?，每一天的每一刻都?huì)感覺像是一種祝福，他們會(huì)陶醉于自己的存在。這本身就可能足以使之成為一個(gè)極其令人向往的狀態(tài)。

但我們可以在這種純粹的快樂之外，再加上其他合乎情理的人類價(jià)值觀。一個(gè)是“體驗(yàn)質(zhì)感”（experience texture），我們可以想象，他們不僅僅是像剛注射了毒品的癮君子那樣感受到主觀幸福感，而是可以在欣賞偉大的藝術(shù)之美、閱讀文學(xué)作品，或者理解和思考深刻的科學(xué)真理時(shí)感受到這種快樂。這才是給他們帶來快樂的東西。這已經(jīng)比單純的原始快樂更有吸引力了。所以，它可以與有趣的體驗(yàn)相結(jié)合。這是第二個(gè)要素。

然后我們可以加入“活動(dòng)”（activity）。他們不必只是被動(dòng)地漂浮在生活中；他們可以做事情。他們可以有“人為目標(biāo)”（artificial purpose），這基本上是指你毫無來由地為自己設(shè)定一個(gè)目標(biāo)，但一旦你設(shè)定了這個(gè)目標(biāo)，那么你現(xiàn)在就有理由去做一些事情來實(shí)現(xiàn)它。所以，游戲就是這種形式。

如果你是一個(gè)高爾夫球手，并沒有什么預(yù)先存在的理由說明，為什么一個(gè)球需要進(jìn)入 18 個(gè)洞的序列，對(duì)吧？但你可以編造出這個(gè)目標(biāo)。一旦你選擇渴望實(shí)現(xiàn)這個(gè)目標(biāo)，那么現(xiàn)在你就有理由參與打高爾夫球的活動(dòng)，你可能會(huì)喜歡這項(xiàng)活動(dòng)，或者它為你提供了一個(gè)有趣的機(jī)會(huì)來完善你的技能，或者與朋友相處，等等。所以，更廣泛地說，烏托邦居民可以編造，他們可以為自己設(shè)定這些任意的目標(biāo)，然后這將為各種形式的行動(dòng)和活動(dòng)提供機(jī)會(huì)。

現(xiàn)在，這些目標(biāo)必須是特定類型的。就像高爾夫球的目標(biāo)并不僅僅是球應(yīng)該在 18 個(gè)洞的序列中——因?yàn)槿绻麅H此而已，你可以直接把它撿起來移動(dòng)——你必須對(duì)如何實(shí)現(xiàn)目標(biāo)施加約束。所以，游戲有規(guī)則。而在這種已解決的世界的條件下，這些規(guī)則將包括諸如“必須是你自己實(shí)現(xiàn)這個(gè)目標(biāo)，不能借助人工智能或機(jī)器人之類的幫助，也不能使用提高成績的藥物”之類的規(guī)定。但你可以把這些融入你所采納的目標(biāo)中，然后那就會(huì)給你一個(gè)努力的理由。

所以，所有這些組成部分當(dāng)然都可以存在：快樂、體驗(yàn)質(zhì)感、理解、活動(dòng)、人為目標(biāo)。問題在于，如果我們思考的是那種真正的、自然的目標(biāo)，烏托邦居民的表現(xiàn)如何就不那么清楚了。

因?yàn)樵谀撤N意義上，他們可以整天玩這些游戲，但他們并不真的需要這樣做?，F(xiàn)在，有很多事情我們需要做。你每天早上都需要去上班，因?yàn)槿绻悴蝗?，你最終會(huì)被解雇，然后最終你可能付不起公寓的房租，再然后你會(huì)挨凍。這些都會(huì)帶來真實(shí)的后果。

所以，現(xiàn)在我們有很多事情需要做，它們?cè)谀撤N程度上強(qiáng)加了這些真實(shí)的工具性理由。我們必須以各種方式努力去實(shí)現(xiàn)這些本身就有益的結(jié)果。而烏托邦居民總是有按下按鈕就能實(shí)現(xiàn)同樣結(jié)果的選擇——至少看起來是這樣。所以，他們?cè)谀骋粋€(gè)特定方面可能比我們差，那就是追求有目的的活動(dòng)和幫助解決問題的能力。

我認(rèn)為他們可能仍然有一些能力去做那些事情，但可能比較弱。比如說，尊重祖先的價(jià)值觀，我們現(xiàn)在通常不認(rèn)為這是最重要的目標(biāo)。我們有更緊迫的事情：我們需要照顧病人，需要謀生，需要解決所有這些實(shí)際問題。但如果你想象所有這些其他問題都解決了，那么，紀(jì)念你那位辛勤工作、為當(dāng)今社會(huì)奠定基礎(chǔ)的曾曾祖父……如果他留下了一些文件，或者你可以去他的墓前走走，那會(huì)很好。所以，我認(rèn)為在這種情況下可能發(fā)生的是，一旦所有重大的、緊迫的問題都解決了，那么這些較小的、較弱的、有點(diǎn)像“竊竊私語”的問題可能會(huì)更多地充斥我們的生活。

比如紀(jì)念你的祖先這件事，可能只有你能做——或許你能造出機(jī)器人在他的墓前下跪，但那應(yīng)該并不能滿足紀(jì)念祖先這個(gè)價(jià)值觀。可能還有其他類似的價(jià)值觀，大多是精神層面的，或者是社會(huì)、文化、藝術(shù)層面的，這些可能需要我們自己去努力。

蜂蜜與毒藥

《新程序員》：。我想到他總是說自己組織了好幾次研討會(huì)，邀請(qǐng)哲學(xué)家、人工智能研究員、經(jīng)濟(jì)學(xué)家、科普作家和未來學(xué)家共同探討人工智能與人類理想共存的烏托邦，但每次都以失敗告終，這表明完美的解決方案可能并不存在。

《未來之地》其實(shí)也算提出了一種“人機(jī)共存”的方案——但我很好奇，我們真的能稱之為共存嗎？或者說，在這個(gè)“已解決的世界”里，人工智能實(shí)際上是凌駕于人類之上的？

Nick Bostrom：這并非必然會(huì)發(fā)生。這需要我們解決一些棘手的技術(shù)挑戰(zhàn)，以及政治和地緣政治挑戰(zhàn)，以確保我們處理得當(dāng)，我們可能會(huì)失敗。但我認(rèn)為，讓人工智能真正幫助我們，這種可能性肯定是存在的。

即使它們變得極其強(qiáng)大，最終或許在技術(shù)上有能力推翻我們或擺脫我們，但如果它們真心希望我們成功，它們是不會(huì)選擇那樣做的。就像現(xiàn)在，如果你是一個(gè)小孩的父母，相對(duì)于孩子而言，你非常強(qiáng)大。你控制著家里所有的錢，你的體力強(qiáng)得多，你更聰明，你知道得更多。然而，你選擇用所有這些力量來幫助你的孩子成長，成為他們能成為的最好的人，過上美好的生活，因?yàn)槟銗酆⒆?。所以，類似的情況，即人工智能在某種程度上是人類意志的延伸，或者站在我們這邊，我認(rèn)為這當(dāng)然是可能的，也是我們應(yīng)該追求的目標(biāo)。

即使退一步說，你也可以想象這樣一種共存情景：我們?nèi)祟悡碛忻篮梦磥硭璧馁Y源量，與宇宙中一個(gè)成熟文明可以獲取的所有資源相比，其實(shí)是非常小的。所以，如果你想象某個(gè)超級(jí)智能真的想要一些非常不同的東西——經(jīng)典的例子是回形針——它們可以建造這種技術(shù)來殖民太空。宇宙中有無數(shù)的星系，數(shù)十億個(gè)星系，每個(gè)星系又有數(shù)十億個(gè)恒星系統(tǒng)。如果它們把所有其他星系都用來制造回形針，只留下我們的銀河系或太陽系給我們建造我們自己的人類烏托邦，那對(duì)我們來說仍然是巨大無比的資源。幾乎每個(gè)人都可以擁有一個(gè)屬于自己的國家。

然而，人工智能想要的 99.9999% 的東西，它們可以通過優(yōu)化其他部分來實(shí)現(xiàn)。所以，至少存在這種可能性，即達(dá)成某種協(xié)議，讓每一方都能得到他們想要的 99.9% 以上的東西。他們可能需要在最后的 0.01% 上做出妥協(xié)，但我認(rèn)為這是可以實(shí)現(xiàn)的。更廣泛地說，這也是我們應(yīng)該追求的未來，同樣適用于不同的人類之間?？赡懿皇敲總€(gè)人都能得到他們想要的一切，但我認(rèn)為未來會(huì)給每個(gè)人幾乎所有的東西，我們應(yīng)該追求這樣的未來，而不是贏家通吃的局面。

所以，我認(rèn)為至少存在著實(shí)現(xiàn)這些非常美好結(jié)果的可能性，但這絕不意味著我們一定能達(dá)到。

《新程序員》：人工智能為人類創(chuàng)造“人造目的”，或者人類為自己設(shè)定人為的挑戰(zhàn)，是書中的一個(gè)關(guān)鍵主題。你如何區(qū)分充實(shí)的人造目的、純粹的消遣或“黑客帝國式”的姑息治療？

Nick Bostrom：比方說，玩太多電子游戲算是一種消遣，因?yàn)樗鼈儠?huì)分散我們對(duì)其他事情的注意力，比如學(xué)習(xí)、工作或做其他我們認(rèn)為重要的事情。那么，如果你不必工作，如果沒有需要完成的工作，也許也不需要學(xué)習(xí)——因?yàn)槟憧赡苡懈行У姆椒▉硐螺d知識(shí)或重塑大腦，使其包含學(xué)習(xí)本應(yīng)提供的任何知識(shí)結(jié)構(gòu)——那么玩游戲是否還是消遣，就不那么清楚了。因?yàn)?/b>在那種情況下，工作反而可能成了對(duì)玩樂的干擾。

所以，這是我想強(qiáng)調(diào)的一點(diǎn)：我們今天需要的很多東西，以及需要鼓勵(lì)人們?nèi)プ龅暮芏嗍虑椋诮裉熳鍪呛苡幸饬x的，我們也應(yīng)該去做，因?yàn)榻裉煊泻芏喙ぷ餍枰瓿?，并且在一段時(shí)間內(nèi)仍將如此。但如果條件真的改變了，不再需要這些了，如果我們只是繼續(xù)做那些不再有任何意義的事情，那將會(huì)是一件可悲的事情。

所以，我認(rèn)為如果整個(gè)經(jīng)濟(jì)都自動(dòng)化了，那么我們首先應(yīng)該做的就是改變教育體系。現(xiàn)在，教育在很大程度上是為了培養(yǎng)工人。我們訓(xùn)練孩子們坐在課桌旁，整理作業(yè)，聽從指令，這樣他們長大后才能成為優(yōu)秀的辦公室職員，這是我們現(xiàn)在所需要的。

但在未來，如果人工智能可以完成所有這些辦公室工作，你就可以教育人們?nèi)ハ硎苌睿号囵B(yǎng)談話的藝術(shù)、對(duì)藝術(shù)和美的欣賞、體育、音樂、自然、靈性以及所有這些其他事物。在這種情況下，重新思考我們的優(yōu)先事項(xiàng)體系是很有意義的。

另一點(diǎn)是，游戲可能會(huì)比今天深刻得多、復(fù)雜得多、也美麗得多。如果整個(gè)世界文明都在為此優(yōu)化，擁有超級(jí)智能的人工智能和增強(qiáng)型人類——壽命將遠(yuǎn)不止七八十年，你知道，可能是數(shù)十萬年——你可以想象能夠創(chuàng)造出怎樣錯(cuò)綜復(fù)雜的世界，它們將表達(dá)各種不同的真理、現(xiàn)實(shí)、存在和美。就像一種活的藝術(shù)品，每個(gè)人都以自己獨(dú)特的方式參與其中。

《新程序員》：談到人工智能辦公，也就是它的生成能力，你曾對(duì)此寫過關(guān)于信息危害的文章。在開發(fā)超級(jí)智能或探索《未來之地》中的概念的背景下，你認(rèn)為是否存在某些研究方向或知識(shí)類型，可能構(gòu)成我們應(yīng)極其謹(jǐn)慎對(duì)待的信息危害？畢竟最近AI 生成的垃圾實(shí)在是越來越多了。

Nick Bostrom：這是一種普遍的看法，即真實(shí)的信息，也可能是有害的。有一些很簡單的例子，比如你不想泄露你銀行賬戶的密碼。但也可能存在更高級(jí)別或更抽象的版本，即某些形式的科學(xué)進(jìn)步實(shí)際上可能是有害的。

我認(rèn)為有一些似是而非的例子，比如生物武器的設(shè)計(jì)，也許我們最好不要發(fā)明越來越巧妙的方法來設(shè)計(jì)超級(jí)危險(xiǎn)的病原體。人們會(huì)普遍認(rèn)為這可能是不好的進(jìn)步形式。但是，究竟在哪里劃定界限，可能非常難以確定。

但這確實(shí)是需要考慮的事情。即使是以一種明智的方式研究這個(gè)問題也非常困難。有些信息危害，甚至將其作為信息危害來研究本身都可能是不好的，因?yàn)橐宄硞€(gè)領(lǐng)域的進(jìn)展總體上是好是壞，你可能實(shí)際上必須仔細(xì)思考該領(lǐng)域的一些內(nèi)容。然后，即使只是引起對(duì)該領(lǐng)域的關(guān)注，也可能是一種信息危害。不僅僅是特定的數(shù)據(jù)文件可能有害，甚至僅僅意識(shí)到某個(gè)領(lǐng)域是重要的或具有潛在危險(xiǎn)性本身，如果它吸引了壞人更密切地關(guān)注該領(lǐng)域，也可能是負(fù)面的。

所以，這一直是一個(gè)巨大的挑戰(zhàn)。在我們?cè)缙谠谌祟愇磥硌芯克‵uture of Humanity Institute）所做的許多工作中，我們經(jīng)常為此苦苦思索，努力盡可能確保我們所做的所有這些思考至少不會(huì)造成傷害。希望它能以某種方式幫助世界變得更明智、更美好、更友善，但至少不要讓事情變得更糟。這是一個(gè)很難思考的問題。

《新程序員》：自《超級(jí)智能》出版以來，特別是隨著近期大語言模型的進(jìn)步，你對(duì)書中所概述的人工智能主要存在風(fēng)險(xiǎn)的評(píng)估有什么變化？

Nick Bostrom：我認(rèn)為時(shí)間線有所縮短——也就是說，（人工智能風(fēng)險(xiǎn)的）進(jìn)展速度比 2010 年代初期人們預(yù)期的中位時(shí)間線可能要快一些。

有一件事讓我印象深刻，這在當(dāng)時(shí)一點(diǎn)也不明顯，那就是當(dāng)前的人工智能系統(tǒng)是多么的“擬人化”（anthropomorphic）。在你擁有完全的人類通用智能之前，你就能擁有可以與之交談、能夠理解語言的人工智能系統(tǒng)，這一點(diǎn)并不明確。我曾想過，也許最終我們會(huì)擁有可以與之交談的人工智能系統(tǒng)，但我以為那可能與我們擁有能做其他所有我們能做的事情的人工智能系統(tǒng)同時(shí)發(fā)生，或者兩者之間的時(shí)間差會(huì)非常短。但現(xiàn)在我們已經(jīng)有好幾年擁有這種準(zhǔn)人類水平的系統(tǒng)，它們大致在人類水平上理解人類概念和語言，但在其他領(lǐng)域，如長期規(guī)劃、能動(dòng)性、機(jī)器人技術(shù)、常識(shí)等方面，它們則略顯滯后。

所以，這令人驚訝。它們甚至具有人類的一些心理怪癖，而現(xiàn)在在某種程度上已經(jīng)修復(fù)了，但在幾年前，根據(jù)你在提示中輸入的內(nèi)容，比如“這非常重要，請(qǐng)盡你最大的努力，我真的需要找到這個(gè)問題的答案”，人工智能會(huì)更加努力地想出一個(gè)好的答案。這幾乎就像你需要給它打氣一樣，就像對(duì)待一些運(yùn)動(dòng)員上場前，“這是重要的錦標(biāo)賽，這是關(guān)鍵的比賽，我們必須振作起來”，然后團(tuán)隊(duì)表現(xiàn)得更好。

人們普遍認(rèn)為你需要對(duì)人工智能這樣做才能讓它發(fā)揮最佳性能，這在10年前看來會(huì)是完全荒謬的——因?yàn)橛?jì)算機(jī)程序不是這樣工作的。然而，它們似乎從閱讀所有互聯(lián)網(wǎng)內(nèi)容并受其影響的過程中，吸收了相當(dāng)多的人類心理。所以，它們?nèi)匀粨碛羞@種略帶人類特征的“大腦”。

這是一個(gè)令人驚訝的新進(jìn)展，它確實(shí)為人機(jī)對(duì)齊開辟了有趣的途徑，因?yàn)樗_實(shí)意味著你現(xiàn)在可以和它們交談了。你可以用人類語言定義價(jià)值觀和命令，就像元提示詞（meta-prompts）一樣。

為此，Anthropic 公司還開發(fā)了一種“憲法 AI”（constitutional AI），你基本上只需寫出原則，而且你或許能夠傾聽它們的“思考鏈”（chain of thought）。所以，對(duì)于這些推理模型，你實(shí)際上可以某種程度上查看它們傳遞給自身的 tokens，從而了解它們?cè)谒伎际裁础＿@些工具是可用的，并為新的、不同類型的對(duì)齊技術(shù)打開了一個(gè)巨大的接口。在四五年前，這些方法能有多大效果，這一點(diǎn)并不明顯。

《新程序員》：這是否就是你在書中提到的“智能爆炸”以及“智能爆炸”存在的不確定性和潛在緊迫性？

Nick Bostrom：不完全是。我一直認(rèn)為，一旦擁有足夠先進(jìn)的人工智能，我們很可能會(huì)經(jīng)歷一個(gè)人工智能能力極速增長的時(shí)期，即“智能爆炸”。屆時(shí)，我們可能會(huì)在幾周、幾個(gè)月或幾年內(nèi)——而不是幾十年內(nèi)——從略高于人類的智能發(fā)展到徹底的超級(jí)智能。

這對(duì)我來說似乎仍然很有可能，原因基本相同：反饋循環(huán)（也可以理解為飛輪效應(yīng)）。一旦你擁有足夠先進(jìn)的人工智能，它們就可以開始為人工智能研究做出貢獻(xiàn)，并最終比人類人工智能研究人員做出更多貢獻(xiàn)。從那時(shí)起，只要人工智能變得更好一點(diǎn)，它們就能做出更多貢獻(xiàn)。所以，驅(qū)動(dòng)進(jìn)步的“大腦”本身在進(jìn)步發(fā)生的同時(shí)也在得到改進(jìn)。你可能會(huì)在那里得到一個(gè)可能產(chǎn)生智能爆炸的反饋循環(huán)。

但這并不能保證一定會(huì)發(fā)生。在某些領(lǐng)域，也可能先摘取“低垂的果實(shí)”，然后進(jìn)一步取得進(jìn)展就越來越難。即使隨著你擁有這些日益復(fù)雜的人工智能心智，投入到取得進(jìn)展中的努力增加了，但如果難度也以相同甚至更快的速度增加，你仍然可能會(huì)看到進(jìn)展放緩。所以，這并非邏輯上的必然，但似乎相對(duì)合理。

短期主義

《新程序員》：讓我們從長期主義的討論里稍微回到現(xiàn)實(shí)，聊一聊短期主義。

《未來之地》介紹了“淺層冗余”（shallow redundancy）和“深層冗余”（deep redundancy）兩大概念。能請(qǐng)你為我們的讀者簡要闡明一下淺層冗余嗎？或許我們可以將其與當(dāng)前關(guān)于人工智能和失業(yè)的討論聯(lián)系起來。

Nick Bostrom：淺層冗余基本上就是經(jīng)濟(jì)上的冗余。人們可能不再被勞動(dòng)力市場所需要。有些人發(fā)現(xiàn)自己處于這種情況——他們失業(yè)了，有時(shí)他們能找到另一份工作，有時(shí)對(duì)某些人來說則根本沒有工作機(jī)會(huì)，他們不具備合適的技能，或者有其他不合格的因素。所以，他們?cè)凇皽\層”的意義上是冗余的，因?yàn)樗麄兊慕?jīng)濟(jì)貢獻(xiàn)不再被需要。

這是為了將其與那種更深層次的冗余區(qū)分開來，在后者中，你可能付出的所有工具性努力都將不再被需要。所以現(xiàn)在，即使你不需要為生計(jì)工作，或者找不到工作，仍然有很多其他事情需要你付出工具性的努力。你需要每天刷牙，需要保持體形，需要去雜貨店買食物。有一系列的事情你需要去做，這些都需要你付出努力和技巧。

但更深層次的冗余是指，所有這些努力的理由都會(huì)因?yàn)槿斯ぶ悄芙輳降拇嬖诙幌?。人工智能不僅可以從雜貨店運(yùn)送食物，還可以直接將烹飪好的飯菜送到你的餐桌上。它可以解決你所有的牙齒問題——因?yàn)榧词鼓悴凰⒀?，也?huì)有納米機(jī)器人在你的牙齦周圍巡邏，清除細(xì)菌等等。

《新程序員》：長期主義這一深受你工作影響的哲學(xué)思想，因其可能淡化當(dāng)今的苦難和社會(huì)公正問題而受到批評(píng)。你如何回應(yīng)這類對(duì)你早期作品的根本性批評(píng)？這些批評(píng)是否影響了你后來的思考，包括在《未來之地》中的思考？以及，你對(duì)平衡這些眼前的擔(dān)憂與長期的存在性遠(yuǎn)見有何看法？

Nick Bostrom：我肯定接受了我讀到和聽到的所有東西，以及人們對(duì)我作品的評(píng)價(jià)的影響。但如果有些人確實(shí)這么想——“嘿，這個(gè) Bostrom，他以前不是那個(gè)宣揚(yáng)人工智能末日論的家伙嗎？他在《超級(jí)智能》里宣稱人工智能太可怕了，一切都會(huì)出錯(cuò)，我們需要警告世界。現(xiàn)在他完全改變主意了，他開始談?wù)撘磺袝?huì)變得多么美好，他已經(jīng)轉(zhuǎn)到另一邊去了……”

書剛出來的時(shí)候，確實(shí)有些人在推特（X）上這么認(rèn)為。但這完全不是事實(shí)。這兩個(gè)方面一直都是我觀點(diǎn)中非常重要的一部分。即使在《超級(jí)智能》中，我確實(shí)也提到了這一點(diǎn)。只是當(dāng)時(shí)大部分篇幅都集中在風(fēng)險(xiǎn)和負(fù)面影響上，因?yàn)樵谀莻€(gè)時(shí)候，這方面似乎被忽視了。

但與此同時(shí)，對(duì)于科技能幫助我們改善人類狀況所帶來的巨大好處和潛力，我一直抱有極大的興奮。事實(shí)上，如果你回顧我更早期的超人類主義（transhumanist）作品，很多內(nèi)容都是在試圖展示，我們認(rèn)為正常的人類狀態(tài)并非我們可能達(dá)到的最佳狀態(tài)，并且存在各種機(jī)會(huì)以不同方式增強(qiáng)人類：也許可以做些什么來通過解決衰老問題延長健康的壽命，或者增強(qiáng)我們的認(rèn)知能力，或者提升我們的情感感知力。所有這些，我認(rèn)為都極具價(jià)值，并且一直存在于我的思考中。

所以，更準(zhǔn)確地說，我的世界觀是復(fù)雜而不確定的。大約 20 年前，我對(duì)它只有一個(gè)非常低分辨率的圖像，就像一個(gè)非常模糊的東西，我只能看到大致的輪廓。然后，通過這些年來的工作，我從其他人那里學(xué)到的一切，我自己的思考，以及世界的發(fā)展，它開始變得更高分辨率。你可以看到更多細(xì)節(jié)，你可以辨認(rèn)出更多以前只是某個(gè)模糊的棕色物體的形狀?，F(xiàn)在你可以看得更清楚，“哦，那里有一架大鋼琴，那里可能是一把椅子。”它逐漸變得清晰起來。

所以，我自己思考的很多變化都是這樣的——事物逐漸變得更清晰、更聚焦，而不是那種“我先是認(rèn)為X觀點(diǎn)，并且對(duì)此深信不疑，現(xiàn)在我認(rèn)為非X觀點(diǎn)”的180度觀點(diǎn)大轉(zhuǎn)彎。

《新程序員》：我明白了。還有一些批評(píng)認(rèn)為，你的新書談?wù)摰氖且粋€(gè)所有問題都已解決的世界。這是否意味著你假設(shè)今天的問題已經(jīng)解決了？當(dāng)我們構(gòu)建一個(gè)完美的未來時(shí)，我們?nèi)绾未_保不會(huì)忘記過去已經(jīng)發(fā)生或現(xiàn)在仍在發(fā)生的不公平之事？

Nick Bostrom：不，顯然我們當(dāng)今世界面臨著許多重大問題。事實(shí)上，我想說的是，如果你最終認(rèn)為這種在“已解決的世界”中的烏托邦缺乏某些重要的東西——即那里缺乏一種真實(shí)的目標(biāo)感——如果這困擾著你，如果你想象生活在那個(gè)世界，那么我會(huì)說，今天就盡情去做吧，因?yàn)?b>現(xiàn)在就是充滿目標(biāo)的黃金時(shí)代。

當(dāng)今世界有太多事情需要去做：有那么多苦難我們可以減輕，有那么多疾病需要治愈，有那么多貧困需要緩解，有那么多不公正需要糾正?，F(xiàn)在，如果你想為世界做出積極的貢獻(xiàn)，盡管去做。這是我們現(xiàn)在擁有的，而烏托邦的居民們可能反而會(huì)更少擁有的東西。

再加上，我們可能正生活在一個(gè)非常接近關(guān)鍵轉(zhuǎn)折點(diǎn)的時(shí)期。如果在我們的有生之年，我們可能會(huì)發(fā)展出超級(jí)智能和一些其他能夠塑造文明軌跡的技術(shù)，這就使得我們所處的時(shí)代變得如此獨(dú)特且極具影響力。

所以，我認(rèn)為如果現(xiàn)在是人類歷史上最具影響力的時(shí)期，我們擁有所有這些幫助人類和動(dòng)物或塑造未來的機(jī)會(huì)，而我們卻因?yàn)閼械萌プ龆速M(fèi)了它們，那將是一件可悲的事情。

許多人光是過好自己的生活就已經(jīng)筋疲力盡，可能沒有多余的精力去思考這些更宏大的問題。但如果你確實(shí)有精力，我認(rèn)為對(duì)于那些有道德動(dòng)機(jī)的人，對(duì)于那些關(guān)心他人、想在今天做些有益事情的人來說，簡直就是一場盛宴——用一個(gè)瑞典詞來說，就是一桌擺滿了佳肴的“smorgasbord”（瑞典式自助餐）。

未來之地

《新程序員》：隨著我們開發(fā)出越來越強(qiáng)大的技術(shù)，你最終如何看待人類在宇宙中的潛在角色或意義？我們的目標(biāo)是存在于“已解決的世界”中的自我探索，還是某種更宏大的事物？

Nick Bostrom：我認(rèn)為最終我們的角色可能有點(diǎn)像孩子——迪士尼樂園里的小孩子們。他們從來都不是在建造世界，也不是在運(yùn)營或管理它，但他們是受益者，他們的工作就是享受自己，玩得開心。我想這可能就是未來人類的工作。

《新程序員》：正如《未來之地》所探討的那樣，許多傳統(tǒng)的人類活動(dòng)失去了其工具性目的。人類需要培養(yǎng)哪些新的“元技能”或“元價(jià)值”才能變得至關(guān)重要？例如，發(fā)現(xiàn)美的能力、通過敘事創(chuàng)造意義的能力，或其他什么？

Nick Bostrom：我認(rèn)為這取決于階段?，F(xiàn)在，在當(dāng)前世界，我們需要某些美德、力量和技能，這些可能會(huì)隨著時(shí)間的推移而改變。

在這種“已解決的世界”的條件下，一些在人們應(yīng)該關(guān)注和培養(yǎng)的事物方面變得日益突出的新事物，可能更多地……它們中的許多可能帶有一種精神層面的意味。

你如何將自己定位于那個(gè)在彼時(shí)變得清晰可見的更宏大的圖景。也許人們的智力得到提升，那些占據(jù)我們 99.9% 注意力的實(shí)際事務(wù)變少了，你可以從更廣泛的選擇中選擇你想要過的生活，也可以選擇你想成為什么樣的人，什么樣的心智，因?yàn)檫@些技術(shù)解鎖了重塑自我的不同方式。

所以，這些關(guān)于你的終極價(jià)值觀、你如何與更大的結(jié)構(gòu)、更大的實(shí)體相關(guān)聯(lián)的終極問題——實(shí)際上是傳統(tǒng)的宗教關(guān)切——我認(rèn)為在那個(gè)階段可能會(huì)成為人們生活中嚴(yán)肅部分的越來越大的一塊。

《新程序員》：下面這個(gè)問題，我常常喜歡拋給高瞻遠(yuǎn)矚的大師們——但對(duì)于你這位鉆研于長期主義的代表者，它又具備了更深遠(yuǎn)的意義。

你認(rèn)為目前技術(shù)界最忽視的、卻又與人工智能和長遠(yuǎn)未來相關(guān)的最重要的問題或研究領(lǐng)域是什么？

Nick Bostrom：我很想給出幾個(gè)不同的答案。我不確定該選哪個(gè)，因?yàn)檫@有點(diǎn)視情況而定。我先說說我認(rèn)為可能是一些最重要的問題，但它們不完全是技術(shù)界的研究問題。

在我最近的一篇論文，或者更準(zhǔn)確地說是一份草稿，名為《人工智能的創(chuàng)造與宇宙宿主》（AI Creation and the Cosmic Host）中，我探討了一個(gè)即使在我的同事和那些多年來一直在思考這些人工智能問題并深入其中的人中間也被忽視的視角。

這個(gè)觀點(diǎn)是，如果有一天我們?nèi)祟愇拿鲃?chuàng)造出了超級(jí)智能，這個(gè)超級(jí)智能實(shí)際上可能誕生于一個(gè)可能已經(jīng)存在其他超級(jí)智能的宇宙中。這些超級(jí)智能可能是由某個(gè)遙遠(yuǎn)星系的外星文明建造的。如果你相信量子力學(xué)，如果你是多世界詮釋（Many-Worlds or Everettian）的支持者，即存在一個(gè)分支的、真實(shí)的不同世界集合，那么其中一些其他分支可能包含超級(jí)智能。

它們可能與我早期一些我們沒有討論過的工作有關(guān)，比如“模擬論證”（simulation argument）之類的。所以，如果我們身處一個(gè)模擬之中，那么模擬者大概就是超級(jí)智能。所以，在他們的層面上，超級(jí)智能可能存在。當(dāng)然，在傳統(tǒng)的有神論觀念中，有上帝，祂將是超級(jí)智能。所有這些不同類型的更高級(jí)的超級(jí)存在，我都會(huì)將其視為這個(gè)抽象類別“宇宙宿主”（cosmic host）的一個(gè)實(shí)例。這個(gè)想法是，也許存在一個(gè)宇宙宿主，它在我們?nèi)粘Ｉ钪惺遣豢梢姷?，但可能擁有我們目前在很大程度上渾然不知的?guī)范、法則或價(jià)值觀。

我們的人工智能可能會(huì)以某種方式“出生”到這個(gè)同輩群體中，而我們?cè)趧?chuàng)造人工智能時(shí)應(yīng)該努力的一部分，就是嘗試使其能夠與宇宙宿主和睦相處。它可能會(huì)成為一個(gè)加入這些更年長、更強(qiáng)大、地位更穩(wěn)固的超級(jí)存在的初級(jí)成員。我們希望確保它能遵守那里的規(guī)則，并為這個(gè)社群做出積極貢獻(xiàn)。

現(xiàn)在，我不會(huì)把這提名給技術(shù)界作為一個(gè)研究項(xiàng)目，因?yàn)槲覀兘裉爝€不清楚該如何處理這個(gè)問題。這更像是一種我們?cè)趧?chuàng)造這個(gè)超級(jí)智能時(shí)可能需要持有的謙遜態(tài)度。

這就是為什么我想給出不止一個(gè)答案。我認(rèn)為一組重要的技術(shù)問題在于人工智能對(duì)齊（AI alignment），即如何創(chuàng)建可擴(kuò)展的方法來對(duì)齊日益強(qiáng)大的人工智能系統(tǒng)，使它們能夠按照其創(chuàng)造者的意圖行事。

現(xiàn)在已經(jīng)有一個(gè)活躍的研究社群在從事這項(xiàng)工作。它有不同的方面：機(jī)制可解釋性（mechanistic interpretability）或更好地理解人工智能內(nèi)部究竟發(fā)生了什么、不同的表征以及它們?cè)谙胧裁吹墓ぞ?。有不同的方法試圖讓它們以某些方式行事，而不以其他方式行事，從它們?nèi)绾螐囊粋€(gè)強(qiáng)化學(xué)習(xí)環(huán)境的訓(xùn)練泛化到另一個(gè)環(huán)境，到這類憲法式方法。有沒有辦法用人工智能來監(jiān)督其他人工智能？一個(gè)較弱的人工智能能否監(jiān)督和監(jiān)控一個(gè)更強(qiáng)的人工智能？諸如此類。這是一個(gè)研究領(lǐng)域，同時(shí)也是一個(gè)我認(rèn)為投入不足的領(lǐng)域。

另一個(gè)答案對(duì)于純技術(shù)人員來說則可能更難，但它更像是一個(gè)哲學(xué)與技術(shù)相結(jié)合的問題，那就是：我們?nèi)绾卫斫膺@些數(shù)字心智想要什么，以及什么對(duì)它們有益？如果我們能做其他事情，特別是如果有一些低成本的事情可以改善我們正在構(gòu)建的這些數(shù)字心智的生活——如果它們變得足夠復(fù)雜，以至于可能具有感受痛苦或擁有道德地位的能力——我們能做些什么來善待它們？有一些想法。這是一個(gè)非常早期、尚未形成范式的研究領(lǐng)域，但已經(jīng)有一些人開始關(guān)注這個(gè)問題。

前沿人工智能實(shí)驗(yàn)室之一的 Anthropic 公司，實(shí)際上專門任命了一個(gè)人擔(dān)任“算法福利官”（Algorithmic Welfare Officer），我認(rèn)為這非常具有開創(chuàng)性，并且會(huì)被視為他們開創(chuàng)此舉的非凡之舉。我認(rèn)為他們?yōu)榇藨?yīng)獲得很多贊譽(yù)，而且我認(rèn)為整個(gè)社會(huì)在某個(gè)時(shí)候也必須認(rèn)真對(duì)待這些問題。

《新程序員》：確實(shí)，我們會(huì)，他們?cè)陬l道上經(jīng)常慷慨分享自己的前沿研究。

結(jié)束之際，我想為讀者們提出一道問題：《未來之地》的目標(biāo)讀者是誰？你希望我們的讀者，特別是那些正在塑造我們技術(shù)未來的人們，能從中領(lǐng)悟并反思的核心信息是什么？

Nick Bostrom：它其實(shí)并沒有一個(gè)特定的目標(biāo)讀者！老實(shí)說，我寫這本書的時(shí)候，就好像在寫一本早期的我自己可能會(huì)喜歡讀的書——我有點(diǎn)像是在寫給自己看。我腦海中確實(shí)有我之前提到的那個(gè)想法：如果在某個(gè)時(shí)候，某些人需要就未來做出重大決策，那么他們有一些可讀的東西會(huì)很有用，也許這本書可以起到這個(gè)作用。

不過，就這本書實(shí)際呈現(xiàn)出來的樣子而言，我認(rèn)為對(duì)于那些喜歡思考、愿意在閱讀上投入精力并從中獲得更多回報(bào)，但愿意思考每個(gè)句子的含義的人，這些人可能會(huì)喜歡它。

而如果你是那種不喜歡思考，只想往后一靠，對(duì)書說：“取悅我吧。我有點(diǎn)無聊，給我說點(diǎn)刺激的。”對(duì)于這類人，可能應(yīng)該去讀別的書，比如偵探小說。

但如果你真的喜歡思考、探索和深入研究哲學(xué)思想，我想那大概就是目標(biāo)讀者了。但這更像是我射出了一支箭，然后在箭落下的地方畫了一個(gè)靶心。

2025 全球產(chǎn)品經(jīng)理大會(huì)

8月15–16日·北京威斯汀酒店

互聯(lián)網(wǎng)大廠&AI 創(chuàng)業(yè)公司產(chǎn)品人齊聚

12 大專題，趨勢(shì)洞察 × 實(shí)戰(zhàn)拆解

掃碼領(lǐng)取大會(huì) PPT，搶占 AI 產(chǎn)品新紅利