鷺羽 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

• 人工智能有99.5%的可能性會(huì)殺死你。

這是硅谷版世界末日傳教士Eliezer Yudkowsky的最新論點(diǎn)。

Yudkowsky用現(xiàn)在的話說(shuō)，是個(gè)不折不扣的斜杠青年，是MIRI創(chuàng)始人，也是著名的哈利波特同人文作者。

但最引人注目的身份則是一手締造OpenAI和谷歌DeepMind的中之人。

八年級(jí)輟學(xué)、AI知識(shí)全靠自學(xué)成才……

奧特曼、馬斯克紛紛引用他的觀點(diǎn)，AI教父Hinton、LeCun則批評(píng)他的極端。

就是這樣一個(gè)評(píng)價(jià)兩極分化嚴(yán)重的人，卻成為了硅谷大佬們爭(zhēng)先恐后的座上賓。

他說(shuō)，他的目標(biāo)是阻止AI朝著超級(jí)智能發(fā)展，因?yàn)檫@事關(guān)整個(gè)人類(lèi)的生死存亡。

• 沒(méi)有妥協(xié)的余地，即使是llya的公司也應(yīng)該被關(guān)閉。

參與OpenAI和DeepMind創(chuàng)辦

也許你對(duì)Eliezer Yudkowsky還不太熟悉，但他的名字在硅谷可以說(shuō)是大名鼎鼎。

Eliezer Yudkowsky出生在芝加哥的一個(gè)東正教猶太家庭，因?yàn)槁越】祮?wèn)題，在八年級(jí)后就早早地輟學(xué)回家。

沒(méi)有學(xué)校文憑，取而代之的是，他如饑似渴地閱讀科幻小說(shuō)，自學(xué)計(jì)算機(jī)科學(xué)，并與一群主張科技樂(lè)觀主義的未來(lái)學(xué)家們?cè)诰W(wǎng)上交流。

也就是那時(shí)，他被“奇點(diǎn)”這個(gè)概念所深深吸引，即假設(shè)中人工智能超越人類(lèi)智能的未來(lái)轉(zhuǎn)折點(diǎn)，于是他立志要?jiǎng)?chuàng)建AGI，并堅(jiān)信AGI即將到來(lái)。

但當(dāng)他來(lái)到硅谷后，卻發(fā)現(xiàn)要?jiǎng)?chuàng)建對(duì)人類(lèi)友好的人工智能其實(shí)相當(dāng)困難，主要還是以下三個(gè)原因：

• 正交性:智力不等同于仁慈，AI不會(huì)因?yàn)樽兊酶斆鞫詣?dòng)變得更友好。
• 工具性融合:任何強(qiáng)大的、以目標(biāo)為導(dǎo)向的AI系統(tǒng)都有可能采取對(duì)人類(lèi)不利的手段，比如在回形針最大化器實(shí)驗(yàn)中，一旦AI認(rèn)為人類(lèi)身體內(nèi)的鐵元素可以用來(lái)制作回形針，那么為了保證最大化生產(chǎn)回形針，AI將會(huì)把人類(lèi)視作資源的一部分。
• 情報(bào)爆炸:AI能力可能在短時(shí)間內(nèi)急劇飆升，導(dǎo)致迅速出現(xiàn)不可控的超級(jí)智能。

從此之后，他開(kāi)始持續(xù)關(guān)注AI安全問(wèn)題，也成為了硅谷最早警告AI風(fēng)險(xiǎn)的“傳教士”之一。

Yudkowsky曾表示：

• 人類(lèi)注定要滅亡，我不會(huì)繼續(xù)打一場(chǎng)失敗的戰(zhàn)斗來(lái)使人工智能與人類(lèi)價(jià)值觀保持一致，而是將注意力轉(zhuǎn)移到幫助人們接受自己的命運(yùn)上。

此外他還在伯克利創(chuàng)建了MIRI研究所，致力于研究先進(jìn)人工智能的風(fēng)險(xiǎn)。

雖然他極端悲觀的AI末日論說(shuō)法頗受業(yè)界爭(zhēng)議，連AI教父Hinton都明確表示過(guò)Yudkowsky的主張過(guò)于偏頗，但不可否認(rèn)的是，他在一定程度上影響了整個(gè)硅谷。

無(wú)論是OpenAI的奧特曼，還是馬斯克在內(nèi)的AI科技巨頭，都曾在公開(kāi)場(chǎng)合引用他的觀點(diǎn)，奧特曼甚至曾表示，Yudkowsky在他創(chuàng)辦OpenAI的決定中，發(fā)揮了關(guān)鍵性作用，而且他值得一座諾貝爾和平獎(jiǎng)。

不僅如此，谷歌在AI領(lǐng)域有所成就也離不開(kāi)他的功勞。

2010年時(shí)，就是他為初創(chuàng)公司DeepMind的創(chuàng)始人牽線搭橋，將其介紹給了風(fēng)險(xiǎn)投資家Peter Thiel，Thiel從此成為了DeepMind的第一位主要投資者。

后面谷歌在2014年收購(gòu)了DeepMind，而DeepMind的聯(lián)合創(chuàng)始人Demis Hassabis如今正負(fù)責(zé)監(jiān)督谷歌的AI工作。

哈利波特同人文作者

除了在AI安全領(lǐng)域的貢獻(xiàn)，讓Yudkowsky在硅谷聲名鵲起的另一個(gè)原因，則是他對(duì)硅谷理性主義的引領(lǐng)。

如今硅谷科技公司中的年輕一代，絕大多數(shù)都是堅(jiān)定的理性主義者，追根溯源正是受到了Yudkowsky的作品影響。

而這本書(shū)便是哈利波特的同人文——《哈利·波特與理性之道》。

在這本書(shū)中，哈利波特從小接受科學(xué)訓(xùn)練、邏輯思維和理性教育，用科學(xué)探索魔法世界。原著中的事件都被理性重構(gòu)改寫(xiě)，不僅關(guān)注魔法如何使用，還探究魔法原理和背后的邏輯，還經(jīng)常涉及像貝葉斯推理、實(shí)驗(yàn)設(shè)計(jì)、概率思維等知識(shí)。

再比如說(shuō)，Yudkowsky的另一本有關(guān)《龍與地下城》的同人小說(shuō)，其中也包含了他對(duì)決策理論的諸多看法。

而最近他和MIRI總裁Nate Soares合著的新書(shū)《如果有人建造它，每個(gè)人都會(huì)死》，也是他們多年來(lái)一直向人工智能內(nèi)部人士提出的案例提煉版，當(dāng)中他公開(kāi)拋出了有關(guān)超級(jí)智能的最終預(yù)測(cè)。

他認(rèn)為，目前很多科技公司，包括Anthropic、OpenAI在內(nèi)，在構(gòu)建軟件模型時(shí)，其實(shí)并不清楚內(nèi)部的運(yùn)作邏輯，所追求的“煉金術(shù)”超越了科學(xué)理解范疇。

所以一旦模型能力到達(dá)某種程度，現(xiàn)有的AI對(duì)齊技術(shù)（如強(qiáng)化學(xué)習(xí)、微調(diào)等）將不可避免地失效，從而忽略人類(lèi)指令。

最終AI不僅掌握了極大的能量，在資源使用、決策等方面也會(huì)脫離人類(lèi)控制，人類(lèi)可能在毫無(wú)察覺(jué)的時(shí)候就被潛移默化地邊緣化取代，以一種漸進(jìn)式的方式消失，而非像科幻電影中所描述的那樣，會(huì)出現(xiàn)一場(chǎng)和機(jī)器人的生死存亡的戰(zhàn)爭(zhēng)。

Yudkowsky認(rèn)為，現(xiàn)在已經(jīng)到了該報(bào)警的階段，這不是危言聳聽(tīng)，人類(lèi)正在忽略真正的風(fēng)險(xiǎn)。

在談及硅谷這些追求創(chuàng)造超級(jí)智能的科技公司，Yudkowsky表示它們每一家都應(yīng)該被關(guān)閉，Anthropic相對(duì)較好，而OpenAI明顯最差，但誠(chéng)然重視AI安全如llya，Yudkowsky也一視同仁地認(rèn)為llya的公司也需要被停止，因?yàn)樗鼈?strong>本質(zhì)上都沒(méi)有區(qū)別。

不過(guò)隨著時(shí)間的推移，他不再精確預(yù)測(cè)超級(jí)人工智能何時(shí)才會(huì)被開(kāi)發(fā)出來(lái)，當(dāng)結(jié)果注定的時(shí)候，過(guò)程顯得那么無(wú)關(guān)緊要。

正如他回復(fù)網(wǎng)友時(shí)，所采用的這個(gè)比喻：

• 預(yù)測(cè)掉入熱水中的冰塊何時(shí)融化，比知道結(jié)果注定是一杯溫水，要困難得多。

而他正在試圖做的，是告訴人們，這里將會(huì)有一杯溫水。

參考鏈接：
[1]https://www.nytimes.com/2025/09/12/technology/ai-eliezer-yudkowsky-book.html?unlocked_article_code=1.lU8.ALkU.Qne6o4IgeeEP
[2]https://www.semafor.com/article/09/12/2025/researchers-give-doomsday-warning-about-building-ai-too-fast