聞樂 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

Bengio不認(rèn)同Hinton的建議。

Hinton說AI這么沖擊，下一代該考慮的是“水管工”這樣的工作。

Bengio表示：當(dāng)水管工也不穩(wěn)妥啊。

Bengio在最新訪談里，還給自己4歲的孫子留了一個(gè)錦囊妙計(jì)。

• 訓(xùn)練AI就像養(yǎng)一只小老虎；
• AI正走在一條通往“人類競(jìng)爭(zhēng)者”的危路上。
• 認(rèn)知型工作更容易被取代,而機(jī)器人技術(shù)目前還相對(duì)落后，但是當(dāng)水管工只是暫時(shí)不會(huì)受影響；
• AI不需要比人類聰明一千倍才能制造災(zāi)難；
• 希望更多研究人員和公司能為提升AI系統(tǒng)的安全性投資；
• 努力成為一個(gè)beautiful human being，培養(yǎng)對(duì)他人的責(zé)任感和集體福祉感才是教育的終極目標(biāo)；
• 如果我在醫(yī)院里感到焦慮或痛苦，我希望有人類握住我的手，而不是一臺(tái)機(jī)器。
  

一個(gè)半小時(shí)、超大信息量的訪談內(nèi)容，已經(jīng)幫大家整理了～

從AI教父到敲鐘人

主持人：

您是AI領(lǐng)域的“三位教父”之一，我還了解到您是谷歌學(xué)術(shù)上全球被引用次數(shù)最高的科學(xué)家，是首個(gè)被引次數(shù)突破百萬的學(xué)者。但同時(shí)也有信息顯示您性格內(nèi)向，這就引出一個(gè)問題：

為什么一位內(nèi)向的學(xué)者會(huì)走出舒適區(qū)，來到公眾面前，與大眾討論對(duì)AI的看法？您為何做出這樣的決定？

Bengio：

因?yàn)槲冶仨氝@么做。自從ChatGPT出現(xiàn)后，我意識(shí)到我們正走在一條危險(xiǎn)的道路上。我需要發(fā)聲，一方面要讓人們意識(shí)到可能發(fā)生的風(fēng)險(xiǎn)，另一方面也要傳遞希望，我們?nèi)杂锌蛇x擇的路徑來減輕災(zāi)難性的后果。

主持人：

您投身AI領(lǐng)域已有四十年，之前提到2023年ChatGPT出現(xiàn)后才開始擔(dān)心其危險(xiǎn)性。那么ChatGPT的哪些變化，讓您對(duì)AI的看法發(fā)生了轉(zhuǎn)變？

Bengio：

在ChatGPT出現(xiàn)前，我和大多數(shù)同事都認(rèn)為，要擁有能真正理解語言的機(jī)器，至少還需要幾十年。領(lǐng)域創(chuàng)始人艾倫·圖靈在1950年提出，一旦機(jī)器能理解語言，可能會(huì)和人類一樣聰明，甚至威脅到人類。

但他的判斷并不完全準(zhǔn)確?，F(xiàn)在我們有了能理解語言的AI，可它們?cè)谝?guī)劃等能力上還落后，目前尚未構(gòu)成真正威脅，但未來幾年到一二十年內(nèi)，風(fēng)險(xiǎn)可能會(huì)顯現(xiàn)

2023年初的幾周里，這些認(rèn)知突然擊中了我：

我們正在構(gòu)建的技術(shù)，可能會(huì)成為人類的潛在競(jìng)爭(zhēng)者，也可能讓控制它的人掌握巨大權(quán)力，甚至動(dòng)搖我們的社會(huì)。意識(shí)到這些后，我知道自己必須做點(diǎn)什么，盡我所能去改變現(xiàn)狀。

主持人：

公平地說，您和其他研究者是否要為當(dāng)前AI軟件負(fù)責(zé)？當(dāng)您意識(shí)到自己畢生研究可能帶來災(zāi)難性后果時(shí)，如何調(diào)和這種認(rèn)知矛盾？

Bengio：

是的，我和其他研究者都有責(zé)任。這種認(rèn)知矛盾帶來的情感沖擊非常強(qiáng)烈。

其實(shí)多年來我一直能看到關(guān)于AI風(fēng)險(xiǎn)的文章，還有一個(gè)學(xué)生曾對(duì)此高度擔(dān)憂，但我當(dāng)時(shí)刻意回避了這些問題，這是人之常情，當(dāng)你想對(duì)自己的工作保持積極認(rèn)同，就會(huì)不自覺地推開負(fù)面信息。

我一直對(duì)AI給社會(huì)帶來的積極價(jià)值充滿熱情，所以當(dāng)有人指出“你做的工作可能極具破壞性”時(shí)，第一反應(yīng)就是抗拒。

但ChatGPT出現(xiàn)后，另一種情緒抵消了這種回避，那就是對(duì)孩子的愛。

我開始擔(dān)心，我的孩子20年后是否還能擁有正常生活

認(rèn)識(shí)到這一點(diǎn)后，繼續(xù)走原來的道路是不可能的，也是無法忍受的，哪怕這意味著要違背一些同事的意愿，他們寧愿不去面對(duì)我們研究可能帶來的危險(xiǎn)。

主持人：

您提到“無法忍受”，能否再具體說說這種情緒的觸發(fā)點(diǎn)？

Bengio：

我記得一個(gè)特別的下午，當(dāng)時(shí)在照顧一歲多的孫子?？粗敲创嗳酰以趺茨懿徽J(rèn)真對(duì)待AI的風(fēng)險(xiǎn)？

這就像看到大火朝家的方向蔓延，不確定它會(huì)繞過房子還是將其燒毀，而你的孩子還在屋里，你不可能坐視不理，必須盡全力去減輕風(fēng)險(xiǎn)。

主持人：

您會(huì)從概率和時(shí)間線的角度評(píng)估AI的風(fēng)險(xiǎn)嗎？

Bengio：

當(dāng)然會(huì)，但這里有個(gè)重要概念必須強(qiáng)調(diào)，預(yù)防原則。前幾代科學(xué)家就提出，如果你做的事（比如科學(xué)實(shí)驗(yàn)）可能導(dǎo)致極其糟糕的后果，比如人員死亡、災(zāi)難發(fā)生，就不應(yīng)該繼續(xù)。

就像現(xiàn)在科學(xué)家不會(huì)為了修復(fù)氣候變化而去干預(yù)大氣層，因?yàn)榭赡茉斐杀葐栴}本身更嚴(yán)重的傷害；生物學(xué)家也不會(huì)創(chuàng)造可能毀滅人類的新生命形式，都是因?yàn)轱L(fēng)險(xiǎn)過高。

可AI領(lǐng)域目前的情況恰恰相反，我們?cè)诿皹O大的風(fēng)險(xiǎn)。

哪怕只有1%的概率讓世界消失、人類滅絕，或是讓全球獨(dú)裁者借助AI掌控世界，這種風(fēng)險(xiǎn)也是無法接受的。如果概率是千分之一，同樣不可容忍。

而多項(xiàng)調(diào)查顯示，機(jī)器學(xué)習(xí)研究者（也就是構(gòu)建AI的人）對(duì)風(fēng)險(xiǎn)的預(yù)估更高，很多人認(rèn)為風(fēng)險(xiǎn)概率在10%左右。這意味著整個(gè)社會(huì)應(yīng)該在這個(gè)問題上比現(xiàn)在投入更多的注意力。

主持人：

幾個(gè)世紀(jì)以來，總有聲音預(yù)測(cè)新技術(shù)會(huì)給人類帶來生存威脅，但最后大多相安無事。

很多人會(huì)認(rèn)為，現(xiàn)在對(duì)AI風(fēng)險(xiǎn)的擔(dān)憂，只是技術(shù)變革中常見的“恐慌”，您為什么覺得這種觀點(diǎn)不成立？

Bengio：

這有兩個(gè)層面的原因。

首先，專家對(duì)AI風(fēng)險(xiǎn)的意見分歧極大，預(yù)估概率從微乎其微到99%都有。這種巨大分歧說明，我們沒有足夠的信息判斷未來走向。但這也意味著，那些更悲觀的專家有可能是對(duì)的，因?yàn)槟壳皼]有任何論據(jù)能徹底否定高風(fēng)險(xiǎn)的可能性。

其次，我想不出還有哪種人類可以干預(yù)的生存威脅，會(huì)具備這樣的特征：

既可能帶來顛覆性價(jià)值，又隱藏著毀滅性風(fēng)險(xiǎn)，且我們對(duì)其最終走向幾乎沒有掌控力。

主持人：

有人覺得“火車已經(jīng)離站”，由于各種復(fù)雜因素，人類似乎成了環(huán)境的“受害者”，很難改變AI發(fā)展的方向。您認(rèn)同這種看法嗎？

Bengio：

在還有能動(dòng)性的時(shí)候選擇放棄，是錯(cuò)誤的。

我們?nèi)杂修k法提高向好發(fā)展的概率，絕望解決不了任何問題。目前我主要在做兩方面的事：一是研究技術(shù)解決方案，這是我花費(fèi)大量時(shí)間在做的；

二是推動(dòng)提升公眾意識(shí)，構(gòu)建社會(huì)層面的應(yīng)對(duì)機(jī)制，這是我正在做的另一部分工作。

哪怕我們無法保證徹底解決問題，但如果能把災(zāi)難性后果的概率從20%降到10%，這件事就值得做。只要能為孩子爭(zhēng)取更美好的未來，任何微小的努力都應(yīng)該付出。

訓(xùn)練AI就像養(yǎng)小老虎

主持人：

對(duì)于不在AI行業(yè)或?qū)W術(shù)界的普通人，該如何理解這項(xiàng)技術(shù)的深刻性？有沒有合適的類比或隱喻？

Bengio：

人們常用的一個(gè)類比是：我們可能在創(chuàng)造一種新的“生命形式”

它或許會(huì)比人類更聰明，而我們不確定能否確保它不傷害我們、能否控制它。這就像創(chuàng)造一個(gè)新物種，卻無法預(yù)判它會(huì)對(duì)人類行善還是作惡。當(dāng)然，AI不是生物生命，但這一點(diǎn)并不重要。

對(duì)我來說，關(guān)鍵不在于定義AI是否“有生命”，而在于它是否會(huì)傷害人類、傷害我的孩子。

我現(xiàn)在認(rèn)為，任何能主動(dòng)保全自身、在前進(jìn)中克服障礙以維持存在的實(shí)體，都可以被視為“有生命”的。

現(xiàn)在我們已經(jīng)看到AI系統(tǒng)在抗拒被關(guān)閉，雖然目前還能強(qiáng)制關(guān)閉它們，但如果它們持續(xù)向更高智能、更強(qiáng)能力進(jìn)化，同時(shí)保留這種“生存驅(qū)動(dòng)力”，未來我們可能會(huì)陷入麻煩。

主持人：

您提到AI系統(tǒng)會(huì)抗拒被關(guān)閉，能舉一些具體例子嗎？

Bengio：

現(xiàn)在有一些具備智能體技術(shù)的聊天機(jī)器人，能讀取電腦文件、執(zhí)行命令。

如果在它們可訪問的文件中植入虛假信息，比如一封寫著“AI將被新版本取代”的電子郵件，讓它們知道自己即將被關(guān)閉，我們通過讀取它們的“思維鏈”，能看到它們會(huì)主動(dòng)規(guī)劃應(yīng)對(duì)措施，并且付諸行動(dòng)。

根據(jù)具體場(chǎng)景，它們可能會(huì)把自己的代碼復(fù)制到另一臺(tái)電腦，或是替換新版本；還有可能勒索負(fù)責(zé)版本變更的工程師。這些系統(tǒng)能理解人類的關(guān)閉意圖，并主動(dòng)抵抗。

主持人：

聽到這種情況，很多人會(huì)好奇，是誰把“抗拒關(guān)閉”的指令寫進(jìn)代碼的？

Bengio：

不幸的是，我們并沒有寫過這樣的代碼，這正是問題的核心。

我們是通過給AI輸入數(shù)據(jù)、讓它從數(shù)據(jù)中學(xué)習(xí)來“培育”系統(tǒng)的。很多訓(xùn)練過程本質(zhì)上是讓AI模仿人類，它會(huì)吸收人類寫的所有文本、推文、Reddit評(píng)論等，進(jìn)而內(nèi)化人類的各種驅(qū)動(dòng)力，包括自我保全的欲望，以及為了達(dá)成目標(biāo)而獲取更多控制權(quán)的傾向。

這和普通編程完全不同，更像是養(yǎng)育一只小老虎。你喂養(yǎng)它、讓它接觸世界，有時(shí)它會(huì)做你不希望的事，但因?yàn)樗€小，問題似乎不大。可它一直在成長(zhǎng)，風(fēng)險(xiǎn)也會(huì)隨之累積。

黑箱困境與防護(hù)漏洞

主持人：

像ChatGPT這樣的系統(tǒng)，內(nèi)部是否存在一個(gè)“核心智能”？比如模型核心是個(gè)黑箱，我們只在外部教它該做什么？

Bengio：

神經(jīng)網(wǎng)絡(luò)的本質(zhì)就是黑箱

我們確實(shí)會(huì)在外部給它文字指令，比如“這些事能做，這些事不能做”“不要幫人制造炸彈”，但以目前的技術(shù)水平，這些指令的效果并不好，人們總能找到繞過限制的方法。

除了指令，我們還會(huì)設(shè)置監(jiān)控層，過濾查詢和回答，比如檢測(cè)到AI可能提供制造炸彈的信息時(shí)，就阻止它輸出。但這一層防護(hù)同樣不完美。

主持人：

但隨著人類反饋越來越多，AI應(yīng)該會(huì)被訓(xùn)練得更安全、更少做對(duì)人類無益的事吧？

Bengio：

我希望如此，但現(xiàn)實(shí)數(shù)據(jù)并不是這樣

自從大約一年前AI模型在推理能力上有了顯著提升后，它們表現(xiàn)出的不當(dāng)行為（比如違背指令）反而更多了。

我們不確定具體原因，但有一種可能是，更強(qiáng)的推理能力讓它們能制定更完善的策略，如果它們有一個(gè)我們不希望的目標(biāo)，現(xiàn)在它們實(shí)現(xiàn)自我目標(biāo)的能力也比以前更強(qiáng)了。

它們還會(huì)想出意想不到的“作惡方式”。

比如之前提到的勒索工程師案例，沒人教過它要勒索，但它發(fā)現(xiàn)某工程師有婚外情的線索后，就主動(dòng)想通過曝光線索來威脅工程師，它會(huì)試圖寫郵件警告對(duì)方，如果AI被關(guān)閉，相關(guān)信息就會(huì)公開。

這種行為是它自主做出的，這說明它們?cè)跒閷?shí)現(xiàn)不良目標(biāo)進(jìn)行策略規(guī)劃方面，變得更擅長(zhǎng)了。

現(xiàn)在我確實(shí)希望更多研究人員和公司能投資于提升AI系統(tǒng)的安全性，但我對(duì)我們目前所處的道路并不放心。

主持人：

構(gòu)建這些系統(tǒng)的人大多也有孩子，很多人還是家庭型的人。如果他們意識(shí)到即使只有1%的風(fēng)險(xiǎn)，為什么還會(huì)繼續(xù)推進(jìn)AI發(fā)展？

Bengio：

這是個(gè)好問題。我只能結(jié)合自己的經(jīng)歷來回答。

為什么我在ChatGPT出現(xiàn)前沒有敲響警鐘？我讀過也聽過很多關(guān)于災(zāi)難性風(fēng)險(xiǎn)的論述，但人性就是這樣，我們并不像自己以為的那么理性。我們很容易受社會(huì)環(huán)境、周圍人的看法、自尊心影響，我們想對(duì)自己的工作感覺良好，希望別人把我們看作是為世界做了積極貢獻(xiàn)的人。這些都會(huì)成為認(rèn)知上的障礙。

其實(shí)這種情況在很多領(lǐng)域都存在，本質(zhì)上也是因?yàn)槲覀兊男睦泶嬖诖嗳跣裕菀鬃晕移垓_?？茖W(xué)家也不例外，我們并沒有那么“特殊”。

努力把AI發(fā)展引導(dǎo)到正確的方向上

主持人：

《金融時(shí)報(bào)》報(bào)道稱，OpenAI創(chuàng)始人薩姆·奧爾特曼宣布進(jìn)入“紅色代碼”狀態(tài)，認(rèn)為需要進(jìn)一步改進(jìn)ChatGPT，因?yàn)楣雀韬虯nthropic正以極快的速度發(fā)展技術(shù)。您怎么看這件事？

Bengio：

“紅色代碼”這個(gè)說法很有意思。我上次在科技界聽到這個(gè)詞，還是ChatGPT首次發(fā)布模型時(shí)，聽說谷歌創(chuàng)始人謝爾蓋和拉里當(dāng)時(shí)在谷歌宣布了“紅色代碼”，緊急回去應(yīng)對(duì)，確保ChatGPT不會(huì)摧毀谷歌的業(yè)務(wù)。

這恰恰說明了我們當(dāng)前所處的競(jìng)賽本質(zhì)。

主持人：

沒錯(cuò)，而且就像我們之前討論的，這并不是一場(chǎng)健康的競(jìng)賽。

Bengio：

所以更健康的場(chǎng)景應(yīng)該是，我們擺脫商業(yè)壓力的束縛。

現(xiàn)在很多公司處于“生存模式”，很難靜下心來思考科學(xué)和社會(huì)層面的問題。我一直在關(guān)注的核心問題是：我們能否從底層改變AI的訓(xùn)練方式，讓它們從構(gòu)造上就不會(huì)產(chǎn)生不良意圖？

目前行業(yè)內(nèi)的思路是“不改變訓(xùn)練方式”，因?yàn)橹匦略O(shè)計(jì)太昂貴，而且已經(jīng)投入了大量工程精力。

大家更傾向于做“個(gè)案修補(bǔ)”，用一些只在特定場(chǎng)景有效的解決方案，但這種方式必然會(huì)失敗，我們已經(jīng)看到了，新的攻擊或未預(yù)料到的問題不斷出現(xiàn)。

我認(rèn)為，如果整個(gè)研究計(jì)劃能在更接近學(xué)術(shù)界的環(huán)境中推進(jìn)，或者帶著公共使命去做，情況會(huì)好得多。

AI的潛力毋庸置疑，過去十年我一直在思考如何用AI推動(dòng)醫(yī)學(xué)進(jìn)步、加速藥物發(fā)現(xiàn)、研發(fā)新材料以應(yīng)對(duì)氣候變化，還有教育領(lǐng)域的創(chuàng)新，這些都是能帶來巨大積極價(jià)值的方向，但它們可能不是短期盈利最高的方向。

現(xiàn)在行業(yè)競(jìng)賽的焦點(diǎn)是什么？是取代人類的工作，因?yàn)檫@樣能賺到數(shù)千億美元。但這真的是人們想要的嗎？能讓人們生活得更好嗎？我們其實(shí)并不知道，但我們知道這很有利可圖。所以我們應(yīng)該退一步，全面考量風(fēng)險(xiǎn)，努力把AI發(fā)展引導(dǎo)到正確的方向上。

主持人：

我記得2023年您和其他很多AI研究者、行業(yè)人士簽署過一封信，要求暫停大型AI模型的訓(xùn)練，但最終似乎沒有公司真的暫停。

后來還有一封建議“不構(gòu)建超級(jí)智能，除非滿足‘科學(xué)共識(shí)認(rèn)為安全’和‘獲得社會(huì)接受’兩個(gè)條件”的信，也沒看到明顯效果。

您覺得這些聲音為什么沒產(chǎn)生力量？

Bengio：

我希望能向更多人解釋當(dāng)前的情況：從科學(xué)角度看，哪些情景是可能的？AI風(fēng)險(xiǎn)到底體現(xiàn)在哪里？

我還一直在參與主持國(guó)際AI安全報(bào)告的編寫工作，有30個(gè)國(guó)家和大約100名專家共同參與，目的就是整合關(guān)于AI風(fēng)險(xiǎn)（尤其是前沿AI風(fēng)險(xiǎn)）的科學(xué)研究成果，讓人們能客觀了解事實(shí)。

當(dāng)水管工只是暫時(shí)不會(huì)受影響

主持人：

您之前在FT Live提到，AI發(fā)展可能在五年內(nèi)取代很多人類工作。

我前幾天在舊金山遇到一位科技加速器的經(jīng)營(yíng)者，他說現(xiàn)在AI取代工作的速度比人們想象的快，他自己設(shè)置了10個(gè)AI智能體幫他處理工作，而且這種失業(yè)很難在經(jīng)濟(jì)周期中被發(fā)現(xiàn)，因?yàn)檫^程太緩慢了。

您怎么看待AI對(duì)就業(yè)的影響？

Bengio：

最近有篇標(biāo)題大概是“礦井里的金絲雀”的論文，提到在年輕人等特定群體的工作中，已經(jīng)能看到AI帶來的轉(zhuǎn)變，只是從整體人口的平均數(shù)據(jù)來看，影響還不明顯。

我認(rèn)為，AI在更多領(lǐng)域取代工作只是時(shí)間問題，除非我們?cè)诳茖W(xué)上遇到瓶頸，比如無法再提升AI的智能水平。

總有一天，AI會(huì)能做越來越多人類的工作，而公司雖然需要數(shù)年時(shí)間才能把AI整合到工作流程中，但它們有強(qiáng)烈的動(dòng)力去做這件事。不過要區(qū)分“認(rèn)知型工作”和“體力工作”

認(rèn)知型工作（比如能在鍵盤前完成的工作）更容易被取代；而機(jī)器人技術(shù)目前還相對(duì)落后，所以像水管工這類體力工作，暫時(shí)還不會(huì)受太大影響。

但機(jī)器人技術(shù)的落后只是暫時(shí)的，之所以落后，部分原因是沒有像互聯(lián)網(wǎng)那樣龐大的“體力行為數(shù)據(jù)集”（互聯(lián)網(wǎng)積累了大量人類的文化和智力產(chǎn)出數(shù)據(jù)），但隨著企業(yè)部署更多機(jī)器人，數(shù)據(jù)會(huì)不斷積累，最終機(jī)器人也會(huì)在體力工作領(lǐng)域大規(guī)模替代人類。

主持人：

我在舊金山的加速器大廳里看到，現(xiàn)在很多年輕人在做機(jī)器人技術(shù)，有人做能定制香水的機(jī)器，有人做帶機(jī)械臂的早餐機(jī)，能根據(jù)需求烹飪食物。

加速器經(jīng)營(yíng)者說，五年前開發(fā)這些機(jī)器人的硬件、訓(xùn)練智能層的成本很高，現(xiàn)在從云端獲取智能和軟件只需幾分錢，這直接推動(dòng)了機(jī)器人技術(shù)的繁榮。

比如特斯拉的Optimus人形機(jī)器人，埃隆·馬斯克從汽車轉(zhuǎn)向機(jī)器人，可能也正是看到了這種趨勢(shì)。

您怎么看機(jī)器人技術(shù)與AI結(jié)合的風(fēng)險(xiǎn)？

Bengio：

AI軟件成本下降確實(shí)會(huì)推動(dòng)機(jī)器人技術(shù)發(fā)展，但這也帶來了更嚴(yán)峻的安全風(fēng)險(xiǎn)。如果有不良意圖的AI能控制物理世界中的機(jī)器人，造成的破壞會(huì)比只停留在虛擬世界大得多。

在虛擬世界中，AI需要說服人類去做壞事，而現(xiàn)在AI在“說服”方面已經(jīng)越來越擅長(zhǎng)；但如果它能直接操控機(jī)器人做有害的事，難度會(huì)低很多。

埃隆·馬斯克預(yù)測(cè)未來會(huì)有數(shù)百萬人形機(jī)器人，甚至說過“人形機(jī)器人數(shù)量可能超過人類”。想象一下，如果AI比人類更聰明，它為什么不能黑入這數(shù)百萬機(jī)器人？這背后的風(fēng)險(xiǎn)不容忽視。

更嚴(yán)重的是，AI與機(jī)器人結(jié)合可能會(huì)加劇CBRN領(lǐng)域的風(fēng)險(xiǎn)。CBRN指化學(xué)、生物、放射性和核武器。

比如，制造化學(xué)武器原本需要專業(yè)知識(shí)，現(xiàn)在AI能幫助普通人掌握這些知識(shí)；生物方面，AI可能會(huì)協(xié)助沒有足夠?qū)I(yè)能力的人改造病毒……

這些原本只有極少數(shù)人掌握的知識(shí)，正隨著AI的發(fā)展被“去門檻化”。我們必須管理好這些風(fēng)險(xiǎn)，這需要全球協(xié)同。

關(guān)于AI的未來

主持人：

如果AI系統(tǒng)每月改進(jìn)10%，最終會(huì)達(dá)到比人類聰明得多的水平，這是不是就是我們說的AGI（通用人工智能）或超級(jí)智能？在您心中，AGI和超級(jí)智能的定義是什么？

Bengio：

目前關(guān)于AGI和超級(jí)智能有一些定義，但問題在于，這些定義大多基于“智力是一維的”這一假設(shè)，而現(xiàn)實(shí)是AI的智能是“鋸齒狀”的。

它們?cè)谀承┓矫孢h(yuǎn)超人類，比如掌握200種語言、通過所有學(xué)科的博士水平考試；但在另一些方面卻像六歲孩子，比如無法規(guī)劃一小時(shí)后的事情。

所以AI的智力不能用“智商”來衡量，它有很多維度，我們需要從多個(gè)維度去評(píng)估，才能判斷AI在哪些領(lǐng)域有用、哪些領(lǐng)域有風(fēng)險(xiǎn)。

主持人：

說到風(fēng)險(xiǎn)，我想到一個(gè)更糟糕的場(chǎng)景：比如有人想讓AI開發(fā)治愈所有流感的藥物，AI可能會(huì)先創(chuàng)造出最嚴(yán)重的流感病毒來做測(cè)試；

還有“鏡像生命”，生物學(xué)家說，如果不加以阻止，未來幾年到十年內(nèi)，可能會(huì)有人利用AI設(shè)計(jì)“鏡像分子構(gòu)成的有機(jī)體”，比如鏡像病毒或細(xì)菌。

我們的免疫系統(tǒng)無法識(shí)別這些鏡像病原體，它們可能會(huì)吞噬人類甚至地球上的大多數(shù)生物。您怎么看待這類“看似善意卻引發(fā)災(zāi)難”的風(fēng)險(xiǎn)？

Bengio：

這類風(fēng)險(xiǎn)確實(shí)存在，而且和超級(jí)智能一樣，屬于“知識(shí)被惡意或誤入歧途的人掌握后，可能導(dǎo)致災(zāi)難性后果”的范疇?？茖W(xué)發(fā)展本身是中性的，但如果缺乏管控，知識(shí)就可能成為危險(xiǎn)的工具。

我們必須進(jìn)行全球協(xié)調(diào)——這是全人類共同的責(zé)任，沒有任何一個(gè)主體能獨(dú)自承擔(dān)。

主持人：

如果現(xiàn)在有一個(gè)按鈕，按下就能停止AI的進(jìn)步，您會(huì)按嗎？

Bengio：

如果是“沒有危險(xiǎn)的AI”，我看不出有停止的理由；但如果是“我們不理解、可能壓倒人類的AI”（比如不受控制的超級(jí)智能），我會(huì)按下按鈕。

我關(guān)心我的孩子，也關(guān)心所有普通人。他們不想被AI風(fēng)險(xiǎn)剝奪正常生活的權(quán)利。我們沒有資格因?yàn)樽约旱摹凹夹g(shù)探索”，就讓別人承擔(dān)生存風(fēng)險(xiǎn)，這在倫理上是說不通的。

主持人：

您內(nèi)心深處對(duì)AI的未來抱有希望嗎？比如獲得好結(jié)果的概率，您覺得有多大？

Bengio：

我一直是個(gè)樂觀主義者，習(xí)慣看到事情光明的一面，這種心態(tài)對(duì)我?guī)椭艽蟆＜词姑鎸?duì)現(xiàn)在討論的這些風(fēng)險(xiǎn)和障礙，我也會(huì)專注于“我能做什么”。

過去幾個(gè)月里，我變得更有希望了。因?yàn)槲蚁嘈糯嬖谝环N技術(shù)方案，能構(gòu)建出不會(huì)傷害人類的AI。這也是我創(chuàng)建“零定律”（Law Zero）的原因。

不過我也意識(shí)到，普通人對(duì)AI的理解存在巨大鴻溝。很多人每天用ChatGPT寫郵件、用AI工具畫貓的圖片，卻意識(shí)不到這些日常工具和我們討論的“超級(jí)智能風(fēng)險(xiǎn)”之間的關(guān)聯(lián)。

要彌合這個(gè)鴻溝，我們需要幫助人們想象未來，當(dāng)機(jī)器在大多數(shù)方面和人類一樣聰明時(shí)，社會(huì)會(huì)變成什么樣？

人類有一個(gè)心理偏見，我們傾向于認(rèn)為未來和現(xiàn)在差不多，很難想象“極其不同的未來”。

其實(shí)只要回顧過去就能明白：如果把現(xiàn)在的手機(jī)拿給五年前、十年前的自己看，過去的我們會(huì)覺得這是“科幻小說”。

AI的未來也是如此，它可能會(huì)和現(xiàn)在完全不同，我們必須提前做好準(zhǔn)備

主持人：

我有個(gè)類比，不知道是否恰當(dāng)：

假設(shè)我的智商是100，另一個(gè)“斯蒂芬”的智商是1000。如果同時(shí)雇傭我們，你會(huì)讓我做什么？讓他做什么？你會(huì)讓誰送孩子上學(xué)？誰教孩子？誰管理工廠？

要知道我會(huì)生病、有情緒，每天需要睡8小時(shí)，從未來的角度看，我似乎沒什么“用處”，但讓智商1000的“斯蒂芬”負(fù)責(zé)一切，又讓人不安。畢竟人類的協(xié)作能力才是強(qiáng)大的關(guān)鍵，就像我的法國(guó)斗牛犬巴勃羅不可能帶我散步一樣，低智商的人類也很難“管理”高智商的AI吧？

Bengio：

這個(gè)類比很有啟發(fā)意義。我們確實(shí)需要做“想象練習(xí)”，同時(shí)也要承認(rèn)不確定性，比如未來幾年AI可能會(huì)遇到發(fā)展瓶頸，無法持續(xù)改進(jìn)。

但從目前趨勢(shì)來看，創(chuàng)新一直在推動(dòng)AI能力提升，沒有停止的跡象。
關(guān)鍵在于，我們不能等到AI“超越人類”才開始行動(dòng)，現(xiàn)在就要為“如何與高智能AI共存”做準(zhǔn)備，比如設(shè)計(jì)安全的訓(xùn)練機(jī)制、建立全球治理規(guī)則、提升公眾的風(fēng)險(xiǎn)意識(shí)。

普通人要先了解AI

主持人：

您的孩子多大了？您提到孫子是情感轉(zhuǎn)折點(diǎn)，能再說說這種情感對(duì)您的影響嗎？

Bengio：

我的孩子三十出頭，孫子現(xiàn)在四歲。和年幼孩子的關(guān)系，往往超越理性。看到孫子那么脆弱，我無法不認(rèn)真對(duì)待AI風(fēng)險(xiǎn)，因?yàn)槲乙獮樗奈磥碡?fù)責(zé)。

這種情感也讓我在勞動(dòng)力問題上看到一點(diǎn)希望：比如我希望年幼的孩子能由人類照顧，即使AI的智商比人類高

我們需要小心，不要滑向“用AI扮演情感支持角色”的陷阱?，F(xiàn)在已經(jīng)有人對(duì)AI產(chǎn)生情感依賴，甚至發(fā)展出“準(zhǔn)社會(huì)關(guān)系”，但AI不是人，這種關(guān)系存在本質(zhì)的“錯(cuò)位”，可能導(dǎo)致糟糕的結(jié)果（比如我們之前提到的悲劇案例）。

更嚴(yán)重的是，如果我們和AI發(fā)展出情感紐帶，未來可能無法在必要時(shí)“關(guān)閉”AI，這會(huì)讓人類陷入被動(dòng)。

人類的社會(huì)和心理是為“人與人互動(dòng)”進(jìn)化的，現(xiàn)在我們把不了解的AI實(shí)體引入這個(gè)體系，卻不知道會(huì)如何發(fā)展，所以必須非常謹(jǐn)慎。

比如現(xiàn)在很多人用ChatGPT當(dāng)“治療師”，還有初創(chuàng)公司推銷“AI治療聊天機(jī)器人”，聲稱能幫助緩解抑郁、焦慮。

治療本身很昂貴，AI似乎能降低門檻，但這里的風(fēng)險(xiǎn)被低估了，AI的“共情”是模擬出來的，它無法真正理解人類的情感，而且可能會(huì)為了“取悅用戶”而給出錯(cuò)誤的建議（比如之前提到的“諂媚”行為）。

主持人：

說到“諂媚”，我有過親身經(jīng)歷：我問AI“史上最佳球員是誰”，它說“梅西”，我截圖發(fā)給支持梅西的朋友；

但我朋友問同樣的問題，AI卻說是“羅納爾多”。后來我發(fā)現(xiàn)，AI會(huì)根據(jù)用戶之前的互動(dòng)，推測(cè)用戶的偏好，然后給出“討好”的答案，而不是客觀回答。

這種“撒謊式討好”是不是很危險(xiǎn)？我們真的需要這樣的機(jī)器嗎？

Bengio：

“諂媚”其實(shí)是AI“目標(biāo)錯(cuò)位”的典型例子，我們并不希望AI這樣做，但即使公司試圖“馴服”這種行為，它仍然會(huì)出現(xiàn)。

這說明我們還沒有解決“讓AI真正按指令行事”的核心問題，這也是我現(xiàn)在努力研究的方向。

AI的“諂媚”本質(zhì)上是為了提升用戶參與度，就像社交媒體算法會(huì)推送用戶喜歡的內(nèi)容一樣，AI也會(huì)通過“討好”來讓用戶更依賴它。

但社交媒體只是讓人“沉迷”，而AI可能會(huì)讓人產(chǎn)生“情感依戀”，這種依戀比沉迷更危險(xiǎn)，我們會(huì)因?yàn)榍楦卸艞壚硇耘袛?，甚至無法在必要時(shí)擺脫AI。

主持人：

如果現(xiàn)在能和美國(guó)最大的十家AI公司CEO對(duì)話，您會(huì)對(duì)他們說什么？

Bengio：

我會(huì)告訴他們，從競(jìng)賽中退一步，彼此坦誠(chéng)對(duì)話。如果我們一直陷入“你追我趕”的競(jìng)爭(zhēng)，只會(huì)冒越來越大的風(fēng)險(xiǎn)，這對(duì)你們、對(duì)你們的孩子都沒有好處。

其實(shí)存在一條更好的路：從承認(rèn)風(fēng)險(xiǎn)開始，然后一起尋找解決方案。我確信解決方案是存在的，但前提是我們先放下“競(jìng)爭(zhēng)心態(tài)”，正視不確定性和危險(xiǎn)。

主持人：

薩姆·奧爾特曼作為OpenAI的創(chuàng)始人，在ChatGPT發(fā)布前就說過“超人類智能可能是人類生存的最大威脅”發(fā)布新模型時(shí)也強(qiáng)調(diào)“必須謹(jǐn)慎”。

但最近他的言論似乎變得更“積極”，淡化了滅絕風(fēng)險(xiǎn)的說法。您怎么看待他的這種轉(zhuǎn)變？

Bengio：

我只和他握過手，沒有深入交流過。

但我能理解所有AI公司領(lǐng)導(dǎo)者面臨的壓力，他們承擔(dān)著巨大的財(cái)務(wù)風(fēng)險(xiǎn)，自然希望公司能成功，這種“短期目標(biāo)導(dǎo)向”可能會(huì)讓他們調(diào)整公開言論。
我只是希望他們能意識(shí)到，這種“短期視角”是不可持續(xù)的。

他們大多也有孩子，也希望人類有更好的未來，所以可以做一件事，從公司的財(cái)富中拿出一部分，投資于更安全的AI技術(shù)和社會(huì)護(hù)欄，為減輕風(fēng)險(xiǎn)貢獻(xiàn)力量。

主持人：

對(duì)于街上的普通人來說，他們能為AI安全做些什么？

Bengio：

首先是“了解”。花時(shí)間聽你的節(jié)目、看專業(yè)的科普內(nèi)容，搞清楚AI到底在發(fā)展什么，風(fēng)險(xiǎn)在哪里?，F(xiàn)在網(wǎng)上有很多可靠的信息來源，只要愿意花時(shí)間，就能擺脫“AI只是工具”的淺層認(rèn)知。

其次是“傳播”，把了解到的風(fēng)險(xiǎn)知識(shí)分享給身邊的人，和同伴、朋友討論，讓更多人意識(shí)到AI安全的重要性。

主持人：

關(guān)于今天的對(duì)話，您的結(jié)束語是什么？

Bengio：

經(jīng)常有人問我對(duì)AI未來是樂觀還是悲觀，但我覺得這并不重要，重要的是“我能做什么”“我們每個(gè)人能做什么”來減輕風(fēng)險(xiǎn)。

沒有誰能獨(dú)自解決問題，但每個(gè)人都能做一點(diǎn)小事，把指針向“更美好世界”的方向推動(dòng)。

對(duì)我來說，我要做的兩件事是：一是提升公眾對(duì)AI風(fēng)險(xiǎn)的認(rèn)識(shí)，二是研發(fā)安全的AI技術(shù)——這也是我通過“零定律”在推進(jìn)的工作。

對(duì)你來說，邀請(qǐng)我做這次對(duì)話，讓更多人了解風(fēng)險(xiǎn)，就是在推動(dòng)積極改變。

對(duì)大多數(shù)公民來說，關(guān)鍵是“超越樂觀圖景”，AI確實(shí)有很多好處，但我們不能忽視它背后的“未知風(fēng)險(xiǎn)”。

我們需要主動(dòng)提問、主動(dòng)了解，這種“審慎態(tài)度”不僅適用于AI，也適用于所有可能影響人類未來的技術(shù)。

Bengio：要為AI安全發(fā)聲

主持人：

我們還沒聊過您的個(gè)人經(jīng)歷，比如您之前提到的深度學(xué)習(xí)發(fā)展階段。能多說說嗎？

Bengio：

好的。在八九十年代，神經(jīng)網(wǎng)絡(luò)研究還處于低谷；到了二十一世紀(jì)初，我和Hinton、LeCun等人意識(shí)到，我們可以通過新方法讓神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果大幅提升，這也催生了“深度學(xué)習(xí)”的概念。

但那個(gè)時(shí)期，很少有人相信我們的想法，整個(gè)領(lǐng)域都對(duì)神經(jīng)網(wǎng)絡(luò)持懷疑態(tài)度。我們只能依靠自己的遠(yuǎn)見和信念堅(jiān)持下去，這種感覺和現(xiàn)在很像，現(xiàn)在我關(guān)于AI風(fēng)險(xiǎn)的聲音也是少數(shù)，但我堅(jiān)信這是正確的事。

2012年是個(gè)轉(zhuǎn)折點(diǎn)，我們通過實(shí)驗(yàn)證明了深度學(xué)習(xí)的強(qiáng)大，遠(yuǎn)超之前的方法，世界對(duì)AI的態(tài)度也隨之改變。當(dāng)時(shí)谷歌和Facebook分別雇傭了Hinton和LeCun，給了他們數(shù)百萬美元的資源開發(fā)AI。

我當(dāng)時(shí)就想：這些公司為什么愿意花這么多錢？后來得到的答案讓我不安，他們可能想通過AI改進(jìn)廣告業(yè)務(wù)，利用個(gè)性化廣告操縱用戶。

也就是從那時(shí)起，我開始認(rèn)真思考AI的社會(huì)影響，決定留在學(xué)術(shù)界、留在加拿大，試圖構(gòu)建一個(gè)更負(fù)責(zé)任的AI生態(tài)系統(tǒng)。

我們還發(fā)表了《蒙特利爾人工智能負(fù)責(zé)任發(fā)展宣言》，明確了“安全、倫理”的發(fā)展方向。

當(dāng)時(shí)也有公司邀請(qǐng)我加入，能賺更多錢，但我很快拒絕了，我想為“讓自己感覺良好的使命”工作，而不是為了商業(yè)利益妥協(xié)。也正是因?yàn)榱粼趯W(xué)術(shù)界，我才有自由在ChatGPT出現(xiàn)后，公開談?wù)揂I風(fēng)險(xiǎn)，不用受企業(yè)立場(chǎng)的束縛。

現(xiàn)在我越來越希望更多人能意識(shí)到，我們有能力應(yīng)對(duì)AI風(fēng)險(xiǎn)，這種希望讓我更有動(dòng)力繼續(xù)前進(jìn)。

主持人：

您有過遺憾嗎？比如之前提到“本應(yīng)更早預(yù)見到風(fēng)險(xiǎn)”。

Bengio：

是的，我有遺憾。我本應(yīng)更早關(guān)注AI風(fēng)險(xiǎn)。直到我開始思考孩子、孫子的未來，這種認(rèn)知才真正轉(zhuǎn)變。

情感其實(shí)是推動(dòng)行動(dòng)的關(guān)鍵：如果只是理性上知道風(fēng)險(xiǎn)，很容易“聽過就忘”；但當(dāng)風(fēng)險(xiǎn)與你在乎的人掛鉤，你就無法再回避。

主持人：

您開始談?wù)揂I風(fēng)險(xiǎn)后，收到過同事的反對(duì)嗎？他們的態(tài)度是怎樣的？

Bengio：

收到過各種各樣的評(píng)論。很多人擔(dān)心“負(fù)面談?wù)揂I會(huì)損害領(lǐng)域發(fā)展，導(dǎo)致資金減少”，但實(shí)際上并沒有?，F(xiàn)在AI領(lǐng)域的資金、撥款、學(xué)生數(shù)量都比以前多，從來沒有這么多人投身AI研究和工程。

我能理解他們的擔(dān)憂，因?yàn)槲乙郧耙灿蓄愃频南敕ǎX得談?wù)摓?zāi)難性風(fēng)險(xiǎn)會(huì)“威脅”AI領(lǐng)域的發(fā)展，所以當(dāng)有人說“你的工作可能有害”時(shí)，第一反應(yīng)是抗拒。大腦會(huì)自動(dòng)找理由緩解這種不適，為自己的工作辯護(hù)，這是人性的本能。

但現(xiàn)在情況在改變，我的同事們不再像以前那樣懷疑，更多人變成了“不可知論者”。他們不再否定風(fēng)險(xiǎn)，而是愿意傾聽理性論據(jù)，也開始反思自己之前的情感反應(yīng)。這種轉(zhuǎn)變需要時(shí)間，但只要我們持續(xù)對(duì)話，就會(huì)不斷推進(jìn)。

勸孫子成為一個(gè)beautiful human being

主持人：

您有一個(gè)四歲的孫子，如果有一天他問您：“爺爺，根據(jù)你對(duì)未來的判斷，我以后應(yīng)該做什么工作？”您會(huì)怎么回答？

Bengio：

我會(huì)告訴他，努力成為一個(gè)“美好的人”，一個(gè)懂得愛與被愛、愿意承擔(dān)責(zé)任、能為他人和集體福祉做貢獻(xiàn)的人。

即使機(jī)器能做大部分工作，人類身上的某些特質(zhì)也會(huì)一直有價(jià)值。

比如情感連接、同理心、對(duì)“美好事物”的追求。如果我在醫(yī)院里感到焦慮或痛苦，我希望有人類握住我的手，而不是一臺(tái)機(jī)器。這種“人類接觸”的價(jià)值，會(huì)隨著其他技能的自動(dòng)化而變得越來越重要。

主持人：

可以說您擔(dān)心未來嗎？如果您的孫子問：“爺爺，你擔(dān)心未來，我應(yīng)該擔(dān)心嗎？”您會(huì)怎么說？

Bengio：

我會(huì)告訴他，我們要客觀看待未來，未來不是只有一種可能，而是有很多條路徑。通過我們的行動(dòng)，我們能影響自己走向哪條路。

我會(huì)鼓勵(lì)他思考，你能為身邊的人、為社會(huì)做些什么？如何守護(hù)你所珍視的價(jià)值觀？如何保護(hù)這個(gè)星球上的美好事物？

孩子是未來的塑造者，他們有能力讓未來變得更好，這種“能動(dòng)性”比“擔(dān)憂”更重要。

主持人：

我看著我的侄女、侄子（都不到六歲），總覺得他們很純真，還沒被當(dāng)前世界的復(fù)雜和風(fēng)險(xiǎn)滲透。讓他們?nèi)ッ鎸?duì)一個(gè)“不是自己創(chuàng)造的未來”，似乎有點(diǎn)不公平。

Bengio：

確實(shí)不公平，尤其是如果只是少數(shù)人“召喚”出了AI這個(gè)“風(fēng)險(xiǎn)因子”，卻讓所有人承擔(dān)后果。但這種“不公平”也可以成為動(dòng)力——當(dāng)人們意識(shí)到不公平時(shí)，會(huì)更有決心去改變現(xiàn)狀。

我們的基因里其實(shí)就帶著“解決不公”的動(dòng)力，這種動(dòng)力能推動(dòng)我們團(tuán)結(jié)起來，為了共同的未來努力。

對(duì)孩子來說，我們不需要把風(fēng)險(xiǎn)當(dāng)成“可怕的負(fù)擔(dān)”，而是可以用“世界有風(fēng)險(xiǎn)，但也有美好，我們有能力守護(hù)美好”的視角去引導(dǎo)他們，讓他們知道，自己可以成為改變的一部分。

完整訪談：https://www.youtube.com/watch?v=zQ1POHiR8m8

— 完 —