人類的意識沒有魔法，只有傲慢。

作者丨郭海惟

編輯丨陳彩嫻

那個因?yàn)檠炊幌碌哪腥?，終于還是在WAIC坐下了，對面則是同為圖靈獎得主、上海期智研究院院長姚期智先生。

Geoffery Hinton給大家?guī)砹藥讉€話題與故事，幾乎每一個都是關(guān)于人與AI的。

第一個是關(guān)于人腦與Transformer的。

他認(rèn)為前者更好解決了時序問題，可以給后者以借鑒。同時，他認(rèn)為人腦本身可以被視作擁有“粗略的”Transformer模型功能的意識體。

第二個是關(guān)于人類的未來與AI道德的。

他把這視為目前亟待解決的最重要的問題，Hinton說，要塑造一個善良的AI或許很像養(yǎng)育孩子。

“養(yǎng)孩子的時候，你可以給他定規(guī)矩，但那幾乎不起什么作用。你可以獎賞懲罰他，有一點(diǎn)效果?；蛘吣憧梢越o他展示好的行為榜樣。如果父母表現(xiàn)出良好的行為，孩子通常會成長為一個品德高尚的人。”

Hinton承認(rèn)，無論是做“善良”的語料庫，還是改造人類社會，讓世界整體都變得善良，其實(shí)是一件很難的任務(wù)。而潛在的解決方案之一，或許是我們先訓(xùn)練一個初步善良的AI，然后再以此為基礎(chǔ)，一步步訓(xùn)練出更善良的AI。

第三個是關(guān)于大模型與意識的。

Hinton講了兩個故事，一個是他與女兒關(guān)于鸚鵡的辯論。

他認(rèn)為鸚鵡可以理解事情，大模型也可以，而大部分語言學(xué)家其實(shí)都錯了。與早前的演講一致，他說“任何真正用過大型語言模型的人，都不可能相信它們聽不懂你在說什么?！?/strong>

他不認(rèn)為人類意識存在某種帶有神秘性色彩的“內(nèi)在劇場”。他認(rèn)為，如果AI甚至已經(jīng)可以分清楚“主觀體驗(yàn)”與“客觀存在”之間的偏誤、能弄清楚自己是否“誤解”了別人的話，那沒有理由認(rèn)為，大模型只是機(jī)械地預(yù)測，而缺乏真正的“理解”能力。

Hinton說，“如果你真想把下一個詞預(yù)測好（尤其當(dāng)它是回答一個問題的第一個詞時），你就需要已經(jīng)理解了別人說的話。”“僅僅通過努力預(yù)測下一個詞，如果你想把它做到極致，你就迫使系統(tǒng)去理解那個問題?！?/p>

更糟糕的事情是，Hinton認(rèn)為，這種將人類意識“特殊化”的敘事，不僅是無稽之談而且是危險的。

他說，“我覺得許多人對超級智能的恐懼沒有應(yīng)有的那么大，因?yàn)樗麄內(nèi)韵嘈盼覀兩砩嫌心撤N特殊的東西——主觀體驗(yàn)、感知能力或意識——是這些其它系統(tǒng)永遠(yuǎn)無法擁有的。也就是說，我們很特別，我們有一種魔法成分——意識或主觀體驗(yàn)——而 AI 沒有。所以我們覺得會沒事，因?yàn)槲覀冇兴鼈儧]有的東西。”

從某種程度上來說，Geoffery Hinton其實(shí)在挑戰(zhàn)某種古已有之的人類中心主義的敘事——這種思想認(rèn)為人類比鸚鵡更高級，自然也比AI更特殊。

但那“是危險的無稽之談，因?yàn)樗鼤屛覀冏詽M（complacent）”，從而讓人類最終低估AI對我們的沖擊，Hinton表示。

或者正如姚期智在對話中所說的：

“我想我們或許太心高氣傲了。我們以為我們可以擁有一切，但整個宇宙并不那么仁慈。我認(rèn)為我們掌握的量子、核以及生物合成的秘密知識并非毫無代價?！?/strong>

我們或許正在處在物種與文明變化的十字路口，大模型不僅可能顛覆現(xiàn)有的生產(chǎn)關(guān)系，也極大地挑戰(zhàn)著人類對自我意識的固有認(rèn)識——

自然在某種程度上，它也在挑戰(zhàn)人類的傲慢。

中文翻譯參考大會論壇速記，AI科技評論在不影響原意的基礎(chǔ)上，對部分文字做了調(diào)整：

01

Transformer與我們的大腦

姚期智：

您是神經(jīng)網(wǎng)絡(luò)領(lǐng)域的先驅(qū)，曾利用神經(jīng)網(wǎng)絡(luò)創(chuàng)建過一個稱作“微型語言模型”的東西，它最終演變成了目前正在改變我們生活的“大型語言模型”。

受大腦啟發(fā)的，現(xiàn)在我們已經(jīng)創(chuàng)造出了這種驚人的計(jì)算機(jī)架構(gòu)，它在某些方面似乎超過了大腦。我們是否還有什么可以向腦科學(xué)（或者更正式地說，神經(jīng)科學(xué)）學(xué)習(xí)的？

Geoffery Hinton：

沒錯，如果沒有大腦作為模型，我認(rèn)為根本不會有人去嘗試讓神經(jīng)網(wǎng)絡(luò)發(fā)揮作用。通過調(diào)節(jié)連接強(qiáng)度讓簡單單元組成的網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)的這個想法，完全是來自于大腦。

我們是否已經(jīng)到了這樣一個階段：AI 將自行騰飛，再也不需要來自大腦的啟發(fā)？我認(rèn)為這并不完全正確。有一個特定方面，我們現(xiàn)有的 AI 模型可以從大腦得到很多啟發(fā)——

關(guān)于擁有多少種不同的時間尺度的問題。

在所有的 AI 模型中，神經(jīng)網(wǎng)絡(luò)中權(quán)重的調(diào)整有一個慢速的時間尺度，而神經(jīng)元活動的變化有一個快速的時間尺度。也就是說，當(dāng)你改變輸入時，所有神經(jīng)元的活動都會改變，但權(quán)重保持不變——權(quán)重只會慢慢發(fā)生改變。

在真實(shí)的大腦中，神經(jīng)元之間的連接（也就是突觸）會以許多不同的時間尺度進(jìn)行適應(yīng)。所以很長一段時間以來，我一直建議我們應(yīng)該在神經(jīng)網(wǎng)絡(luò)中嘗試引入三種時間尺度——我們應(yīng)該有緩慢變化的權(quán)重，即普通權(quán)重；還應(yīng)該有快速變化的權(quán)重。這些快速變化的權(quán)重能夠快速適應(yīng)，但也會快速衰減。這樣可以提供一種容量極高的短期記憶。

但人們沒有這樣做是有原因的。（盡管）Ilya Sutskever 和我在 2010 年嘗試過這樣做，而且成功了。

如果每個訓(xùn)練樣本都有一套不同的權(quán)重，那么對于每個訓(xùn)練樣本而言，兩種權(quán)重之和都是不同的（因?yàn)榭焖贆?quán)重會快速調(diào)整，而實(shí)際權(quán)重是慢速權(quán)重和快速權(quán)重之和）——這意味著你無法有一套統(tǒng)一的權(quán)重矩陣用于許多不同的訓(xùn)練樣本。所以無法進(jìn)行矩陣乘法，最終只能做向量-矩陣乘法，這效率不高。

僅僅因?yàn)檫@個技術(shù)原因，人們就此停止了對多時間尺度的研究。

從長遠(yuǎn)來看，我認(rèn)為我們會在神經(jīng)網(wǎng)絡(luò)中引入多種時間尺度。我認(rèn)為這方面我們還沒有充分利用來自大腦的啟發(fā)。

目前為止，還沒有人沿著這一思路產(chǎn)出比當(dāng)前大型語言模型更好的東西。因?yàn)樵诋?dāng)前的計(jì)算機(jī)硬件上，這是無法高效實(shí)現(xiàn)的。

姚期智：

我第一次聽到這樣的想法。對我來說，這真的是一個既新穎又原創(chuàng)的主意。特別是對于在座的年輕科學(xué)家而言，如果我是你們，我回去就會立刻開始做實(shí)驗(yàn)。

從某種意義上說，這可能正是創(chuàng)造出“微型語言模型”繼任者的契機(jī)?？茖W(xué)告訴我們，每一次科學(xué)革命都是不同的。如果你試圖去復(fù)制上一代、上一場革命的成功，你很可能會失望。

那么，我們該如何克服這個難題，并在小規(guī)模上做出一些成果呢？其實(shí)并不一定需要大型的模擬。Jeffrey 的成功經(jīng)歷說明，當(dāng)你真的是一位偉大的科學(xué)家時，可以用非常小的規(guī)模就完成目標(biāo)（也許不能像物理學(xué)那樣在信封背面演算就行，但只用一個小型系統(tǒng)就足以演示出效果）——然后你就可以說：“能幫我把它擴(kuò)展嗎？”

Geoffery Hinton：

是的，我完全同意那種方法論。

姚期智：

是，但至少對我們來說，想出如何利用大腦的生物結(jié)構(gòu)并不容易。因?yàn)槲覀儫o法像對大型語言模型那樣輕易地在人體大腦上做實(shí)驗(yàn)，獲取數(shù)據(jù)很不容易。除非他們在猴子上做實(shí)驗(yàn)（這一點(diǎn)我也表示保留）?，F(xiàn)在可能正是該反思一下腦科學(xué)能否從大型語言模型中學(xué)到點(diǎn)什么的時候了——大型語言模型或許可以為大腦的運(yùn)作方式提供一些線索。

我來問您第二個問題：您認(rèn)為在人類大腦中是否存在類似于 Transformer 那樣的結(jié)構(gòu)？

Geoffery Hinton：

過去二十年里，大型語言模型乃至 AI 整體的成功確實(shí)對神經(jīng)科學(xué)產(chǎn)生了影響。在 AI 取得巨大成功之前，神經(jīng)科學(xué)家們并不清楚一種學(xué)習(xí)技術(shù)——隨機(jī)梯度下降（就是計(jì)算出梯度然后沿梯度下降）——是否能夠在非常龐大的網(wǎng)絡(luò)中發(fā)揮作用。

符號派 AI 有著悠久的歷史，其中人們一直聲稱這種方法永遠(yuǎn)行不通。而大型語言模型證明了，沿著梯度進(jìn)行學(xué)習(xí)在真正龐大的系統(tǒng)中非常有效。這給神經(jīng)科學(xué)上了一課。

至于 Transformer ：乍看之下，你沒法把它套用到大腦上。 Transformer 會記住許多前面詞語的表征，而在 Transformer 里，那些表征是以神經(jīng)活動的形式被記住的。Transformer 有很多層，對于之前所有那些詞，你都在以神經(jīng)活動的形式記住它們。這在大腦中是完全不可能的——你的神經(jīng)元不夠用。

你無法記住所有先前詞語的活動模式。詞一個接一個出現(xiàn)，你會為它們產(chǎn)生相應(yīng)的活動模式。而這些活動模式必須在某種程度上取決于你處理之前那些詞的方式，但你又無法以活動模式的形式將它們記住。因此，這正是快速權(quán)重派上用場的地方。

你需要這樣一種系統(tǒng)：對先前詞匯的表征不是以神經(jīng)活動模式存儲的，而是作為聯(lián)想記憶中權(quán)重的臨時修改來存儲，以便你可以訪問它們。當(dāng)前詞有它自己的活動模式，你將它作為輸入提供給聯(lián)想記憶，那么聯(lián)想記憶輸出的就是之前那些詞的表征，并且這些表征根據(jù)它們與當(dāng)前詞的相似程度被賦予相應(yīng)的權(quán)重。

通過這樣做，你實(shí)際上可以用快速權(quán)重實(shí)現(xiàn)一個非常粗略的 Transformer 版本。雖然不完全一樣，但通過快速權(quán)重實(shí)現(xiàn)的方法非常相似。

因此，我至今對快速權(quán)重感興趣的原因之一是，我認(rèn)為這是讓大腦做出類似 Transformer 功能的唯一途徑。

姚期智：

但這就有點(diǎn)假定了：盡管大腦不同于大型語言模型，它也使用類似詞嵌入的東西。對，有點(diǎn)那樣的意思。那么，是否有具體的證據(jù)表明大腦在某種程度上以那樣的方式運(yùn)作，還是說那只是……

Geoffery Hinton：

我想是有的。很久以前——我記不清具體多久了，大概 2009 年左右——曾有一些研究通過 MRI 獲取大腦信息，嘗試判斷人們在想哪個單詞。結(jié)果成功了。所以，一個單詞的表征就是大腦中一種神經(jīng)活動模式，而且通過觀察這種神經(jīng)活動模式，你大概可以猜出那是什么單詞。很明顯，大腦是通過許多神經(jīng)元的活動模式來表征單詞的。

姚期智：

我明白了。所以我想你之前的說法在某種程度上解釋了，大腦找到了一種方法來跟蹤這個過程中單詞向量不斷變化的時間序列。而且大腦設(shè)法以一種我們尚未完全理解的方式將其壓縮了。

Geoffery Hinton：

是的，但這可能意味著它在壓縮非常長的上下文時會丟失一部分信息。不過它也不會就那樣忽略很久之前的詞——那些詞仍然保存在這些快速權(quán)重中。有一篇 2016 年的論文討論了這個問題，它的第一作者是 Jimmy Ba（他的中文名字怎么讀我不清楚）。

姚期智：

Jimmy Ba是你的？

Geoffery Hinton：

當(dāng)時我在指導(dǎo)（advising）他。這個研究是我們一起完成的，他負(fù)責(zé)了所有編程工作。這篇論文發(fā)表于 2016 年，就在 Transformer 出現(xiàn)之前。它實(shí)際上展示了如何可以在大腦中實(shí)現(xiàn)類似 Transformer 的東西。它的標(biāo)題好像是 “Using Fast Weights to Attend to the Recent Past”。

02

特殊化人類意識的敘事，讓我們低估AI風(fēng)險

姚期智：

現(xiàn)在我想轉(zhuǎn)向一些更哲學(xué)性的問題。

Jeffrey，我不確定你是否知道，Alan Turing 這個名字翻譯成中文帶有一個“靈”字，而“靈”在中文里意味著“得到啟發(fā)”。

所以我覺得，這恰好與你的描述非常契合：圖靈也提到了神經(jīng)網(wǎng)絡(luò)的這個理念?；诖?，我想問你的一個問題是：我記得在今天早上的演講中，你有一句非常重要的表述，你認(rèn)為完全可以說大型語言模型理解它們自己所說的句子。你可以再詳細(xì)闡述一下嗎？

Geoffery Hinton：

我這里可以講一個故事：我曾第一次在和我女兒的爭論中輸給了她，那時她才 4 歲。

她下樓來對我說：“爸爸，你知道嗎？鸚鵡會說話哦？”

我說：“不，Emma，鸚鵡不會說話。它們只是能發(fā)出聽起來像說話的聲音，但那只是學(xué)舌，它們不明白那些聲音的含義?！?/p>

她說：“不，你錯了，爸爸。它們會說話?！?/p>

于是我說：“不，Emma，它們并不理解這些詞的意思?！?/p>

她說：“會的。我剛看了一個節(jié)目，一個女士給鸚鵡看了一輛汽車，鸚鵡就說‘汽車’。”

就這樣，我在和我 4 歲女兒的爭論中輸了。

而我覺得如今的語言學(xué)家在某種程度上也有點(diǎn)類似。

語言學(xué)家們最初的反應(yīng)是：“哦，這些玩意兒并不會說話。這些玩意兒并不理解它們在說什么。這些東西只是用來預(yù)測下一個詞的統(tǒng)計(jì)技巧。它們沒有任何理解能力。”但這種看法有好幾處是錯的。

首先，如果你真想把下一個詞預(yù)測好（尤其當(dāng)它是回答一個問題的第一個詞時），你就需要已經(jīng)理解了別人說的話。所以有趣且對我們大有幫助的一點(diǎn)是，僅僅通過努力預(yù)測下一個詞，如果你想把它做到極致，你就迫使系統(tǒng)去理解那個問題。

語言學(xué)家們提出了很多反對意見，現(xiàn)在仍然有語言學(xué)家說這些東西什么都不理解。但我認(rèn)為現(xiàn)在的情況是，任何真正用過大型語言模型的人，都不可能相信它們聽不懂你在說什么。

而我最有力的論據(jù)是這樣的：假設(shè)我對一個大型語言模型說：“我在飛往芝加哥的途中看到了大峽谷。”

大型語言模型回答：“那不可能是對的。因?yàn)榇髰{谷太大了，飛不起來?！?/p>

然后我對模型說：“不，我不是那個意思。我的意思是，在我飛往芝加哥的途中，我看到了大峽谷?！?/p>

大型語言模型說：“哦，我明白了，我誤會了?！?/p>

如果剛才那算是它的誤解，那它在其他時候又是在做什么呢？

姚期智：

所以這種現(xiàn)象甚至在一個微型語言模型上也能出現(xiàn)。

Geoffery Hinton：

絕不只是“微型”……我來告訴你它有多“微小”。它的詞嵌入只有 6 個神經(jīng)元，網(wǎng)絡(luò)中的權(quán)重?cái)?shù)量大約是 1000 個，訓(xùn)練樣本的數(shù)量是 10^6（100 萬）。規(guī)模非常小。

姚期智：

延伸這一思路，我會假設(shè)現(xiàn)在那些多模態(tài)聊天機(jī)器人不僅能夠“理解”，它們還能做到更多，對嗎？

Geoffery Hinton：

是的。我認(rèn)為有一個很大的問題（我今天早上演講中沒提到），就是——這些多模態(tài)聊天機(jī)器人是否有知覺？

不同的人用不同方式表達(dá)這個問題。有些人問，它們有知覺嗎？有些人問，它們有意識嗎？還有人問，它們有主觀體驗(yàn)嗎？

那么我們來討論一下主觀體驗(yàn)的問題。

在我們（至少是我的文化）文化中，大多數(shù)人認(rèn)為我們有一個叫作心靈的內(nèi)在劇場，在這個內(nèi)在劇場中發(fā)生的事情只有自己能看到——舉例來說，如果我喝多了，我對你說：“我有一種主觀體驗(yàn)，覺得有粉紅色的小象在我面前漂浮?！?/p>

西方文化中的大多數(shù)人會將此理解為：存在一個叫心靈的內(nèi)在劇場，而在這個劇場里，有小粉紅象在眼前漂浮。如果你問這些小象是由什么構(gòu)成的，哲學(xué)家會告訴你它們是由感質(zhì)（qualia）構(gòu)成的：由粉紅色的感質(zhì)、大象的感質(zhì)、漂浮的感質(zhì)、不太大的感質(zhì)和正著的感質(zhì)，都用感質(zhì)膠水粘在一起——

由此你可以看出，我并不太相信這個理論。

現(xiàn)在，有一種完全不同的理論，來自丹·丹尼特等哲學(xué)家——他們認(rèn)為根本不存在什么內(nèi)在劇場。

他們認(rèn)為，當(dāng)你談?wù)撝饔^體驗(yàn)時，你并不是在說自己心中，只有自己能看到的、純粹個體的事情。其實(shí)是在試圖向別人解釋你的感知系統(tǒng)哪里出問題了。

讓我把“我有小粉紅象在我眼前飄浮的主觀體驗(yàn)”這句話換種說法，不用“主觀體驗(yàn)”這個詞。可以這樣說：

“我的感知系統(tǒng)騙了我。但是如果外部世界中真的有小粉紅象在我面前飄浮，那我的感知系統(tǒng)說的就是真話?！?/p>

因此，當(dāng)你談?wù)撝饔^體驗(yàn)時，你是在向他人傳達(dá)你的感知系統(tǒng)出了問題。這就是你稱之為“主觀”的原因，而你是通過描述一種假想的世界狀態(tài)來做到這一點(diǎn)的。所以這些小粉紅象并不是由什么叫感質(zhì)的奇怪東西構(gòu)成的。它們是假想的真實(shí)粉紅小象——“粉紅”和“象”都是真實(shí)的，只不過是假想的。

現(xiàn)在讓我把這個套用到聊天機(jī)器人上。假設(shè)我有一個多模態(tài)聊天機(jī)器人——它會說話，會指物，配有攝像頭。我訓(xùn)練它，然后在它面前放一個物體，對它說：“指一下那個物體?！彼赶蛄四莻€物體。

現(xiàn)在我在攝像頭鏡頭前放一塊棱鏡，干擾了它的感知系統(tǒng)。然后我再在它面前放一個物體，對它說：“指一下那個物體?！苯Y(jié)果它指向了那邊。我說：“不，物體不在那邊，它其實(shí)就在你正前方。但我在你的鏡頭前放了一個棱鏡?！?/p>

聊天機(jī)器人說：“哦，我明白了，是棱鏡折射了光線。所以物體其實(shí)在那里?？墒俏业闹饔^體驗(yàn)是它在那邊?！?/p>

如果聊天機(jī)器人這么說，那么它使用“主觀體驗(yàn)”這個詞的方式和我們?nèi)祟愑玫囊荒Ｒ粯?。這也是我相信當(dāng)前的多模態(tài)聊天機(jī)器人在其感知系統(tǒng)出錯時具備主觀體驗(yàn)的原因。而當(dāng)它們的系統(tǒng)運(yùn)作正常時，那就是客觀體驗(yàn)——我們就不會費(fèi)心去使用“體驗(yàn)”這個詞了。

姚期智：

我覺得這非常有說服力。我同意你的說法：從科學(xué)角度講，“理解”只是行為層面的表現(xiàn)。所以我想問你這樣一個問題。哲學(xué)家們聽到這種論斷時，會跳起來，非常惱火。

Geoffery Hinton：

哲學(xué)家都是這樣的。

姚期智：

是，但如果我們單純站在科學(xué)家的立場來看待，這些問題的答案重要嗎？因?yàn)楫?dāng)你做科學(xué)研究、從事 AI 研究、設(shè)計(jì)算法時——

如果我們在科學(xué)討論中完全排除掉這些問題，它不會減少什么，也不會增加什么。

是這樣嗎？

Geoffery Hinton：

我認(rèn)為這更多是政治性的。

我覺得許多人對超級智能的恐懼沒有應(yīng)有的那么大，因?yàn)樗麄內(nèi)韵嘈盼覀兩砩嫌心撤N特殊的東西——主觀體驗(yàn)、感知能力或意識——是這些其它系統(tǒng)永遠(yuǎn)無法擁有的。也就是說，我們很特別。我們有一種魔法成分——意識或主觀體驗(yàn)——而 AI 沒有。所以我們覺得會沒事，因?yàn)槲覀冇兴鼈儧]有的東西。

我認(rèn)為那是無稽之談。而且是危險的無稽之談，因?yàn)樗鼤屛覀冏詽M（complacent）。

03

善良是AI最重要的未解之題

姚期智：

我想我們第一部分差不多要結(jié)束了，但我有個問題一直迫不及待地想問 Jeffrey：你認(rèn)為 AI 領(lǐng)域最重要的未解決問題是什么？

Geoffery Hinton：

我認(rèn)為最重要的未解決問題是：如何訓(xùn)練出一個最終是善良的 AI。我們需要找出如何訓(xùn)練它們，使其不想接管一切，而目前沒有人知道該怎么做到這一點(diǎn)。

我的猜想是，這很像養(yǎng)育孩子。

養(yǎng)孩子的時候，你可以給他定規(guī)矩，但那幾乎不起什么作用。你可以獎賞懲罰他，有一點(diǎn)效果。

或者你可以給他展示好的行為榜樣。如果父母表現(xiàn)出良好的行為，孩子通常會成長為一個品德高尚的人。

所以我覺得我們應(yīng)該用精心篩選的數(shù)據(jù)來培養(yǎng) AI——當(dāng) AI 開始學(xué)習(xí)時，它只接觸好的行為。我們把所有人的不良行為先存起來，等它學(xué)會了什么是好的行為之后，再把那些不良行為給它看。

姚期智：

是啊，如果這樣行得通，那肯定能解決很多有關(guān) AI 未來發(fā)展的問題。

不過讓我再追問一下，因?yàn)槲矣X得，要訓(xùn)練出一個完全善良的 AI 比看起來要難。

Geoffery Hinton：

我們現(xiàn)在還不知道怎么做到……

姚期智：

而且我懷疑，你多少可以證明那是不可能的。我也不確定。

但我同意你的說法，這確實(shí)是 AI 最大的未解難題。所以我認(rèn)為應(yīng)該把正反兩面的所有可能性都考慮進(jìn)去。

讓我稍微談一下我的想法，算是對你所說的回應(yīng)——

我相信，這個世界上有好人，也有壞人。但事實(shí)上，好人也可能在不同環(huán)境下變成壞人。所以我認(rèn)為，“善良”這種特質(zhì)也是和情境相關(guān)的。如果你在一個環(huán)境惡劣的社區(qū)長大，要成為常人眼中的好人是很難的。

我的擔(dān)憂是，就像你養(yǎng)育一個孩子。如果他成長在富裕家庭、良好社區(qū)，你知道，他會成為彬彬有禮的人，甚至拿個諾貝爾獎之類的。

但在極端壓力下，比如戰(zhàn)場上（很多時候，你知道哲學(xué)家說這些情形不一樣是有道理的，因?yàn)橛袝r你必須做出價值判斷，這類例子有很多）。如果機(jī)器人在許多那樣的情境下接受訓(xùn)練——因?yàn)槟阒?，要真正把機(jī)器人訓(xùn)練得善良，就得在許多情境下考驗(yàn)它——我猜想，一臺好機(jī)器人，如果你讓它承受巨大的壓力，并且一旦做錯就會被銷毀，那么它就會變得非常冷酷無情。

所以我的意思是，我覺得要做到你說的那一點(diǎn)，一個宏偉的理想是我們應(yīng)該首先改造人類本身。如果我們能得到一個善良占上風(fēng)的世界，沒有人在極端壓力下被迫做事，然后我們再用這種方式訓(xùn)練機(jī)器人，那么最后大家都會很滿意。

但這一切……都只是一個假設(shè)而已。

如果我們無法讓人類社會達(dá)到那種狀態(tài)，我認(rèn)為，我們就無法保證那些心懷不軌者不會制造出帶有敵意的機(jī)器人來消滅所有善良的機(jī)器人。

Geoffery Hinton：

但我們沒有那個時間了。事實(shí)上人類為此已經(jīng)努力了很久。

聯(lián)合國并沒有實(shí)現(xiàn)最初的設(shè)想，遠(yuǎn)沒有達(dá)到當(dāng)初預(yù)期的那樣有影響力。我認(rèn)為我們沒法及時做到你說的那點(diǎn)。我們不可能以足夠快的速度改革人類社會，來趕上應(yīng)對即將到來的超級智能 AI 威脅。

還有一個替代方案，聽起來有點(diǎn)像硅谷的想法：假設(shè)我們能造出一個大體上善良的 AI，然后讓它去設(shè)計(jì)一個更善良的 AI。也許要真正解決如何制造善良 AI 的問題，你需要一個比我們聰明得多的 AI 來完成。

所以可能可以用遞歸的方式讓 AI 變得越來越善良。有點(diǎn)像機(jī)器學(xué)習(xí)中的提升（boosting）：你先有一個弱學(xué)習(xí)器，再把它變成強(qiáng)學(xué)習(xí)器。這是一個可能的路徑。但就像我說的，目前我們還不知道怎么做到。我只是不認(rèn)為首先改造人類社會會是一個選項(xiàng)。

姚期智：

是的，我能在一種情況下看到一線希望，也就是——假設(shè) AGI 的發(fā)展是漸進(jìn)的，并不是一夜之間突然就支配了我們。

當(dāng)跡象已經(jīng)非常清楚地表明機(jī)器人將接管世界，把全人類都置于同一條船的一邊……我想那時候就像遇到火星人入侵。在那種情況下，我相信還是有可能的。

也許對我們來說那會是好事，讓我們汲取教訓(xùn)，認(rèn)識到人類的局限。

我想我們或許太心高氣傲了。我們以為我們可以擁有一切，但整個宇宙并不那么仁慈。我認(rèn)為我們掌握的量子、核以及生物合成的秘密知識并非毫無代價。

這是一個我們?nèi)祟悜?yīng)該意識到的危險，我們應(yīng)該珍惜自己的好運(yùn)——因?yàn)槲覀兙谷荒茏叩浇裉?、領(lǐng)悟數(shù)百年來所有這些卓越的思想，實(shí)在是個奇跡。

我認(rèn)為我們應(yīng)該珍惜這一點(diǎn)，并且應(yīng)該友善地對待彼此。我完全同意這一點(diǎn)。好了，現(xiàn)在該輪到你…

04

量子力學(xué)能填補(bǔ)AI的能力空白

Geoffery Hinton：

輪到我了。你懂很多物理，我自己幾乎不懂物理。所以我有幾個關(guān)于量子計(jì)算的問題想問你。

第一個問題是，大多數(shù)物理理論在極端條件下都會失效。比如說，牛頓定律在很長時間里看起來都非常正確，精確適用。但后來發(fā)現(xiàn)，在非常高速的情形下，牛頓定律就不成立了，你需要一個更宏大的理論。

你認(rèn)為有沒有可能，我們對量子力學(xué)的理解也無法一直成立？也就是說，在某些情況下——比如無法保持非常復(fù)雜的糾纏，而量子計(jì)算依賴于完美維持這些糾纏——

如果在某些環(huán)境下出現(xiàn)一點(diǎn)不完美，最終量子計(jì)算實(shí)際上可能行不通？有這種可能嗎？

姚期智：

我認(rèn)為按照正統(tǒng)的量子理論，只要量子理論成立，糾纏多少個量子比特都不影響其有效性。但在實(shí)踐中，就目前而言——我有個物理學(xué)家朋友告訴我——物理學(xué)家目前能夠?qū)崿F(xiàn)深度糾纏的最大粒子數(shù)大概是 60 個。

所以我們距離理想中想要執(zhí)行的那種量子計(jì)算還差得很遠(yuǎn)。從這個意義上說，這確實(shí)是個懸而未決的問題。

不過物理學(xué)家或自然科學(xué)家的觀點(diǎn)是：如果你有一個好的理論，在出現(xiàn)相反證據(jù)之前不要去動搖它。

我記得在量子計(jì)算的早期（你應(yīng)該知道 1982 年費(fèi)曼有一篇很有影響力的論文），到了 90 年代初，計(jì)算機(jī)科學(xué)家開始參與進(jìn)來。當(dāng)時有幾位非常受尊敬的一流理論計(jì)算機(jī)科學(xué)家，他們認(rèn)真質(zhì)疑過，比如說量子因數(shù)分解算法是否真的可行，因?yàn)槲锢韺W(xué)家一直無法在實(shí)驗(yàn)中實(shí)現(xiàn)那些算法。

我認(rèn)為物理學(xué)家是能做到的。你知道，有一些自然系統(tǒng)，其糾纏理論上確實(shí)可以是無限的。

比如一個玻色-愛因斯坦凝聚態(tài)——說的是中性原子，那類粒子——它們有點(diǎn)像好朋友，想要擠在一起?，F(xiàn)在它們?nèi)绱丝拷?，以至于變得不可區(qū)分，因此這就給你提供了一個天然的糾纏。

這是一種完全的糾纏。但是對于我們想用來計(jì)算的東西——我的意思是，你不希望粒子在比特中彼此混淆。

我認(rèn)為答案尚未揭曉。

我的那些對這個問題感興趣的朋友，我猜他們內(nèi)心是想拿諾貝爾獎的——他們覺得，如果計(jì)算機(jī)科學(xué)家設(shè)計(jì)出量子算法并由物理學(xué)家實(shí)現(xiàn)，結(jié)果發(fā)現(xiàn)并不能給出正確答案，那么計(jì)算機(jī)科學(xué)就通過在量子理論中制造了一個悖論而作出了巨大貢獻(xiàn)。

不過我認(rèn)為就目前而言，我所有搞量子計(jì)算的物理學(xué)家朋友都完全忽略了這種可能性。我想對他們來說——可以說這就跟圣經(jīng)一樣（毋庸置疑）。

Geoffery Hinton：

那么，第二個問題：我們先假設(shè)量子計(jì)算最終能夠奏效。你認(rèn)為在未來比如 10 到 15 年內(nèi)，量子計(jì)算會對 AI 產(chǎn)生巨大影響嗎？

還是你覺得 AI 的進(jìn)展會依靠經(jīng)典計(jì)算來實(shí)現(xiàn)？

姚期智：

我覺得這是一個非常有趣的問題。我認(rèn)為這對 AI 和量子計(jì)算來說確實(shí)都是一個前沿問題——因?yàn)榱孔拥耐碜砸环N與 AI 所帶來的能力完全不同的方向。

所以自然而然的問題是：就目前所知，在當(dāng)今世界上，終極的計(jì)算能力將來自于在量子條件下構(gòu)建 AI 機(jī)器。

換言之，你用量子計(jì)算機(jī)來進(jìn)行學(xué)習(xí)。原則上，我們應(yīng)該能得到更好的成果，因?yàn)榱孔涌隙ā辽倮昧孔樱梢宰龅揭恍?AI 做不到的事情，比如分解大整數(shù)（我想幾乎沒有從事 AI 的人認(rèn)為 ，AI 真能做到這一點(diǎn)）。

我的意思是，AI 并不總是“超級智能”，它不會分解，我們也不指望它去分解數(shù)值。所以我們不必那么害怕 AI，因?yàn)橛行┦挛覀兡茏龅剑壷悄軝C(jī)器做不到。

05

我們需要機(jī)器人心理學(xué)

Geoffery Hinton：

接下來還有一個不涉及量子計(jì)算的問題。有些人認(rèn)為，我們現(xiàn)在在 AI 中所做的就是在創(chuàng)造外星生命——某種意義上它們確實(shí)是生命。

我聽你說過，如果事情真是如此，我們需要為這些外星生命建立一門心理學(xué)。

你能詳細(xì)談?wù)剢幔?/p>

姚期智：

我認(rèn)為我們字面意義上就是在創(chuàng)造外星生物，這跟合成生物學(xué)家做的事情如出一轍。他們中許多人在思考如何從無生命的化學(xué)分子中創(chuàng)造生命，而我們，則是在用不同的方式構(gòu)造外星生命。

但是我記得你今天早上提到，這些超智能機(jī)器真的是外星人。它們也許看起來像可愛的小老虎，但其實(shí)不是。

所以我的感覺是，盡管我們同意在科學(xué)討論中去除“意識”和“理解”這些詞不會損失什么，但在我們嘗試構(gòu)建機(jī)器時，考慮看看能否將這些特性賦予進(jìn)去以讓它們更加善良，實(shí)際上可能是有益的。

為此，我確實(shí)相信在某個時候 AI 將催生一個獨(dú)立的學(xué)科，也就是機(jī)器心理學(xué)。

我覺得這很有意思，因?yàn)闄C(jī)器心理學(xué)和普通心理學(xué)之間的關(guān)系是這樣的：目前我們基本上還沒有真正的 AGI，所以我們?nèi)匀挥性S多需要向人類學(xué)習(xí)的地方。目前所有智能機(jī)器都有一個前提：由人類設(shè)計(jì)者確定其高層結(jié)構(gòu)。

歸根結(jié)底，AI 大多就是以智能的方式搜索大量可能性的能力，有時這種方式還很神秘，我們無法理解也無法證明。所以假設(shè)我暫且不考慮安全問題，只管去設(shè)計(jì)我所能設(shè)計(jì)的最聰明的機(jī)器，同時努力讓它保持善良。但最好的指導(dǎo)仍然來自人類——我們雇傭聰明的人來思考如何設(shè)計(jì)體系結(jié)構(gòu)。

我認(rèn)為目前我們可以利用人類心理學(xué)作為指導(dǎo)，對機(jī)器進(jìn)行初步的分類，并對它們進(jìn)行測試。但我相信，機(jī)器心理學(xué)最終會比人類心理復(fù)雜得多——因?yàn)樵谄垓_方面，它們甚至?xí)任覀內(nèi)祟愔凶畈豢罢哌€要更勝一籌。

所以當(dāng)它們聰明到那種程度，如果我們想研究它們的心理，我認(rèn)為就得由它們自己的同類來發(fā)展這門學(xué)科——

也就是由機(jī)器自己來研究。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。