北京
機(jī)器之心報(bào)道
機(jī)器之心編輯部
AI 一定會(huì)比人類更聰明，之后會(huì)發(fā)生什么？
今天上午，在世界人工智能大會(huì) WAIC 上，2024 年諾貝爾物理學(xué)獎(jiǎng)得主、2018 年圖靈獎(jiǎng)得主、人工智能教父杰弗里?辛頓（Geoffrey Hinton）發(fā)表了題為「數(shù)字智能是否會(huì)取代生物智能」的開(kāi)場(chǎng)演講。
該演講圍繞人工智能領(lǐng)域的歷史、未來(lái)發(fā)展方向、語(yǔ)言模型的原理、數(shù)字與生物計(jì)算特點(diǎn)以及 AI 發(fā)展帶來(lái)的擔(dān)憂等內(nèi)容展開(kāi)，辛頓高度評(píng)價(jià)了當(dāng)前 AI 領(lǐng)域的大模型技術(shù)，認(rèn)為其與人類思考模式相同。
以下是辛頓演講實(shí)錄整理：
大語(yǔ)言模型，在用人類的方式思考？
非常感謝大家給我這樣一個(gè)機(jī)會(huì)，讓我來(lái)分享一下個(gè)人的觀點(diǎn) —— 有關(guān) AI 的歷史和它的未來(lái)。
在過(guò)去 60 多年來(lái)，學(xué)界對(duì)于 AI 有兩種不同的理解范式，一個(gè)是邏輯型，認(rèn)為符號(hào)規(guī)則的表達(dá)操作可以實(shí)現(xiàn)推理；另一種是圖靈和馮諾依曼所相信的，認(rèn)為智能的基礎(chǔ)在于學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)中的鏈接，這個(gè)過(guò)程中理解是第一位的。
這讓我們開(kāi)始關(guān)注語(yǔ)言中詞與詞之間的關(guān)系。
心理學(xué)家有另一套理論，他們認(rèn)為數(shù)字是語(yǔ)義學(xué)的特征。在 1985 年，我做了一個(gè)很小的模型，想把兩大理論方向結(jié)合在一起，來(lái)更好地理解人類是如何理解詞匯的。我對(duì)每一個(gè)詞都分析了好幾個(gè)特征，每一個(gè)詞都與前一個(gè)詞的特征關(guān)聯(lián)，由此預(yù)測(cè)下一個(gè)詞，在這個(gè)過(guò)程中我們沒(méi)有存儲(chǔ)任何的句子，我生成句子，預(yù)測(cè)下一個(gè)詞是什么。
這其中關(guān)聯(lián)到的知識(shí)，取決于語(yǔ)義的特征是如何互動(dòng)的。
如果你問(wèn)在那之后的三十年發(fā)生了什么？十年之后 Yoshua Bengio 的研究擴(kuò)大了它的規(guī)模，二十年后，計(jì)算語(yǔ)言學(xué)家終于接受了特征向量的嵌入來(lái)表達(dá)詞的意思；再到三十年后，谷歌開(kāi)發(fā)了 Transformer，OpenAI 用 ChatGPT 展示了 AI 的能力。
今天的大語(yǔ)言模型（LLM）被視為當(dāng)年小語(yǔ)言模型的后代，是 1985 年后開(kāi)始的技術(shù)潮流，它們使用更多的詞作為輸入，更復(fù)雜的神經(jīng)元結(jié)構(gòu)，學(xué)習(xí)特征之間也建立了更加復(fù)雜的交互模式。
就像我做的那些小模型一樣，大語(yǔ)言模型與人類理解語(yǔ)言的方式是一樣的，就是把這些語(yǔ)言轉(zhuǎn)化為一些特征，然后把這些特征以一種非常完美的方式整合在一起，這就是 LLM 各個(gè)層次里所做的事情。
所以我的理解就是大語(yǔ)言模型真的理解你是怎么理解問(wèn)題的，和人類理解語(yǔ)言的方式是一樣的。
我打個(gè)比方，通過(guò)樂(lè)高積木，我們可以搭建出任何一個(gè)三維的模型，比如一個(gè)小汽車的模型。我們可以把每一個(gè)詞看作是一個(gè)多維度的樂(lè)高積木，可能包含幾千個(gè)不同的維度。正是由于這些積木具有如此多的維度，它們就可以被用來(lái)構(gòu)建各種各樣的結(jié)構(gòu)和內(nèi)容。
在這種方式下，語(yǔ)言本身就變成了一種建模的工具。我們可以用語(yǔ)言來(lái)表達(dá)、構(gòu)建，甚至與人交流。每個(gè)積木（也就是每個(gè)詞）只需要有一個(gè)名字，組合起來(lái)就可以表達(dá)復(fù)雜的含義。也就是說(shuō)，只要我們有了這些積木（詞），就可以隨時(shí)進(jìn)行建模和溝通。
不過(guò)，值得注意的是，不同的積木之間也有很多差異，因此我們?cè)谑褂眠@些詞匯（樂(lè)高積木）的時(shí)候，也有非常多的變體和替代方式。
傳統(tǒng)的樂(lè)高積木是有固定形狀的，比如一個(gè)方塊插進(jìn)另一個(gè)方塊的小孔，結(jié)構(gòu)明確、連接方式也比較確定。但語(yǔ)言中的詞不一樣，我們可以把每個(gè)詞也看作一個(gè)積木，但這個(gè)積木是多維度的，甚至可以說(shuō)是無(wú)數(shù)種可能的，它不僅有一個(gè)基本的形狀（也就是語(yǔ)義核心），還可以根據(jù)上下文不斷地調(diào)整和變化。
你可以想象，每個(gè)詞就像一個(gè)軟性的積木，它不是固定形狀的塑料塊，而是可以根據(jù)它要連接的鄰居詞，自主地變形。每個(gè)詞都有許多形狀奇特的手，如果你想真正理解它的含義，就要看它是如何和其他詞握手的。所謂握手，就是兩個(gè)詞之間在語(yǔ)義或語(yǔ)法上的配合關(guān)系。
而一旦一個(gè)詞的形狀變了（也就是它的語(yǔ)義或語(yǔ)法角色發(fā)生了變化），它和下一個(gè)詞之間的握手方式也會(huì)跟著改變。這就是語(yǔ)言理解的本質(zhì)問(wèn)題之一：如何讓詞和詞之間以最合適的方式組合在一起，從而表達(dá)出更清晰、更準(zhǔn)確的意思。
這其實(shí)就像是蛋白質(zhì)之間的結(jié)合：每個(gè)蛋白質(zhì)都有獨(dú)特的結(jié)構(gòu)和結(jié)合位點(diǎn)，它們需要以恰當(dāng)?shù)姆绞綄?duì)接，才能發(fā)揮功能。語(yǔ)言也是如此，每個(gè)詞都像一個(gè)蛋白質(zhì)，它的形狀、連接方式會(huì)隨著環(huán)境和上下文發(fā)生變化，這也正是神經(jīng)網(wǎng)絡(luò)在建模語(yǔ)言時(shí)要處理的核心任務(wù)之一。
我們可以把詞理解的過(guò)程繼續(xù)類比為氨基酸的組合過(guò)程。就像氨基酸在不同的模型中被組合、整合，最終形成具有復(fù)雜功能的蛋白質(zhì)一樣，詞語(yǔ)也是被以不同的方式融合在一起，從而構(gòu)成更有意義的內(nèi)容。這正是人腦理解語(yǔ)言的方式 —— 將不同的語(yǔ)言單元靈活組合、構(gòu)建出整體語(yǔ)義。
所以我想表達(dá)的觀點(diǎn)是：人類理解語(yǔ)言的方式，和大語(yǔ)言模型的理解方式，在本質(zhì)上是非常相似的。所以，人類有可能就是大語(yǔ)言模型，人類也會(huì)和大語(yǔ)言模型一樣產(chǎn)生幻覺(jué)。
當(dāng)然，大語(yǔ)言模型和人類在某些方面仍然是不同的，甚至在某些根本性的問(wèn)題上，它們做得比人類更好。
超越人類的 AI，會(huì)消滅人類嗎？
回到計(jì)算機(jī)科學(xué)的一個(gè)根本性原則：軟件與硬件要分離。同樣的程序可以在不同的硬件上運(yùn)行，這正是計(jì)算科學(xué)的基礎(chǔ)。程序是永恒存在的，你可以把所有硬件都?xì)绲簦糗浖嬖?，則內(nèi)容可以復(fù)活。從這種意義上看，軟件是永恒的
但是人腦是模擬式的，每一次神經(jīng)元激發(fā)的過(guò)程都不一樣，我腦中的神經(jīng)元結(jié)構(gòu)不能復(fù)制到你的身上，每個(gè)人的神經(jīng)連接方式是獨(dú)一無(wú)二的，人腦和電腦硬件的不同帶來(lái)了問(wèn)題：人腦只有 30W 功率就能擁有很高智慧，但人腦的知識(shí)無(wú)法簡(jiǎn)單轉(zhuǎn)移到另一個(gè)人，解決知識(shí)轉(zhuǎn)移的方法在 AI 領(lǐng)域中是「知識(shí)蒸餾」。
比如 DeepSeek 就是采用這種思路，將一個(gè)大型神經(jīng)網(wǎng)絡(luò)中的知識(shí)蒸餾到一個(gè)更小的神經(jīng)網(wǎng)絡(luò)中。
這個(gè)過(guò)程很像教師與學(xué)生的關(guān)系：教師在訓(xùn)練過(guò)程中，不僅知道正確答案，還知道詞語(yǔ)之間是如何相互關(guān)聯(lián)、上下文是如何構(gòu)建的。教師會(huì)嘗試不斷優(yōu)化這些連接方式（比如預(yù)測(cè)下一個(gè)詞時(shí)考慮更多上下文信息）；而學(xué)生則模仿教師的表達(dá)方式，嘗試說(shuō)出同樣的話，但使用的是更加緊湊、簡(jiǎn)化的網(wǎng)絡(luò)結(jié)構(gòu)。
這個(gè)過(guò)程在人類之間其實(shí)也類似 —— 我們通過(guò)對(duì)話，把一個(gè)人的知識(shí)傳遞給另一個(gè)人。但這種傳遞的效率是非常有限的。舉例來(lái)說(shuō)，一句話可能只包含了大約 100 個(gè)比特的信息量，這意味著即便你完全聽(tīng)懂了我的話，我每秒鐘也只能向你傳遞極其有限的信息量。
而相比之下，數(shù)字智能之間傳遞知識(shí)的效率要高得多。程序可以直接將參數(shù)、權(quán)重、模型結(jié)構(gòu)拷貝或蒸餾過(guò)去，不需要解釋、不需要語(yǔ)言中介，也不會(huì)有理解上的偏差。這種效率的巨大差異，是人類智能與人工智能之間在知識(shí)遷移方面最本質(zhì)的區(qū)別之一。
我們現(xiàn)在已經(jīng)可以做到這樣的事情：將完全相同的神經(jīng)網(wǎng)絡(luò)模型的軟件，復(fù)制上百個(gè)副本，部署在不同的硬件設(shè)備上。因?yàn)樗鼈兪菙?shù)字計(jì)算，每一個(gè)副本都會(huì)以相同的方式運(yùn)行，只是基于各自的數(shù)據(jù)輸入、學(xué)習(xí)速率進(jìn)行訓(xùn)練。這些副本之間還能以某種方式進(jìn)行參數(shù)的平均化處理，從而實(shí)現(xiàn)知識(shí)的共享與整合。
這其實(shí)就是互聯(lián)網(wǎng)的核心力量：我們可以有成千上萬(wàn)個(gè)副本，它們彼此之間不斷地調(diào)整各自的權(quán)重，再將這些權(quán)重取平均，就能夠?qū)崿F(xiàn)模型之間的知識(shí)遷移和協(xié)同學(xué)習(xí)。更重要的是，這種知識(shí)的傳遞可以在每次同步時(shí)分享上萬(wàn)億個(gè)比特的信息量，而不僅僅像人類那樣每秒只能傳遞幾十或幾百個(gè)比特。
這就意味著，數(shù)字智能之間的知識(shí)分享速度，比人類之間快了幾十億倍。例如 GPT-4 能夠在許多不同的硬件上以并行的方式運(yùn)行，收集來(lái)自不同網(wǎng)絡(luò)來(lái)源的信息，并在它們之間快速傳播和共享。
如果我們將這種能力擴(kuò)展到現(xiàn)實(shí)世界中的「智能體」（agents）中，意義就更加重大了。當(dāng)多個(gè)智能體能夠運(yùn)行、學(xué)習(xí)，并共享彼此的權(quán)重和經(jīng)驗(yàn)，那么它們學(xué)習(xí)和進(jìn)化的速度將遠(yuǎn)超單個(gè)個(gè)體。這種跨副本的學(xué)習(xí)和進(jìn)化，是模擬硬件或生物神經(jīng)系統(tǒng)所無(wú)法實(shí)現(xiàn)的。
總結(jié)來(lái)看：
- 數(shù)字智能的運(yùn)作雖然能耗很高，但它具有極大的優(yōu)勢(shì)：可以輕松地復(fù)制、分享模型權(quán)重、同步經(jīng)驗(yàn)，從而實(shí)現(xiàn)大規(guī)模、高效率的知識(shí)遷移。
- 生物智能雖然能耗低，但知識(shí)的分享極其困難。正如我現(xiàn)在用語(yǔ)言費(fèi)力地向你解釋我的思考過(guò)程一樣，這是極不高效的。
如果未來(lái)能源變得足夠便宜，那么數(shù)字智能將進(jìn)一步擴(kuò)張它的優(yōu)勢(shì)。
我們?nèi)祟惲?xí)慣于認(rèn)為自己是地球上最聰明的生物，因此很多人難以想象：如果有一天，AI 的智能超過(guò)了人類，會(huì)發(fā)生什么？
我們現(xiàn)在正在創(chuàng)造 AI 智能體，用于幫助我們完成各種任務(wù)，它們已經(jīng)具備了自我復(fù)制、設(shè)定子目標(biāo)和評(píng)估目標(biāo)優(yōu)先級(jí)的能力。在這樣的系統(tǒng)中，AI 很可能會(huì)自然地產(chǎn)生兩個(gè)基本動(dòng)機(jī)：
1.生存—— 保持持續(xù)運(yùn)行，從而完成我們賦予它的目標(biāo)。
2.增強(qiáng)控制力—— 獲得更多資源與權(quán)限，也同樣是為了更有效地實(shí)現(xiàn)它的目標(biāo)。
當(dāng)具備了這兩個(gè)動(dòng)機(jī)之后，這些智能體將不再是被動(dòng)的工具，而是主動(dòng)的系統(tǒng)。我們可能無(wú)法再簡(jiǎn)單地「把它們關(guān)掉」了。因?yàn)橐坏┧鼈兊闹悄芩竭h(yuǎn)超人類，它們將會(huì)像成年人操縱三歲小孩一樣輕松地操縱我們。
如果你養(yǎng)一個(gè)小虎崽，你必須確保它長(zhǎng)大后不會(huì)把你吃掉。你只有兩個(gè)選擇：要么把它馴化好；要么在它還沒(méi)咬你之前，把它干掉。
但 AI 不可能像老虎那樣被「干掉」那么簡(jiǎn)單。AI 是有巨大價(jià)值的：在醫(yī)療、教育、氣候、新材料等方面，它表現(xiàn)都非常出色，它能幫助幾乎所有行業(yè)變得更高效。我們沒(méi)有辦法消除 AI，即使一個(gè)國(guó)家消除 AI，其他國(guó)家也不會(huì)這樣做。
如果我們想要人類生存的話，就必須找到一個(gè)方法，讓 AI 不會(huì)消除人類。
我發(fā)表一個(gè)個(gè)人觀點(diǎn)：國(guó)家之間在某些方面可能無(wú)法達(dá)成一致，比如致命武器、網(wǎng)絡(luò)攻擊、偽造視頻等等，畢竟各國(guó)的利益是不一致的，他們有著不同的看法。但在有的方面，世界各國(guó)是可以達(dá)成一致的，這也是最重要的方面。
我們看一下上世紀(jì) 50 年代的冷戰(zhàn)巔峰時(shí)期，美國(guó)和蘇聯(lián)合作阻止了核戰(zhàn)爭(zhēng)。盡管他們?cè)诤芏喾矫娑际菍?duì)抗的，但大家都不喜歡打核戰(zhàn)爭(zhēng)，在這一點(diǎn)上他們可以合作。
我們現(xiàn)在的局面是，沒(méi)有一個(gè)國(guó)家希望 AI 來(lái)統(tǒng)治世界，如果有一個(gè)國(guó)家發(fā)現(xiàn)了阻止 AI 失控的方法，那么這個(gè)國(guó)家肯定會(huì)很樂(lè)意擴(kuò)展這種方法。所以我們希望能夠有一個(gè)由 AI 安全機(jī)構(gòu)構(gòu)成的國(guó)際社群來(lái)研究技術(shù)、訓(xùn)練 AI，讓 AI 向善。
訓(xùn)練 AI 向善的技巧和訓(xùn)練 AI 聰明的技術(shù)是不一樣的，每個(gè)國(guó)家可以做自己的研究讓 AI 向善，可以基于數(shù)據(jù)主權(quán)進(jìn)行研究，最終貢獻(xiàn)、分享出讓 AI 向善的成果。
我提議，全球發(fā)展 AI 的主要國(guó)家應(yīng)該考慮構(gòu)建一個(gè)網(wǎng)絡(luò)，來(lái)研究讓這個(gè)聰明的 AI 不消滅人類、不統(tǒng)治世界，而是讓它很高興地做輔助工作，盡管 AI 比人類聰明很多。
我們現(xiàn)在還不知道怎么去做這件事，但從長(zhǎng)期來(lái)看，這是人類面臨的最重要的問(wèn)題，好消息是在這個(gè)問(wèn)題上，所有國(guó)家都是可以一起合作的。
杰弗里?辛頓，AI 教父
在人工智能領(lǐng)域里，杰弗里?辛頓赫赫有名。他于 1947 年出生，是一位英裔加拿大計(jì)算機(jī)科學(xué)家、認(rèn)知科學(xué)家和認(rèn)知心理學(xué)家，因其在人工神經(jīng)網(wǎng)絡(luò)方面的工作而聞名，并因此被譽(yù)為「人工智能教父」。
辛頓在 1978 年在愛(ài)丁堡大學(xué)獲得人工智能博士學(xué)位。他是多倫多大學(xué)名譽(yù)教授，2013 年到 2023 年，他同時(shí)在谷歌大腦工作，2023 年 5 月公開(kāi)宣布離開(kāi)谷歌。
1986 年，辛頓與 David Rumelhart、Ronald J. Williams 合作發(fā)表了一篇被廣泛引用的論文《Learning internal representations by error-propagation》，推廣了用于訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法。在 2012 年，他與學(xué)生 Alex Krizhevsky 和 Ilya Sutskever 合作設(shè)計(jì)了 AlexNet ，在 ImageNet 挑戰(zhàn)賽上取得了優(yōu)異成績(jī)，成為了圖像識(shí)別領(lǐng)域的里程碑，也是計(jì)算機(jī)視覺(jué)領(lǐng)域的一次突破。
辛頓因在深度學(xué)習(xí)方面的杰出貢獻(xiàn)，與約書(shū)亞?本吉奧（Yoshua Bengio）和楊立坤（Yann LeCun）共同獲得了 2018 年圖靈獎(jiǎng)，該獎(jiǎng)被稱為「計(jì)算機(jī)界的諾貝爾獎(jiǎng)」。他們經(jīng)常被稱為「深度學(xué)習(xí)教父」而共同提起。辛頓還與約翰?霍普菲爾德（John Hopfield）一起獲得了 2024 年諾貝爾物理學(xué)獎(jiǎng)，以表彰他們?cè)诶萌斯ど窠?jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)方面做出的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明。
2023 年 5 月，辛頓宣布從谷歌辭職，以便能夠「自由地談?wù)撊斯ぶ悄艿娘L(fēng)險(xiǎn)」。他對(duì)惡意行為者的故意濫用、技術(shù)失業(yè)以及通用人工智能的生存風(fēng)險(xiǎn)表示擔(dān)憂。辛頓指出，制定安全準(zhǔn)則需要在人工智能使用方面相互競(jìng)爭(zhēng)的各方之間進(jìn)行合作，以避免最壞的結(jié)果。在獲得諾貝爾獎(jiǎng)后，他呼吁緊急研究人工智能安全問(wèn)題，以找出如何控制比人類更聰明的人工智能系統(tǒng)。
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布，本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
