作者 | 唐小引

出品 | CSDN（ID：CSDNnews）

1997 年，AI 正處于第二次寒冬，這次寒潮的時(shí)間有點(diǎn)長，從 20 世紀(jì) 90 年代直至 21 世紀(jì)的第一個(gè)十年。

寒冬之下，有人堅(jiān)持，有人幸運(yùn)，也有人不是那么地有運(yùn)氣。

李飛飛說：“我覺得自己是世界上最幸運(yùn)的人，因?yàn)槲业恼麄€(gè)職業(yè)生涯始于 AI 寒冬的末期，也就是 AI 開始騰飛的時(shí)候，所以我真的非常幸運(yùn)，也有點(diǎn)自豪?！?/p>

而在現(xiàn)任清華大學(xué)基礎(chǔ)科學(xué)講席教授、心理與認(rèn)知科學(xué)系主任、人工智能學(xué)院教授、北京智源人工智能研究院首席科學(xué)家劉嘉的世界里，則不一樣。1997 年，對(duì)人工智能深感困惑的青年劉嘉遠(yuǎn)赴美國麻省理工學(xué)院（MIT）深造，慕名拜訪人工智能之父馬文·明斯基（Marvin Minsky），想要從這位鼎鼎大名的 AI 教父身上尋求良方。明斯基很 Nice，完全沒有任何架子，讓劉嘉前往 MIT 人工智能實(shí)驗(yàn)室面談。但面談的結(jié)果卻讓劉嘉備受打擊，“我記得當(dāng)時(shí)人工智能實(shí)驗(yàn)室在 MIT 是一棟很高的樓，我上去的時(shí)候是仰視，終于到了那種殿堂級(jí)的地方。下來的時(shí)候就如墜地獄，心里特別冷冰冰地坐了電梯下來?！?/p>

明斯基對(duì)人工智能的態(tài)度很消極，劉嘉和他聊人工神經(jīng)網(wǎng)絡(luò)，他大潑冷水說這不值得做。那么應(yīng)該做什么呢？明斯基回道：“現(xiàn)在大家還在摸索中，也都不太清楚具體怎么做。”

寒潮之中，頂級(jí)的人工智能學(xué)者們心態(tài)崩了，都沒有答案。當(dāng)時(shí)，劉嘉已經(jīng)被 MIT 腦與認(rèn)知科學(xué)系（The MIT Department of Brain and Cognitive Sciences，簡稱 BCS）錄取，明斯基一聽，極力勸他留在腦科學(xué)。

明斯基是“人工智能”概念的提出者，也是 MIT 人工智能實(shí)驗(yàn)室的創(chuàng)始人之一，然而當(dāng)時(shí)，在 MIT 里，人工智能也正處寒冬，基本處于無人問津的境地。與之相反的是腦科學(xué)，同樣發(fā)端于 MIT，呈現(xiàn)一派熱氣騰騰的景象。

這次談話讓劉嘉備受打擊，他深深地感到絕望，“AI 不行了，我還是做腦科學(xué)吧”。至此，作為國內(nèi)最早接受人工神經(jīng)網(wǎng)絡(luò)深度啟蒙、可能是中國第一位人工智能版主的劉嘉，再也沒碰人工智能。一別近二十年，直至 2016 年 AlphaGo 戰(zhàn)勝李世石，劉嘉重返實(shí)驗(yàn)室全身心投入到腦科學(xué)與 AI 的交叉研究中。

回首這段往事，劉嘉有些復(fù)雜的情緒，但他堅(jiān)定地認(rèn)為自己并沒有錯(cuò)過 AI 的任何東西。腦科學(xué)和 AI，就像 DNA 雙螺旋結(jié)構(gòu)一樣，時(shí)而聯(lián)系緊密，時(shí)而分道揚(yáng)鑣?，F(xiàn)在 AI 的發(fā)展又到了與腦科學(xué)結(jié)合的關(guān)鍵節(jié)點(diǎn)。

從 AI 演進(jìn)與深度學(xué)習(xí)革命上，我們能夠看到很濃烈的腦與認(rèn)知科學(xué)（神經(jīng)科學(xué)）、心理學(xué)與 AI 交叉的色彩，因?yàn)?strong>人工智能本就起源于“大腦究竟是如何工作的，以及機(jī)器如何能夠模仿大腦，完成任何人類需要智力才能完成的事情”。

我們所熟知的感知機(jī)（Perceptron）發(fā)明人、神經(jīng)網(wǎng)絡(luò)創(chuàng)始人之一 Frank Rosenblatt（弗蘭克·羅森布拉特）是著名的心理學(xué)家，深度學(xué)習(xí)教父辛頓、強(qiáng)化學(xué)習(xí)之父 Richard Sutton 均起于心理學(xué)，而后轉(zhuǎn)向 AI 及計(jì)算機(jī)科學(xué)，甚至于強(qiáng)化學(xué)習(xí)概念本身就來自于行為主義心理學(xué)。機(jī)器學(xué)習(xí)之父 Michael?Jordan 擁有心理學(xué)、數(shù)學(xué)、認(rèn)知科學(xué)多個(gè)學(xué)位，于 AI 寒冬之時(shí)在 MIT 腦與認(rèn)知科學(xué)系任教，青年劉嘉所崇拜的兩位偶像——計(jì)算機(jī)視覺奠基人 David Marr、明斯基都是公認(rèn)的認(rèn)知科學(xué)家……群星閃耀，實(shí)在不勝枚舉，AI 的燦爛星河里，腦科學(xué)與 AI 的交叉研究竟如此之多。

這也讓我頓悟了一個(gè)困惑已久的問題，那就是為什么 AI 一直迭代的是智力，為什么在具身智能大火的今天，大多數(shù)機(jī)器人還是在執(zhí)行預(yù)設(shè)任務(wù)。劉嘉這樣說道：“前額葉（主管認(rèn)知，大腦真正的‘中樞’）主要是在過去 300 萬年形成，進(jìn)化最晚，功能最弱，最好模擬。神經(jīng)元最多的地方并不在大腦皮層，而在小腦，主管運(yùn)動(dòng)，密度最高，是經(jīng)過幾億年進(jìn)化而來。”

這正是為什么體力活反而是最先進(jìn)的機(jī)器人都干不了的關(guān)鍵原因，“因?yàn)樗婕暗竭\(yùn)動(dòng)，涉及到更復(fù)雜的計(jì)算。”與生存相關(guān)的，人類覺得最簡單的東西，反而是人工智能最難攻克的。這也帶來了另一個(gè)我們需要直面的真相：“今年大熱的推理、AI Coding 等，都只是我們模仿生物智能萬里長征中邁出的第一步而已?！?/p>

而對(duì)于這兩年間來回?fù)u擺的 Scaling Law，劉嘉引用辛頓的理念、Sutton 的苦澀教訓(xùn)，結(jié)合自身所犯過的關(guān)鍵性錯(cuò)誤直指：智能的第一性原理竟然只是“大”，而非精妙的算法或靈巧的設(shè)計(jì)，任何人強(qiáng)調(diào) Scaling Law 不再生效都是荒謬的想法，做大參數(shù)、不斷地?cái)U(kuò)大模型，這條路永遠(yuǎn)是對(duì)的，因?yàn)樵跉v史長河里，人就是這么進(jìn)化而來。他還有一個(gè)比喻特別有意思，當(dāng)前，對(duì)于我們而言，可以怎么像大模型一樣進(jìn)化？三步走：

1. 為人生定義目標(biāo)函數(shù)；

2. 使用隨機(jī)梯度下降優(yōu)化人生；

3. 人生所需不過一份注意：注意高質(zhì)量的數(shù)據(jù)和人；注意實(shí)例而非規(guī)則；注意也是遺忘。

歡迎收聽對(duì)話音頻，如有興趣觀看完整視頻，可在文末獲取

本期《萬有引力》，一起從 AI 的第一性原理出發(fā)，穿越不時(shí)一夜變天、讓人頗感焦慮的層層迷霧，追尋 AGI 的本質(zhì)和通往 AGI 的可能路徑，以及生而為人，對(duì)于我們開發(fā)者，可以如何和 AI 共進(jìn)化，降低焦慮感，提升幸福感。

結(jié)緣 AI，一別二十年

唐小引：今天在清華大學(xué)的校園里，很榮幸地邀請(qǐng)到清華大學(xué)基礎(chǔ)科學(xué)講席教授劉嘉老師，和大家一起分享他對(duì)于 AI 的研究和思考。歡迎劉老師，可以和大家打個(gè)招呼，做個(gè)自我介紹。

劉嘉：大家好，我是劉嘉，非常感謝唐老師對(duì)我的邀請(qǐng)。我是清華大學(xué)基礎(chǔ)科學(xué)講席教授，同時(shí)也是我們?nèi)ツ晷鲁闪⒌男睦砼c認(rèn)知科學(xué)系的主任。我的研究方向是腦科學(xué)和人工智能，我們通過腦科學(xué)來啟發(fā)人工智能，做一些類腦方面的計(jì)算。

唐小引：劉老師長期從事腦科學(xué)和 AI 的交叉研究，我其實(shí)之前一直好奇為什么劉老師是從腦與認(rèn)知科學(xué)走上了 AI 之路，在拜讀了劉老師的新書《通用人工智能》后，算是解答了我的疑惑。這里面提到了您早期的 AI 故事：聽了人工智能之父馬文·明斯基的“勸”，選擇留在腦科學(xué)的世界，由此告別 AI 20 年。我看的時(shí)候，覺得這里面還是有一種很復(fù)雜的情緒。劉老師可以給大家講一講您和 AI 的這個(gè)故事嗎？

劉嘉：我最早是做符號(hào)主義的，當(dāng)時(shí)就覺得它所有的規(guī)則都需要寫死，缺少靈動(dòng)性。很巧，1994 年時(shí)，正好有一位博士后從日本學(xué)了人工神經(jīng)網(wǎng)絡(luò)回來，在北大開了一門課，可能是中國第一門人工神經(jīng)網(wǎng)絡(luò)的課程。

唐小引：我把這個(gè)問題拋給了 GPT，問能不能推算出來是哪個(gè)老師。它給我的一個(gè)答案說可能是遲惠生老師（北京大學(xué)原常務(wù)副校長）。

劉嘉：不是。遲惠生老師挺厲害，他當(dāng)時(shí)和另一位老師在北京市一個(gè)與智能相關(guān)的實(shí)驗(yàn)室做指紋識(shí)別，做得非常好。那位博士后也的確是在遲惠生老師的實(shí)驗(yàn)室里工作，我現(xiàn)在已經(jīng)忘記他叫什么名字了，唯一印象就是他比較高、有點(diǎn)胖。如果那位老師能看見的話，請(qǐng)一定告訴我，他是我的 AI 引路人（作者注：劉嘉老師在線搖人，歡迎留言聯(lián)系）。

當(dāng)時(shí)我跟隨他學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)，他講 Hopfield（霍普菲爾德神經(jīng)網(wǎng)絡(luò)，由 John Hopfield 于 1982 年發(fā)明。2024 年，John Hopfield 與 Geoffrey Hinton 一起獲得了諾貝爾物理學(xué)獎(jiǎng)，以表彰他們推動(dòng)利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的基礎(chǔ)性發(fā)現(xiàn)和發(fā)明），當(dāng)時(shí)我有兩個(gè)特別大的困惑：首先是算力不夠，我用的是一臺(tái) 386 臺(tái)式機(jī)，1994 年時(shí)的算力只有現(xiàn)在手機(jī)的萬分之一，根本算不動(dòng)。第二個(gè)困惑是，當(dāng)時(shí)人工神經(jīng)網(wǎng)絡(luò)是一個(gè)極其小眾的領(lǐng)域，搞人工智能本身就是一個(gè)很小眾的群體，而人工神經(jīng)網(wǎng)絡(luò)則是小眾中的小眾。

我就在思考，AI 到底應(yīng)該怎么做，難道這個(gè)世界只有 Hopfield 嗎？當(dāng)時(shí)國內(nèi)互聯(lián)網(wǎng)剛剛興起，我讀了一些相關(guān)資料，知道真正的 AI 江湖大佬是馬文·明斯基，他僅憑一己之力就把人工神經(jīng)網(wǎng)絡(luò)按死了（AI 的第一次寒冬）。他當(dāng)時(shí)正好在 MIT 的人工智能實(shí)驗(yàn)室，所以我就想去跟他學(xué)習(xí)，這是我為什么去 MIT 的原因之一。

原因之二是 David Marr（計(jì)算神經(jīng)科學(xué)領(lǐng)域的先驅(qū)之一，1980 年因病去世），他是計(jì)算機(jī)視覺的創(chuàng)始人，在 MIT 腦與認(rèn)知科學(xué)系。我對(duì)視覺、計(jì)算很感興趣，這兩位都是我很崇拜的人。我就到 MIT 去讀博士，當(dāng)時(shí)我已經(jīng)被腦與認(rèn)知科學(xué)系錄取了，和 Marvin 聯(lián)系，他很 Nice，給他發(fā) Email 過去，就說你過來吧，完全沒有任何架子。

但我和他聊天時(shí)，感覺到他非常消極。我和他聊人工神經(jīng)網(wǎng)絡(luò)，他說這個(gè)東西不值得做。我問：那我應(yīng)該做什么呢？他說現(xiàn)在大家還在摸索中，也都不太清楚具體怎么做。他就問起我的背景，我說我在 BCS 系。他說你做腦科學(xué)，這個(gè)比較好。

當(dāng)時(shí)正好是 1997 年，人工智能的最后一次寒潮（AI 第二次寒冬），但是寒潮時(shí)間比較久。腦科學(xué)在上一世紀(jì) 90 年代剛剛興起，因?yàn)榇殴舱窦夹g(shù)的出現(xiàn)，有一些更多的研究方法，而腦科學(xué)本身也起源于 MIT，所以當(dāng)時(shí) MIT 里腦科學(xué)熱氣騰騰，而人工智能則是冷冰冰的。大家更多的是去搞多媒體、通訊、做互聯(lián)網(wǎng)，人工智能基本沒多少人碰。

我記得當(dāng)時(shí)人工智能實(shí)驗(yàn)室是在 MIT 一棟很高的樓，我去的時(shí)候是仰視，終于到了殿堂級(jí)的地方。下來時(shí)如墜地獄，心里特別冷冰冰地坐電梯下來，覺得 AI 不行了，我還是做腦科學(xué)吧。所以就再也沒碰人工智能。

在中國，我可以說是中國第一個(gè)人工智能版的版主，當(dāng)時(shí)在中國科學(xué)院有一個(gè) BBS 叫 NCIC（恩兮愛兮）。所以我可以說是起了一個(gè)大早，但趕了一個(gè)晚集。等我真正回過神來，覺得人工神經(jīng)網(wǎng)絡(luò)這事值得再搞時(shí)，已經(jīng)到 2016 年了。從 1994 年開始接觸人工神經(jīng)網(wǎng)絡(luò)，到 1997 年正式放棄，再到 2016 年重新回頭撿起，其中就差不多隔了 20 年。

我迷失掉的這 20 年，正好人工神經(jīng)網(wǎng)絡(luò)快速發(fā)展，或者說奠基性工作都是在這 20 年里做的。Hinton 的深度信念網(wǎng)絡(luò)（Deep Belief Network，簡稱 DBN，是公認(rèn)的深度學(xué)習(xí)開端）、楊立昆的卷積神經(jīng)網(wǎng)絡(luò)、預(yù)訓(xùn)練和微調(diào)的概念等核心工作及體系都在這個(gè)時(shí)候出來的。楊立昆當(dāng)時(shí)做卷積，基本解決了視覺問題。到 2012 年 AlexNet 爆發(fā)，到后面其實(shí)都順理成章，但這段時(shí)期我是完全錯(cuò)過的。

我們現(xiàn)在回過頭來，大家都提人工神經(jīng)網(wǎng)絡(luò)是你必須要做、必須要學(xué)的，好像如果不懂 AI 或者連概念都不懂，是一件很錯(cuò)誤的事情。但它真正埋下伏筆，正好是它最冷的時(shí)候。所以在《通用人工智能》里，我特別想回答一個(gè)問題：是什么樣的底層邏輯，讓這些人當(dāng)時(shí)堅(jiān)持下來了？而像我這類人，本來可以說是有很好的機(jī)會(huì)擺在面前，但我只是碰了一下，轉(zhuǎn)身就告別了。等到 2016 年回來，別人都已經(jīng)把山頭全部占滿，留給你的就是細(xì)枝末節(jié)。

唐小引：您相當(dāng)于完全錯(cuò)過了這一段時(shí)期，現(xiàn)在回過頭來看，會(huì)覺得后悔嗎？如果有一個(gè)重新選擇的機(jī)會(huì)，會(huì)直接選擇人工智能之路嗎？

劉嘉：我曾經(jīng)想過一個(gè)問題，就是現(xiàn)在我這把年紀(jì)，如果有一個(gè)機(jī)會(huì)，回到過去，碰見那個(gè)剛進(jìn)大學(xué)、十七八歲的小青年（指年少的自己），能夠和他聊上半天，會(huì)聊些什么話題？

這是一個(gè)思想實(shí)驗(yàn)，每個(gè)人都可以想象。因?yàn)槿魏稳藦哪晟贂r(shí)到現(xiàn)在，中間肯定有一些不開心的、認(rèn)為走了彎路的事情，你會(huì)想，如果我當(dāng)時(shí)不認(rèn)識(shí)那個(gè)人就好了，如果當(dāng)時(shí)選 A 不選 B 就好了。我們總是會(huì)有這種想法。那如果我回去，我會(huì)說什么？

其實(shí)后來我想，最好的答案就是，我不會(huì)告訴他任何事情。我只會(huì)跟他說一句話：好好干就可以了，你做得很好，好好干。為什么？因?yàn)?strong>今天的我是由過去的點(diǎn)點(diǎn)滴滴累加起來的。如果我過去的道路改變了，那我今天的想法肯定會(huì)發(fā)生改變。

第二點(diǎn)，我覺得一個(gè)很重要的是，我沒有錯(cuò)過任何東西。為什么這么說？其實(shí)可以看到，人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展，從它的 M-P 模型、點(diǎn)神經(jīng)元模型，到后面的感知機(jī)、楊立昆做的卷積神經(jīng)網(wǎng)絡(luò)等，受腦科學(xué)的影響非常深。如果更大膽一些的話，它其實(shí)是抄襲了腦科學(xué)的發(fā)現(xiàn)來做的。

但進(jìn)入到深度學(xué)習(xí)之后，腦科學(xué)和人工智能分道揚(yáng)鑣?，F(xiàn)在我們談的 MoE 架構(gòu)、Transformer、注意力機(jī)制等，其實(shí)只是在概念上借用了一些認(rèn)知科學(xué)、腦科學(xué)的概念，但它和腦科學(xué)有什么關(guān)系嗎？沒有。

這就讓我產(chǎn)生一個(gè)疑問：我們下一代人工神經(jīng)網(wǎng)絡(luò)到底怎么發(fā)展？是我們不停地按照這種方向去壘參數(shù)、改算法，還是依然需要依賴腦科學(xué)，得到一些新的啟發(fā)？這需要賭一個(gè)像 Hinton 他們當(dāng)年所謂的“信仰”。

我覺得有兩點(diǎn)：第一，我們?nèi)祟愡€是目前世界上最聰明的個(gè)體，比現(xiàn)在的大模型聰明。大模型是通用人工智能的火花或者雛形，還談不上是 AGI。第二，從進(jìn)化的角度來看，我們?nèi)祟惖拇竽X其實(shí)不是宇宙中最大的，參數(shù)量也不是最大的。大象的大腦神經(jīng)元比我們多，連接比我們多，鯨魚的大腦更不用說了。但人類比大象、鯨魚都聰明。也就是說，除了參數(shù)之外，人類大腦可能還有一些更精巧的結(jié)構(gòu)，這些結(jié)構(gòu)可能是通向真正智慧的關(guān)鍵。

唐小引：更加精巧的結(jié)構(gòu)是指？現(xiàn)在有哪些發(fā)現(xiàn)？

劉嘉：非常好的問題，答案是我不知道。這也是為什么我們現(xiàn)在要做腦科學(xué)的一個(gè)前提。

所以我覺得下一代人工神經(jīng)網(wǎng)絡(luò)，可能還是要重新把腦科學(xué)和人工智能再做一次“聯(lián)姻”。它們開始連得特別緊，和雙螺旋結(jié)構(gòu)一樣，到了深度學(xué)習(xí)分道揚(yáng)鑣。我覺得現(xiàn)在是時(shí)候又重新回到一起了。這就是我說的，如果我重新來做選擇，我并沒有遺漏掉什么。因?yàn)槲疫^去在腦科學(xué)的積累，使得我在 2016 年做了一個(gè)重大決定，把人工神經(jīng)網(wǎng)絡(luò)、人工智能包含進(jìn)來，讓腦科學(xué)和人工智能結(jié)合，做一些類腦智能或類腦計(jì)算方面的工作。我覺得這些工作可能反而是更加重要的，或者是對(duì)下一代人工神經(jīng)網(wǎng)絡(luò)、對(duì)通向真正的 AGI 是會(huì)有一些幫助。

關(guān)鍵性錯(cuò)誤：AI 十年交叉研究中學(xué)到的苦澀教訓(xùn)

唐小引：所以您剛才總結(jié)的是，如果回到過去，可能對(duì)著年輕時(shí)候的劉老師會(huì)拍拍肩膀說“好好干”，因?yàn)楣Σ惶凭琛５诙c(diǎn)，您之前提到提交了辭呈，重返實(shí)驗(yàn)室投身腦科學(xué)加人工智能的研究，從 AI 1.0（AlphaGo 為標(biāo)志）到現(xiàn)在 AI 2.0（ChatGPT 發(fā)布為節(jié)點(diǎn)）的發(fā)展，這其中您有哪些關(guān)鍵性的研究成果可以給大家分享嗎？

劉嘉：關(guān)鍵性的成果我談不上，但是我可以給大家分享一下關(guān)鍵性的錯(cuò)誤。我覺得這也是苦澀的教訓(xùn)。對(duì)錯(cuò)誤的理解，可能會(huì)對(duì)我們未來有比較大的幫助。

第一個(gè)比較大的錯(cuò)誤是，當(dāng)時(shí)我花了很多時(shí)間用簡單的 AlexNet 或 Hopfield 這種模型來和大腦做類比，做相應(yīng)的研究。但在 2022 年 11 月 30 日 ChatGPT 出來后，我就意識(shí)到自己犯了一個(gè)根本性錯(cuò)誤。就是原來我用的人工神經(jīng)網(wǎng)絡(luò)參數(shù)量太小，只是一個(gè)我們學(xué)術(shù)上講的 toy case（玩具）。這種玩具本身并不能回答太深刻的關(guān)于智能的問題。

其實(shí)現(xiàn)在回頭來想，這是一件非常簡單的事情。我們肯定不能指望線蟲（我們經(jīng)常用來做神經(jīng)模型，它只有 302 個(gè)神經(jīng)元）具有智能。第二點(diǎn)，我們?nèi)祟惔蟾旁?300 萬年前和猴子分道揚(yáng)鑣，獨(dú)立進(jìn)化干了一件事情，就是大腦的體積增加了三倍。我們拼命地長腦子，拼命地長神經(jīng)元。只有當(dāng)神經(jīng)元數(shù)量到達(dá)一定程度時(shí)，才可能變得真正的聰明。

所以我就意識(shí)到原來我研究的全是小模型，諸如 AlexNet、VGG16 或者 ResNet 等。后來我就覺得方向錯(cuò)了，太過于關(guān)注這些神經(jīng)網(wǎng)絡(luò)的可解釋性，但當(dāng)神經(jīng)網(wǎng)絡(luò)太小時(shí)，它不可能具有真正的智能。所以在那個(gè)時(shí)候我就決定要干一件事情，就是必須轉(zhuǎn)向大模型。

大模型這條路是對(duì)的，或者大參數(shù)量這條路是對(duì)的。它是通向智能的一個(gè)必要條件。首先你模型必須大，如果不大，智能免談。這是我犯的第一個(gè)錯(cuò)誤。GPT-3 在 2020 年 5 月出來時(shí)，我還在智源研究院批判這就是個(gè)傻大粗，試圖靠壘參數(shù)壘出智能來，我說這條路完全行不通。后來證明我錯(cuò)得格外離譜。

所以在《通用人工智能》里，我就特別想把 AI 的底層邏輯講清楚，就是我們只有知道當(dāng)模型必須要大的時(shí)候，它才可能擁有智能，這是一個(gè)必要條件，但不是充分條件。我們課題組花了很多時(shí)間去追 DeepMind 的工作，看 Google 的工作，而 OpenAI 的工作我們是徹底忽略掉了。后來 2023 年時(shí)，我花了大概半年的時(shí)間思考我為什么錯(cuò)。后來想，原來我是忽略掉了人工智能的第一性原理。人工智能的第一性原理就必須是大，參數(shù)量必須要大，不大的話，它是沒有智能可言的。

我犯的第二個(gè)錯(cuò)誤是什么？大模型來了之后，沖擊特別大。我當(dāng)時(shí)就想，是不是原來我們是百花齊放，現(xiàn)在是一枝獨(dú)秀，是不是我們所有人都應(yīng)該去搞基于 Transformer 的大模型？我們也做了很多這方面的工作。但直到 2023 年年底，有一天我突然想到一件事，生物的進(jìn)化、人的大腦的進(jìn)化，其實(shí)分成兩部分。第一部分，神經(jīng)元在不斷增加：線蟲 302 個(gè)，果蠅百萬級(jí)，斑馬魚千萬級(jí)，小鼠是上億，猴子是百億，我們?nèi)耸乔|級(jí)（860 億個(gè)神經(jīng)元）。這是大模型走的道路。

但后來我意識(shí)到還有第二條路，我們以前一直忽略掉了，就是神經(jīng)元的復(fù)雜度也在不斷地增加。我們?nèi)说纳窠?jīng)元復(fù)雜度，遠(yuǎn)比小鼠、線蟲復(fù)雜很多。也就是說，人在干兩件事情，一是神經(jīng)元數(shù)量在增加，二是神經(jīng)元本身的復(fù)雜度在增加。而我們現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)，其實(shí)忽略了第二條路線，在走第一條路線。我們現(xiàn)在的人工神經(jīng)網(wǎng)絡(luò)做的所有事情，用的還是原來的 M-P 模型：輸入求個(gè)和，然后通過一個(gè)激活函數(shù)再出去。再復(fù)雜的人工神經(jīng)網(wǎng)絡(luò)都是基于這么一個(gè)基本單元，它這一點(diǎn)是從來沒有進(jìn)化過的。

這個(gè)時(shí)候我就想，進(jìn)化是我們現(xiàn)在唯一能參照的智能法則。如果進(jìn)化這么看重神經(jīng)元復(fù)雜度的話，背后應(yīng)該是有原因的。所以那個(gè)時(shí)候，我發(fā)現(xiàn)原來盲目地去跟風(fēng)大模型是有問題的，還是應(yīng)該和腦科學(xué)結(jié)合起來，看能不能創(chuàng)造出一個(gè)全新的人工神經(jīng)網(wǎng)絡(luò)出來。這是我們經(jīng)常說的一個(gè)根節(jié)點(diǎn)問題，如果我去修算法，那是在改枝葉。但如果我從最底層把神經(jīng)元都給換掉，把原來的點(diǎn)模型換成精細(xì)神經(jīng)元模型，更加反應(yīng)樹突計(jì)算的神經(jīng)元，連最底層的信息處理單元都換了，會(huì)不會(huì)得到一種新的人工神經(jīng)網(wǎng)絡(luò)出來？這就是腦科學(xué)和 AI 的真正交叉。所以從這一點(diǎn)上來講，讓我覺得，還真有點(diǎn)好東西可以做，從原來的跟風(fēng)，回到自己擅長的領(lǐng)域里來。

Scaling Law：AI 的第一性原理

唐小引：您剛才提到通往 AGI 之路的第一性原理就是大。其實(shí)從 ChatGPT 出來之前，大家就在追求大模型，往大參數(shù)走。那個(gè)時(shí)候大家還會(huì)質(zhì)疑一味地追求大。到現(xiàn)在，很多人對(duì)于 Scaling Law 是否還成立，是否還是“大力出奇跡”，有著很強(qiáng)的爭議。在這里我想問劉老師，您對(duì)于 Scaling Law 的觀點(diǎn)是什么樣的？

劉嘉：我覺得 Scaling Law 是絕對(duì)沒錯(cuò)的。我認(rèn)為AI 之所以比人類更有發(fā)展前途，就是因?yàn)?AI 可以無限擴(kuò)張，而人是已經(jīng)被鎖死了，不能無限擴(kuò)張。所以我覺得任何人強(qiáng)調(diào) Scaling Law 不再生效了都是 nonsense（荒謬的想法）。

從我的角度來講，做大參數(shù)，不斷地?cái)U(kuò)大模型，這條路永遠(yuǎn)是對(duì)的。就像 Sutton 講的 a bitter lesson（一個(gè)苦澀的教訓(xùn)），再精巧的算法，最后在這種“大力出奇跡”下面，都變得蒼白無力。所以模型變大這件事情是沒問題的，從進(jìn)化的角度上來講，人的大腦就是在不停地變大的過程中。所以任何對(duì) Scaling Law 的質(zhì)疑，都可以忽略掉，沒有價(jià)值。

但是，我剛才也說了，它是一個(gè)必要條件，但非充分條件。并不是模型大了之后，就必然會(huì)產(chǎn)生超越人類的智能，或者像人一樣的智能。

唐小引：那您怎么看待大家所說的 Scaling Law 撞墻的問題，很多研究都在去探索 Scaling Law 的延續(xù)。

劉嘉：從我有限的知識(shí)和觀點(diǎn)來看，所謂的 Scaling Law 撞墻，其實(shí)就是一些炒作。說白了，就是沒有那么多錢，或者買不到那么多卡，沒法在 Scaling Law 這件事情上和別人競爭，就說這條路是不對(duì)的，還是搞精細(xì)算法。我覺得搞精細(xì)算法，盡可能地 squeeze（壓榨）里的能量，讓算法變得更加精巧，顯存用得更少，這都是對(duì)的，沒錯(cuò)。但如果拉長時(shí)間來看，肯定是大量的顯卡堆出來的算力，能培養(yǎng)出更復(fù)雜的模型。

比如，北京大學(xué)和中國科學(xué)院深圳研究院做的一個(gè)調(diào)研顯示，我們國內(nèi)很多模型其實(shí)都是從國外的模型蒸餾而來。蒸餾有好處，就是不用從零開始訓(xùn)練，相當(dāng)于有個(gè)老師，直接從老師那兒吸取知識(shí)，訓(xùn)練量少了，參數(shù)量也可以少很多。但這也帶來一個(gè)缺點(diǎn)，就是原來那個(gè)模型的三觀，變成了你的三觀，這就是 AI 對(duì)齊的問題。國內(nèi)絕大多數(shù)模型都是靠蒸餾而來的，而不是從零開始訓(xùn)練。

所以回到這個(gè)問題，Scaling Law 撞墻，只是一種商業(yè)上的用語而已。但是從學(xué)術(shù)上來講，更大的算力、更大的參數(shù)量，這條路永遠(yuǎn)是沒錯(cuò)的。因?yàn)槿司褪沁@么進(jìn)化來的。

學(xué)術(shù)界 vs 工業(yè)界：從 0 到 1，與從 1 到 100

唐小引：您剛才講到從小模型到大模型，您個(gè)人的苦澀教訓(xùn)時(shí)，我就在思考，很多學(xué)術(shù)界的老師會(huì)說，在學(xué)校里做的研究就像玩具，因?yàn)槿绾潍@取到大的算力、數(shù)據(jù)和真實(shí)場景的支持是個(gè)難題。對(duì)于您來說，在學(xué)術(shù)界做大模型研究，如果一直在學(xué)術(shù)界，是不是會(huì)碰到瓶頸？

劉嘉：這是一個(gè)特別好的問題，我們一定要分清大學(xué)和大廠在功能上的區(qū)別。我經(jīng)常和學(xué)生說，你一定要想清楚，到底是想做科學(xué)還是工程。兩者沒有高下之分，但具體實(shí)踐卻截然不同。

如果想做工程，其核心是在于怎么從 1 做到 100。這種情況下一定要去大廠，即使是清華，都不要來。為什么？因?yàn)榍迦A是很厲害，但在算力、數(shù)據(jù)、人員配置上，絕不是大廠的對(duì)手。大廠為了一個(gè)商業(yè)目的，可以十幾億、幾十億地砸進(jìn)去，OpenAI 甚至可以砸數(shù)百億美元，大學(xué)肯定不行。大學(xué)一個(gè)課題組有個(gè)幾百上千萬的經(jīng)費(fèi)就已經(jīng)很厲害了，但拿來搞大模型肯定是不行的。所以商業(yè)應(yīng)用、大模型的調(diào)教，一定要到公司里做。

那在大學(xué)是要解決什么問題呢？大學(xué)要做 0 到 1 的事情，即這個(gè)問題在我們研究之前它不存在，或者它的解決方案不存在。我們?cè)诖髮W(xué)里做一些探索性的從 0 到 1 的工作，這是大學(xué)應(yīng)該干的。為什么？因?yàn)檫@個(gè)時(shí)候我連方向、怎么做都不知道，所以不計(jì)成本。第二點(diǎn)，不用擔(dān)心兩三年不出活會(huì)被開掉，大學(xué)有 tenure 制度（終身教職）。就像 Hinton 當(dāng)年在多倫多大學(xué)做人工神經(jīng)網(wǎng)絡(luò)，備受質(zhì)疑，校長曾說過“我們學(xué)校一個(gè)瘋子就夠了，絕對(duì)不能進(jìn)第二個(gè)搞人工神經(jīng)網(wǎng)絡(luò)的人”。但是校長開不了他，所以他可以潛心搞研究。但如果在一個(gè)大廠，市場上已經(jīng)說這個(gè)方向是錯(cuò)的，還敢在上面砸錢嗎？不能。

總結(jié)而言，大學(xué)做的是 0 到 1 的顛覆式創(chuàng)新，而公司或大廠做的是組合式創(chuàng)新，目的是不一樣的。對(duì)于學(xué)生而言，要做科學(xué)問題，就到大學(xué)來讀 PhD，我們只做 0 到 1，做的東西就是“無用”的。如果有用，就到大廠里去做。我們做科學(xué)問題，60 分萬歲，只要能跑起來。比如做一個(gè)智能手表，體積、耗電都很大，但它只要能達(dá)到智能手表相應(yīng)的功能，就算完成了。這個(gè)時(shí)候公司開始接手，怎么把它小型化、設(shè)計(jì)得很好看，怎么讓電池續(xù)航從一小時(shí)變成兩天。這些是工程上的問題，而非科學(xué)問題。

把這兩點(diǎn)分清楚了之后，回到剛才的問題。大學(xué)要做什么樣的人工智能？我覺得我們大學(xué)里面只做一種人工智能，就是下一代的人工智能。它現(xiàn)在不存在，但是我們有很多可能的探索路徑，大家可以去嘗試，就像我嘗試把腦科學(xué)和 AI 結(jié)合起來。你說現(xiàn)代的人工智能真的會(huì)是這樣子嗎？我堅(jiān)信是如此，但如果問其他老師，大家會(huì)說不一定靠譜。沒關(guān)系，在大學(xué)里我可以做這種嘗試。一旦成功了，就是一種顛覆性的創(chuàng)新，就會(huì)把以前推翻掉。就像 Hinton 搞出深度學(xué)習(xí)，AlexNet 一出來，就把以前做圖像分類的所有非深度學(xué)習(xí)的算法干掉了，它就是王者。

唐小引：您提到了工業(yè)界，從 ChatGPT 到現(xiàn)在，國內(nèi)經(jīng)歷了百模大戰(zhàn)，今年大家核心在做 Agent。但同時(shí)也發(fā)生了一些事情。工業(yè)界做 AI 的成本是巨大的，相應(yīng)地就涉及到資金投入還有人員的變動(dòng)，這半年里發(fā)生得非常高頻。不知道您站在學(xué)術(shù)界看工業(yè)界，有哪些思考可以分享？

劉嘉：對(duì)于人工智能這個(gè)領(lǐng)域，學(xué)術(shù)圈其實(shí)也特別卷。我們通常說一個(gè)迭代周期是 72 小時(shí)。如果三天沒看論文，可能有些東西就已經(jīng)過時(shí)了，它就這么殘忍。所以大家愿意去發(fā)會(huì)議文章，而不是發(fā)期刊文章，因?yàn)橐黄诳瘡耐陡濉徃宓阶詈蠼邮?，大概至少需要一年的時(shí)間，那時(shí)候論文已經(jīng)過時(shí)了。

回到工業(yè)界，其實(shí)是特別殘忍的。舉個(gè)簡單的例子，原來我們做文生圖，大家用的是 Diffusion（擴(kuò)散模型）。后來 OpenAI 說了，你可以不用 Diffusion，可以用文字生成 Token 這種自回歸的方式來做，而且大家也看見了效果特別好。所以本來像 Midjourney 這種做得非常好的，可能一夜之間就沒了。

唐小引：這是涉及到自回歸和擴(kuò)散模型的路線之爭。

劉嘉：對(duì)，如果從人類學(xué)的角度來講，這在歷史上也發(fā)生過。你看我們的祖先智人（Homo sapiens）和尼安德特人，當(dāng)這兩個(gè)人種碰到一起之后，絕不會(huì)握手言和，只能是一個(gè)人種消失掉。結(jié)果是我們智人要更聰明一點(diǎn)，把尼安德特人滅掉了。現(xiàn)在尼安德特人不復(fù)存在，只有少量的基因流入到智人體內(nèi)。對(duì)于人工神經(jīng)網(wǎng)絡(luò)的這種路線之爭，它一定不會(huì)是兩種算法共存。

唐小引：一定是優(yōu)勝劣汰。

劉嘉：對(duì)，因?yàn)?strong>在聰明這件事情上，越聰明就越殘忍，不會(huì)存在聰明的多樣性。因?yàn)槁斆鬟@件事情是可以清楚定義的，生成的圖是不是更好，生成的文字是不是更清楚，絕不存在大家和平共處。所以從這個(gè)角度上講，工業(yè)界一直給我一種感覺就是不確定性。今天看他樓起了，明天就看他樓塌了。這就是工業(yè)界的一個(gè)現(xiàn)狀，很殘酷。

原來我們說的百模大戰(zhàn)，現(xiàn)在還剩多少？甚至當(dāng)年比較厲害的幾個(gè)做大模型的，除了 DeepSeek，好多都已經(jīng)沒有了出路。道理非常簡單，當(dāng)一個(gè)更好的東西出來之后，它就是贏者通吃，絕不會(huì)出現(xiàn)共存。

唐小引：這是我們的必經(jīng)之路，對(duì)吧？

劉嘉：如果簡單來看，這就是進(jìn)化，進(jìn)化就是這么殘忍。你看猴子，各種各樣的猴子都能活得挺好，因?yàn)樗鼈冎巧滩粔颉?strong>智商不夠的物種是能夠共存的，而智商比較高的物種，那一定要滅掉對(duì)方。

所以從這個(gè)角度上來看，競爭很激烈。第二點(diǎn)，有一個(gè)很重要的把握，就是我這幾年做人工智能，我每次都在訓(xùn)練自己去尋找它發(fā)展的底層邏輯。這個(gè)底層邏輯太重要了，也就是馬斯克強(qiáng)調(diào)的第一性原理。所以我在寫《通用人工智能》時(shí)核心不是技術(shù)層面的內(nèi)容，因?yàn)榻裉爝€很流行的技術(shù)，等書面世之后，可能已經(jīng)受到了嚴(yán)重的挑戰(zhàn)。但它背后的底層邏輯，應(yīng)該是保留住的。

唐小引：對(duì)于剛才的工業(yè)問題，那底層邏輯核心，比如對(duì)于大家看到的樓起樓塌背后不變的是什么？

劉嘉：我覺得現(xiàn)在企業(yè)有一個(gè)最核心的原則，就是千萬不要去做專用模型，通用模型專家化，一定會(huì)干掉純專業(yè)的模型。舉個(gè)例子，最開始我們做面孔識(shí)別，都是用的卷積神經(jīng)網(wǎng)絡(luò)。但是現(xiàn)在做這些的已經(jīng)全部死掉了。后來大家發(fā)現(xiàn)用 Transformer 這種方式來做視覺識(shí)別，效果要遠(yuǎn)遠(yuǎn)好于通過卷積來做。我原來做 Transformer 是做大語言模型的，是通用模型，但是我把它調(diào)教成做圖形，居然就勝過原來專門做圖形識(shí)別的那些模型。

所以這就是我總結(jié)出來一個(gè)經(jīng)驗(yàn)，千萬不要做一個(gè)專一的模型。

唐小引：這其實(shí)從去年年底開始，AI 技術(shù)圈又興起了大小模型協(xié)作，我理解是通用模型和專用模型在一起協(xié)作的方式。

劉嘉：我是這么來看的，首先要區(qū)分兩個(gè)概念。一是我們現(xiàn)在講的 Agent，大模型扮演大腦的工作，下面有一大堆各種各樣的小工具，有的是負(fù)責(zé)搜互聯(lián)網(wǎng)，有的是負(fù)責(zé)繪圖。一個(gè)大模型帶一堆小模型，在 Agent 這個(gè)領(lǐng)域是沒錯(cuò)的。

我們剛才說的是在一個(gè)相對(duì)比較大的領(lǐng)域里面，比如繪畫，我是專門做一個(gè)模型來繪畫，還是把一個(gè)通用的大模型拿來精調(diào)或微調(diào)實(shí)現(xiàn)繪畫。現(xiàn)在結(jié)論已經(jīng)很清楚了，從大模型里面調(diào)一下，先有一個(gè)聰明人，再把它變成一個(gè)專家，一定會(huì)干掉直接往這個(gè)方向去培養(yǎng)的模型。打個(gè)比方，一個(gè)聰明人，他干啥都會(huì)很厲害，只要他接受了適當(dāng)?shù)慕逃@個(gè)適當(dāng)?shù)慕逃褪?fine-tuning。

很多人都很怕 OpenAI 發(fā)布新功能，因?yàn)橐怀鲂?，一大批?chuàng)業(yè)公司可能就此死掉。因?yàn)?OpenAI 掌握了一個(gè)非常強(qiáng)大的大模型 GPT 系列，往任何方向稍微轉(zhuǎn)一下，在性能上就把原來專門做某個(gè)方向 AI 的人全部給干死。

唐小引：這就是您說的“通用模型專家化”。

劉嘉：對(duì)。DeepSeek 的出現(xiàn)改變了很多東西。以前開源的模型，它不可商用。Llama 功能很有限，如果真想去做非常嚴(yán)肅的商用，是不可能的。而可用的模型它是閉源的，比如 Anthropic 的 Claude，還有 GPT 系列。只能通過購買 token 來用，這對(duì)商業(yè)來說成本很高。

DeepSeek 沒有炒作，是一個(gè)貨真價(jià)實(shí)的東西。它的性能達(dá)到了當(dāng)年 GPT-4o 的水平，但它還開源。這樣就給大家一個(gè)可用的商用級(jí)別的大模型。我覺得這件事情對(duì)很多創(chuàng)業(yè)公司來講非常友好?，F(xiàn)在也有很多受它啟發(fā)而開源的模型，比如阿里的通義千問，非常好用，性能在很多方面不比 DeepSeek 差。我們現(xiàn)在處在一個(gè)良好的開放社區(qū)里，對(duì)商業(yè)發(fā)展非常有幫助。

AI 基礎(chǔ)理論的真實(shí)現(xiàn)狀：為何總是“新瓶裝舊酒”？

唐小引：從技術(shù)來講，AI 的真實(shí)現(xiàn)狀是什么？由 DeepSeek 帶火的 MoE，它的概念能追溯到 1991 年。強(qiáng)化學(xué)習(xí)也能追溯到上個(gè)世紀(jì)。自從 Transformer 之后，很難說有比較關(guān)鍵性的基礎(chǔ)理論突破。很多人關(guān)心 AI 的瓶頸問題。

劉嘉：強(qiáng)化學(xué)習(xí)這個(gè)概念來自于行為主義心理學(xué)，是上上世紀(jì) 1890 年代由哈佛大學(xué)心理學(xué)教授桑代克提出來的。后來到了上世紀(jì)六七十年代，強(qiáng)化學(xué)習(xí)日益被意識(shí)到可以拿來做一種算法訓(xùn)練模型。而 MoE 這個(gè)架構(gòu)，最早也是來自于認(rèn)知科學(xué)的一個(gè)概念，叫“全局工作空間”（Global Workspace Hypothesis）。

為什么 AI 現(xiàn)在和心理學(xué)、認(rèn)知科學(xué)、腦科學(xué)結(jié)合得這么緊密呢？道理非常簡單，因?yàn)槿斯ど窠?jīng)網(wǎng)絡(luò)從一開始就是通過仿生這條路來走的。Hinton 當(dāng)年之所以堅(jiān)持，他的一個(gè)核心理念就是，通過神經(jīng)網(wǎng)絡(luò)的方式，人能產(chǎn)生智能，那我去仿生它，也一定能夠產(chǎn)生智能。所以人工神經(jīng)網(wǎng)絡(luò)本身就是一條仿生的道路。

第二點(diǎn)，它的目的是要產(chǎn)生跟人一樣的智能，我們叫類人智能。既如此，那人的各種行為表現(xiàn)、認(rèn)知方式，也成為人工神經(jīng)網(wǎng)絡(luò)去模仿的根基。我們找到了大腦走的是“全局工作空間”，那我是不是用 MoE 來搞一搞類似的方式，是不是可以運(yùn)行？就發(fā)現(xiàn)的確能運(yùn)行得非常好。

唐小引：我很困惑，為什么 AI 的追求是類人？難道不是“詩和遠(yuǎn)方”交給人類自己，臟活累活讓機(jī)器干嗎？現(xiàn)在好像反過來了。

劉嘉：其實(shí)，我們進(jìn)化出大腦皮層，現(xiàn)在強(qiáng)調(diào)的推理、編程、語言，這些功能的核心腦區(qū)是我們的新皮層，比如額葉。這總共也就進(jìn)化了幾千萬年，甚至說得不保守一點(diǎn)，也就是幾百萬年。比如我們的前額葉主要就是在過去 300 萬年形成的，它和我們所謂的思維鏈（Chain of Thoughts，CoT）有密切關(guān)系。它在進(jìn)化上只花了這么點(diǎn)時(shí)間，所以它的功能也是最弱的，最好模擬。

我們?cè)倏戳硗庖粋€(gè)角度，我們整個(gè)大腦有 860 億個(gè)神經(jīng)元，神經(jīng)元最多的地方不在大腦皮層，而在小腦。我們?nèi)说恼麄€(gè)大腦里面神經(jīng)元最多的在小腦，它的密度是最高的。而小腦主管我們的運(yùn)動(dòng)，運(yùn)動(dòng)這塊是經(jīng)過幾億年進(jìn)化出來的，它花了更久的時(shí)間，也就是說它其實(shí)是一件更難的事情。所以我們現(xiàn)在所謂的苦活、臟活，你拖個(gè)地板、洗個(gè)碗，都覺得誰都能干，但是機(jī)器人干不了，最先進(jìn)的機(jī)器人干不了，因?yàn)樗婕暗竭\(yùn)動(dòng)，涉及到更復(fù)雜的計(jì)算。

再比如感官，我們倆現(xiàn)在聊天，突然那邊一個(gè)黑乎乎的東西飛過來，我們二話不說馬上就做一個(gè)遮擋動(dòng)作，這是下意識(shí)的。機(jī)器人不會(huì)，一個(gè)球扔過來，它一定會(huì)被砸到，它反應(yīng)不過來。因?yàn)?strong>機(jī)器人接觸到外面多模態(tài)信息的時(shí)候，它必須要快速提取有效信息，現(xiàn)在的 AI 干不了這件事情，它的處理速度極慢。

所以，與生存相關(guān)的，我們覺得最簡單的東西，其實(shí)現(xiàn)在反而變成了人工智能最難攻克的。而我們覺得很厲害的，比如解個(gè)偏微分方程，反而不需要太多的智能。所以回到我們現(xiàn)在的問題，為什么要去做仿生？因?yàn)槲覀兯龅耐评怼懘a等只是我們模仿生物智能萬里長征中邁出的第一步而已。真正要讓它在這世界上像人一樣自由地游走，能夠趨利避害，看見一個(gè)危險(xiǎn)就躲掉，看見有用的東西就撲上去，還離得太遠(yuǎn)。

唐小引：所以，具身智能真正的挑戰(zhàn)是在于小腦？

劉嘉：對(duì)，在多模態(tài)感知和小腦這一塊，而非推理。因?yàn)橥评泶竽Ｐ鸵呀?jīng)把它解決掉了?，F(xiàn)在大家覺得具身智能很奇怪，認(rèn)為只要接上機(jī)器人，或者接上輛小車，在外面跑一跑，就叫具身智能。其實(shí)這和我們認(rèn)知科學(xué)所談的“具身”（embodied cognition）是風(fēng)馬牛不相關(guān)的。現(xiàn)在很多所謂的人形機(jī)器人，只是原來工業(yè)機(jī)器人換了個(gè)外殼而已，與智能一點(diǎn)關(guān)系都沒有。

通向 AGI 的三條路線：為何 NLP 最終勝出？

唐小引：我們來聊聊您提到的通向 AGI 的三條路線：強(qiáng)化學(xué)習(xí)、腦模擬和自然語言處理（NLP）。您認(rèn)為前兩者行不通，NLP 更有希望，這個(gè)論斷是大家的共識(shí)嗎？

劉嘉：在 2022 年 11 月 30 日之前，當(dāng)時(shí)我們?cè)谥窃囱芯吭?，這三條路都有人嘗試，百花齊放。大模型出來之后，其實(shí)其他兩條路就垮了，只剩下通過自然語言做大模型這一條路。

在書中我提到了，這三種路線分別在模仿人的不同狀態(tài)。腦模擬是模仿我的神經(jīng)系統(tǒng)；強(qiáng)化學(xué)習(xí)是模仿人的行為；而大語言模型，它本身不是模仿語言，而是語言所承載的認(rèn)知，它更多的是模仿人的思維。我們當(dāng)時(shí)認(rèn)為是條條大路通羅馬，但為什么后來只有語言搞出了 AGI 的火花，而另外兩條路不行呢？其實(shí)并不是說這兩條路不行，而是它們有邁不過去的坎。

比如強(qiáng)化學(xué)習(xí)，我們?nèi)司褪菑?qiáng)化學(xué)習(xí)一路進(jìn)化過來的，但這個(gè)時(shí)間太長了。生物花了 38 億年的時(shí)間，才能接觸到各種各樣可能的條件?，F(xiàn)在一個(gè)機(jī)器人要通過外界反饋來學(xué)會(huì)智能，不具有可行性。

再來說模擬神經(jīng)元。從概念上講沒問題，但它也碰到一個(gè)現(xiàn)實(shí)問題，就是人的神經(jīng)網(wǎng)絡(luò)太復(fù)雜了，860 億個(gè)神經(jīng)元。我們對(duì)大腦的了解還不夠，連算力都不支持。我們現(xiàn)在了解最多的就是線蟲的 302 個(gè)神經(jīng)元，連果蠅的十幾萬個(gè)神經(jīng)元我們都搞不定。所以這兩條路，不是說理論上通向不了 AGI，而是有太多的現(xiàn)實(shí)約束。

但是自然語言處理這件事，人類干了一件很厲害的事情，就是把所有的知識(shí)全部記載下來，通過書、圖書館、互聯(lián)網(wǎng)等?，F(xiàn)在只需要找一個(gè)神經(jīng)網(wǎng)絡(luò)，把這種知識(shí)壓縮進(jìn)去就夠了。以前大家沒找到很好的方法，而Transformer 的核心是找萬事萬物之間的關(guān)系和連接，能建一個(gè)非常龐大的知識(shí)圖譜。就能增加參數(shù)量，把全世界所有知識(shí)全部壓縮在里面。一旦知識(shí)進(jìn)去了，它就可能會(huì)開始思考。

AI 要大放異彩，需要兩個(gè)條件。第一，高質(zhì)量的數(shù)據(jù)。我們互聯(lián)網(wǎng)的文本、書籍就是高質(zhì)量的數(shù)據(jù)。而強(qiáng)化學(xué)習(xí)沒有高質(zhì)量的數(shù)據(jù)，到現(xiàn)在也沒有一個(gè)關(guān)于具身智能或強(qiáng)化學(xué)習(xí)的很好的數(shù)據(jù)集像 ImageNet 一樣。第二，它一定要在“已知的未知”這個(gè)領(lǐng)域大放異彩。就是說，人類已經(jīng)知道一些初步的東西，但要把它全部解完還解不完。最好的例子就是 AlphaFold 解蛋白質(zhì)序列，人類知道怎么解，但世界上有兩億個(gè)蛋白質(zhì)，人一個(gè)一個(gè)去解可能得干一兩千年。AI 來干這活正好。

但是，直接模擬人類大腦神經(jīng)系統(tǒng)，對(duì)我們來說是“未知的未知”。我們不知道大腦神經(jīng)元是怎么放電來產(chǎn)生思想的，對(duì)此一無所知。在這個(gè)領(lǐng)域，AI 是無能為力的。但是通過自然語言這件事情來做，正好兩個(gè)條件都具備了。

唐小引：但現(xiàn)在對(duì)于高質(zhì)量的數(shù)據(jù)，很多人說數(shù)據(jù)也面臨耗盡，所以合成數(shù)據(jù)由此興起。

劉嘉：數(shù)據(jù)耗盡是必然的，因?yàn)榭偣簿椭挥心敲炊辔淖帧Ｎ矣X得現(xiàn)在對(duì)于大模型來說，最大的問題是它有一個(gè)關(guān)鍵口沒邁過去，所以我們現(xiàn)在只能叫它“火花”。它沒有創(chuàng)造力。

什么叫沒有創(chuàng)造力呢？假設(shè)我現(xiàn)在訓(xùn)練一個(gè)繪畫大模型，我輸入的全是傳統(tǒng)的經(jīng)典繪畫。訓(xùn)練完之后，它會(huì)畫出梵高的印象派畫作嗎？不會(huì)。所有的大模型，其實(shí)都是在人給它的知識(shí)邊界里，從來沒有逾越一步。從某種角度講，現(xiàn)在大模型能夠生成（Generative），但是它沒有創(chuàng)新（Innovation）。這是兩個(gè)完全不同的概念。前者是 1 到 100 的過程，是工程問題。而人的創(chuàng)造力（Creativity），是 0 到 1 的過程。

數(shù)據(jù)耗竭是人給它的數(shù)據(jù)耗竭了，自己可以合成數(shù)據(jù)，但也是在人的框架里來合成，這只是數(shù)據(jù)增強(qiáng)，本身不會(huì)有太大的變化。所以數(shù)據(jù)耗竭現(xiàn)在是 AI 面臨的一個(gè)非常重要的問題。它的突破點(diǎn)在哪？如果 AI 有一天能夠像人一樣具有創(chuàng)造力，能夠干 0 到 1 的事情，那數(shù)據(jù)永遠(yuǎn)就不會(huì)耗竭了，因?yàn)樗梢詣?chuàng)造出人類所沒有的數(shù)據(jù)出來，這樣它就可以源源不斷地去學(xué)習(xí)。

唐小引：您基于當(dāng)今的研究，覺得 AI 自己擁有創(chuàng)造力是可能的嗎？

劉嘉：從目前來講，我們沒有看到。這也是為什么我要去研究腦科學(xué)加 AI 的原因。因?yàn)槲覀內(nèi)耸怯袆?chuàng)造力的，人類作為一個(gè)物種，有這種 0 到 1 的創(chuàng)造能力，AI 是沒有的。

這個(gè)事，是它 can’t do it（永遠(yuǎn)不能），還是 can’t do it yet（暫時(shí)不能）？這是一個(gè)信仰問題。對(duì)我來講，我認(rèn)為現(xiàn)在的大模型是不能做的，它不具有創(chuàng)造力。因?yàn)榇竽Ｐ退龅囊磺?，全是在壓縮人類已有的知識(shí)。在它的損失函數(shù)里，從來沒有說要?jiǎng)?chuàng)造出新的東西出來，只是說怎么忠實(shí)地把東西給壓縮進(jìn)去。一旦大模型產(chǎn)生一點(diǎn)幻覺，我們?nèi)诉€要馬上把它“掐”死。所以大模型從訓(xùn)練的第一步開始，我們的算法就在告訴它：不要有創(chuàng)造，就老老實(shí)實(shí)把人的知識(shí)用最好的方式壓縮進(jìn)去就 OK 了。

但是人不一樣，我們?nèi)司褪强坎粩嗟貏?chuàng)造出新知來進(jìn)化的，我們的目的是一代要去顛覆上一代的東西。這是人和大模型一個(gè)非常本質(zhì)的區(qū)別。所以我認(rèn)為大模型在短期之內(nèi)，它不太可能具備創(chuàng)造力。或者沿著這條方式去做，它不會(huì)具有 0 到 1 的創(chuàng)造力。

唐小引：對(duì)于 NLP 我很困惑的一點(diǎn)是，大家對(duì)于維特根斯坦的“語言的邊界就是世界的邊界”奉為圭臬。但同時(shí)，比如在自動(dòng)駕駛的車上，如果前方有緊急事物，人類大腦是下意識(shí)的反應(yīng)，已經(jīng)帶著人做了行動(dòng)。但如果是跟大模型的交互，你要先用語言去溝通，它再去反應(yīng)，可能有些事情是語言沒有時(shí)間能夠去表達(dá)的。

劉嘉：我完全同意這個(gè)觀點(diǎn)。這就是剛才我說的，最容易模仿的就是我們的思維。我們真正的下意識(shí)反應(yīng)，看見一個(gè)危險(xiǎn)我馬上就躲，這個(gè)與我們大腦皮層沒關(guān)系?？崧鼘懥恕端伎?，快與慢》，我們現(xiàn)在是在模擬第二系統(tǒng)，也就是慢思維這一部分。我們所謂的思維鏈，其實(shí)就是模仿慢系統(tǒng)。

但是，人的第一系統(tǒng)，這種快思維，大模型還沒有去解決。這個(gè)問題就必須留給具身智能來解決。所以具身智能的難度遠(yuǎn)遠(yuǎn)要高于大模型的難度。

維特根斯坦說“語言的邊界即世界的邊界”，這個(gè)世界指的是認(rèn)知的世界，不是我們的物理世界。我們思維的邊界是由語言所定義的。但是，我們的很多行動(dòng)、潛意識(shí)的反應(yīng)、情感，這個(gè)不屬于認(rèn)知的世界，它是人類一種本能性的反應(yīng)。而這套系統(tǒng)其實(shí)對(duì)我們?nèi)藖碚f，或者從生物智能來講，它是一個(gè)更加珍貴的東西，它更復(fù)雜，而且我們現(xiàn)在對(duì)它更加一無所知。所以我覺得下一代人工智能為什么一定要和腦科學(xué)結(jié)合，就是我們得去把第一系統(tǒng)給補(bǔ)上，不能只靠第二系統(tǒng)干活。

知識(shí)密集型的崗位會(huì)消失 95%，TOP 5% 的人會(huì)活下來

唐小引：回到人本身的話題。從大模型席卷開始，大家就核心聊到了人本身，首先就是程序員。從 ChatGPT 一出來，就有了 AI 取代程序員的論斷。在教育上，很多人討論為什么還要學(xué)習(xí)，大學(xué)教育是不是要有一些變化？

劉嘉：因?yàn)榇竽Ｐ偷某霈F(xiàn)，我們?cè)瓉矶x的知識(shí)密集型行業(yè)，比如編程、律師、醫(yī)生，現(xiàn)在變得特別不值錢了，知識(shí)變得不值錢了?，F(xiàn)在一個(gè)不會(huì)編程的人，都可以寫出很好的代碼出來。Cursor 現(xiàn)在寫的代碼已經(jīng)比 99% 的人都要強(qiáng)了。

這個(gè)時(shí)候?qū)τ谌祟惗砸陕?？原來我好不容易學(xué)會(huì)編程，終于有一碗飯吃，現(xiàn)在瞬間我就失業(yè)了。這是一個(gè)事實(shí)，永遠(yuǎn)沒法改變。其實(shí)這件事情本身并不是一個(gè)讓人恐慌的事情。回到第一次工業(yè)革命的時(shí)候，我是一個(gè)小作坊的經(jīng)營者，每天靠織布掙錢，但有一天機(jī)器來了，開了一個(gè)紡織廠，它織的布又好又快，價(jià)格還便宜，那我不就一下失業(yè)了嗎？

工業(yè)革命其實(shí)把人從這種繁瑣低效的工作里解放出來，所以工業(yè)革命之后，人的 GDP 才開始大量增加，社會(huì)才高速進(jìn)步。AI 要干的事情，其實(shí)也是把人從那種枯燥復(fù)雜的事情里解放出來。以前編程，大量的代碼是在做重復(fù)性的工作（高頻的復(fù)制+粘貼）?，F(xiàn)在 Cursor 能幫你把大部分的代碼寫了，那我們每個(gè)人就可以真的坐下來，考慮要實(shí)現(xiàn)一個(gè)什么樣的功能，把自己的勞力用在了真正的刀刃上，而不是去 Ctrl+C、Ctrl+V。

所以，這其實(shí)是人類一種真正的解放。從原來重復(fù)性的、基于知識(shí)的工作，變成一種可以去做創(chuàng)造了。因?yàn)閯?chuàng)造這件事情是 AI 不行而我們?nèi)祟愖钌瞄L的，我現(xiàn)在更多的把 AI 當(dāng)成一種助手，它不是替代我的角色。將來人與人之間的競爭會(huì)變成一個(gè)會(huì)用 AI 的人 vs 一個(gè)不會(huì)用 AI 的人，而不是人和 AI 之間的競爭。

唐小引：就以程序員為例。編程本身是用程序的語言作為中間介質(zhì)給到機(jī)器，但我們現(xiàn)在可以直接用 AI，AI 可以自己寫，為什么還需要中間這個(gè)環(huán)節(jié)？

劉嘉：我從來不認(rèn)為編程的本質(zhì)是在寫代碼（Code），我認(rèn)為編程的本質(zhì)是通過機(jī)器來解決問題，它的核心是問題解決。編程高手是在想怎么通過一條有規(guī)則的方式，把一個(gè)復(fù)雜問題給解決掉，計(jì)算機(jī)程序只是他的工具而已。Cursor 本身不具有解決復(fù)雜問題的能力，它只是執(zhí)行者。人的這種復(fù)雜問題解決能力，是沒有被 AI 所取代的。知識(shí)密集型的崗位會(huì)消失掉 90%、95%，但它會(huì)讓 TOP 5% 的這些人活下來。

唐小引：TOP 5% 的是哪些？

劉嘉：具有稀缺性的人。我舉個(gè)例子，音樂人小柯，現(xiàn)在大家都可以用 Suno 生成音樂，把很多一般的音樂人都干掉了。但在 AI 大量出現(xiàn)的情況下，小柯的價(jià)值反而漲了。因?yàn)樗?AI 現(xiàn)在代替不了的頂級(jí)音樂人。他制作音樂時(shí)，會(huì)讓 AI 先做，他聽了之后，就要讓自己的音樂和 AI 的方式不一樣，讓音樂一聽就有人味，沒有 AI 味。

唐小引：所以對(duì)于大家來講，要努力修煉成稀缺的 5%。

劉嘉：對(duì)，那是最關(guān)鍵的。因?yàn)?AI 的加持，現(xiàn)在人人都能拿 80 分，所以 80 分就沒有意義。這些人的區(qū)分度就完全沒有了?，F(xiàn)在你需要干什么？需要從 80 怎么變成 90，怎么從 90 變成 95。越能做到這一步，就能把稀缺性完全展現(xiàn)出來。

唐小引：這就是您想要講的通識(shí)教育。

劉嘉：對(duì)。從大學(xué)教育的角度上講，現(xiàn)在就不再是圍繞著把人變成一個(gè)專一學(xué)科的人，而是要把它變成一個(gè)通識(shí)，要跨學(xué)科，什么學(xué)科的知識(shí)都要有一點(diǎn)。因?yàn)槿朔浅Ｉ瞄L把各個(gè)學(xué)科的內(nèi)容進(jìn)行交叉，在交叉的過程中會(huì)產(chǎn)生新的創(chuàng)造。創(chuàng)新點(diǎn)從來就在學(xué)科的交叉上。

唐小引：比如就清華而言，這兩年在追求跨學(xué)科方面有很大變化嗎？

劉嘉：我就舉兩個(gè)例子。第一個(gè)例子，現(xiàn)在清華把本科生教育做一個(gè)轉(zhuǎn)換，要全部放到書院里去。原來計(jì)算機(jī)系的學(xué)生就在計(jì)算機(jī)系學(xué)習(xí)，現(xiàn)在清華不這么做了，而是所有系把自己的本科生放到書院里面，好幾個(gè)學(xué)科的同學(xué)都放在一起，進(jìn)行大類教育，什么都學(xué)。等到大二大三時(shí)，才選專業(yè)。將來所有清華的系或?qū)W院就不再有本科生了，全都放到書院里面去。

第二個(gè)比較大的改革，以今年招生為例，清華要擴(kuò)招 150 人，全部做人工智能，成立了“無穹書院”。這 150 人學(xué) AI 的方式和其他人工智能完全不一樣，都是“AI+某個(gè)方向”，可以 AI+生物、AI+化學(xué)、AI+汽車制造。是以人工智能為底，但核心是向各個(gè)學(xué)科擴(kuò)展。即使學(xué) AI，也不是純學(xué) AI，而是一定要和某個(gè)學(xué)科跨起來學(xué)。

結(jié)語：這是焦慮的時(shí)代，還是幸福與興奮的時(shí)代？

唐小引：劉老師最后給我們的讀者、開發(fā)者、工程師群體，留一個(gè)您想說的心理話或者寄語。

劉嘉：如果簡單講一句話，我覺得現(xiàn)在是一個(gè)最美好的時(shí)代。因?yàn)?strong>從來就沒有哪個(gè)時(shí)代，能夠因?yàn)橥ㄓ萌斯ぶ悄艿某霈F(xiàn)而變得如此有趣。我們以人類智能為模板，創(chuàng)造了一個(gè)全新的物種，一個(gè)終于在智力上可以和人類進(jìn)行對(duì)話的新物種。以前我們是這個(gè)宇宙的孤兒，整個(gè)宇宙里就只有我們?nèi)祟愂且粋€(gè)聰明的物種?，F(xiàn)在我們終于有個(gè)可以對(duì)話的物種了。

所以為什么我說這是一件很幸福的時(shí)代，我們終于不再孤單了。而且這是一個(gè)非常讓人興奮的時(shí)代，因?yàn)槲覀兛梢院?AI 一起來共進(jìn)化，共同成長。這是一個(gè)更有想象力的未來。我們能不能通過它，讓我們壽命變得更長，治愈我們所有的疾?。课覀兡懿荒芡ㄟ^它來擴(kuò)展我們的認(rèn)知，做腦機(jī)接口、認(rèn)知增強(qiáng)？我們可不可以然后通過它來真正獲得永生？我覺得 AI 給我們帶來了原來只存在于科幻小說里面的很多想象場景，但隨著 AI 的發(fā)展，隨著它和各個(gè)學(xué)科的結(jié)合，這一切都從一種科幻或者神話傳說，逐漸會(huì)變成現(xiàn)實(shí)。所以這是一個(gè)既讓人非常幸福，同時(shí)又讓人感到非常興奮的時(shí)代。

唐小引：也會(huì)很焦慮嗎？

劉嘉：焦慮就像第一次工業(yè)革命一樣，首先是焦慮，所以大家會(huì)去砸機(jī)器。但是后來大家覺得還是有機(jī)器的生活會(huì)更好一些。

唐小引：您的《通用人工智能》姊妹篇預(yù)計(jì)什么時(shí)候和大家見面？

劉嘉：我希望 2025 的暑假能有時(shí)間把下半部寫成。因?yàn)槿斯ぶ悄苓@個(gè)領(lǐng)域是 72 小時(shí)的一個(gè)迭代速度，它和心理學(xué)、腦科學(xué)不一樣。所以我想能夠把一些比較新的想法或者從不同學(xué)科來看的東西盡快寫出來。我希望是這個(gè)暑假能夠把它寫出來，但是，任何事情都可能有意外。

唐小引：謝謝劉老師為我們帶來的精彩分享，也祝劉老師的下一步著作早日面世。

劉嘉：謝謝。希望大家能夠通過這次的討論和閱讀有一些新的感悟，也希望讀了之后能夠和我進(jìn)一步地分享討論。

對(duì)話完整視頻如上，也歡迎對(duì)《通用人工智能》感興趣的小伙伴京東下單紙書

關(guān)于《萬有引力》：

這是由 CSDN &《新程序員》執(zhí)行總編唐小引主理的對(duì)話欄目。技術(shù)趨勢多變，一不留神總擔(dān)心錯(cuò)過。正在發(fā)生的技術(shù)事件，對(duì)于我們開發(fā)者意味著什么？我們面臨的諸多困惑從何尋找答案？《萬有引力》即志在于此，直面事件與困惑，抽絲剝繭，解讀技術(shù)真相。

• 欄目定位：一檔面向開發(fā)者群體，聚焦解讀技術(shù)真相的對(duì)話欄目。

• 視頻觀看平臺(tái)：CSDN 視頻號(hào)、CSDN 網(wǎng)站 & App

• 多形式：文章、視頻、音頻都會(huì)有，持續(xù)關(guān)注 CSDN 公眾號(hào)都可獲取，歡迎大家關(guān)注！

會(huì)議推薦：

AI 產(chǎn)品爆發(fā)，但你的痛點(diǎn)解決了嗎？

2025 全球產(chǎn)品經(jīng)理大會(huì)

8 月 15–16 日

北京·威斯汀酒店

互聯(lián)網(wǎng)大廠、AI 創(chuàng)業(yè)公司、ToB/ToC 實(shí)戰(zhàn)一線的產(chǎn)品人

12 大專題分享，洞察趨勢、拆解路徑、對(duì)話未來。

立即掃碼領(lǐng)取大會(huì)PPT

搶占 AI 產(chǎn)品下一波紅利