新智元報(bào)道

編輯：KingHZ

【新智元導(dǎo)讀】圖靈獎(jiǎng)得主LeCun與Meta分道揚(yáng)鑣！LLM邪路一條，「世界模型才是」未來(lái)。

Meta風(fēng)向已變，Yann LeCun承認(rèn)馬上離職！

據(jù)多家權(quán)威媒體報(bào)道，Meta首席AI科學(xué)家、負(fù)責(zé)「基礎(chǔ)AI研究」（FAIR）的Yann LeCun，預(yù)計(jì)將很快離職。

這位65歲的AI界元老，在Meta這家全球最大的科技公司之一擔(dān)任核心大腦，可以說(shuō)擁有無(wú)限的資源。

Meta可謂揮金如土。它用天價(jià)薪酬瘋狂從對(duì)手那里挖角頂尖AI專(zhuān)家。

在7月，扎克伯格甚至宣稱(chēng)「超級(jí)智能已近在眼前」。

那么，LeCun為何要離開(kāi)Meta呢？只是因?yàn)镸eta的人事動(dòng)蕩嗎？背后有何隱情？

小扎轉(zhuǎn)向，LeCun失勢(shì)？

今年夏天，年僅28歲的Alexandr Wang成為Meta的首席AI官，讓這位初出茅廬的大語(yǔ)言模型狂熱者成了LeCun的上司。

此外，Meta今年還任命了另一位相對(duì)年輕的首席科學(xué)家趙晟佳（Shengjia Zhao），職位也在LeCun之上。

在官方公告中，Meta盛贊了趙晟佳在scaling方面帶來(lái)的「突破」。而LeCun恰恰對(duì)scaling失去了信心。

他還告誡博士生：「不要做LLM」。

如果你好奇為什么LeCun和Zhao都是首席科學(xué)家，那是因?yàn)镸eta的AI部門(mén)組織架構(gòu)相當(dāng)奇特，分成了多個(gè)獨(dú)立的團(tuán)隊(duì)。

媒體不斷有消息放出，Meta要對(duì)其AI組織結(jié)構(gòu)動(dòng)刀。

上個(gè)月，Meta超級(jí)AI實(shí)驗(yàn)室裁掉了數(shù)百人，包括10年老將田淵棟。據(jù)稱(chēng)，這是為了理順這種混亂的局面。

這已經(jīng)是Meta在半年之內(nèi)第四次調(diào)整AI業(yè)務(wù)了。

而那支曾由LeCun領(lǐng)導(dǎo)、風(fēng)頭一時(shí)無(wú)兩的FAIR，如今早已風(fēng)光不再。據(jù)現(xiàn)任與前員工透露，這個(gè)部門(mén)經(jīng)歷了裁員、預(yù)算縮水，內(nèi)部影響力也明顯下降。

曾幾何時(shí)，F(xiàn)AIR是Meta內(nèi)部思想最活躍的「象牙塔」，研究人員可以探討各種AI未來(lái)路徑，甚至可以做些「未必能成」的實(shí)驗(yàn)，完全不用擔(dān)心產(chǎn)品化問(wèn)題。

而現(xiàn)在，Meta新組建的AI研究部門(mén)招來(lái)一大批高薪新兵，由Wang主導(dǎo)，目標(biāo)明確：要快、要落地、要產(chǎn)品化。

在AI上，他領(lǐng)先了40年

LeCun一向走在時(shí)代前沿——

早在「機(jī)器學(xué)習(xí)」還不被主流認(rèn)可時(shí)，他就開(kāi)始研究這個(gè)方向。

他曾在多倫多的Geoffrey Hinton實(shí)驗(yàn)室工作，那時(shí)Hinton還沒(méi)成為AI傳奇人物。

之后，他的職業(yè)生涯大多時(shí)間都在新澤西州的貝爾實(shí)驗(yàn)室度過(guò)，這家機(jī)構(gòu)因誕生眾多創(chuàng)新發(fā)明而聞名。

1947年，貝爾實(shí)驗(yàn)室發(fā)明晶體管

「最讓我興奮的事情，就是和比我聰明的人共事，因?yàn)檫@會(huì)放大你的能力。」LeCun在2023年雜志采訪時(shí)說(shuō)道。

在貝爾實(shí)驗(yàn)室，LeCun曾參與開(kāi)發(fā)手寫(xiě)識(shí)別技術(shù)，這項(xiàng)技術(shù)后來(lái)被廣泛應(yīng)用于銀行自動(dòng)讀取支票。他還參與了一個(gè)項(xiàng)目，致力于將紙質(zhì)文檔數(shù)字化并通過(guò)互聯(lián)網(wǎng)分發(fā)。

LeCun曾表示，自己從小就對(duì)物理感興趣，在貝爾實(shí)驗(yàn)室期間也主要和物理學(xué)家合作，看了不少物理教材。

我學(xué)到了很多表面上與AI或計(jì)算機(jī)科學(xué)無(wú)關(guān)的東西（我本科是電氣工程，計(jì)算機(jī)方面的正規(guī)訓(xùn)練其實(shí)很少）。

2003年，LeCun開(kāi)始在紐約大學(xué)教授計(jì)算機(jī)科學(xué)，后來(lái)成為該校數(shù)據(jù)科學(xué)中心的創(chuàng)始主任。

2013年，扎克伯格親自邀請(qǐng)他加入Facebook（當(dāng)時(shí)還未更名為Meta），組建全新的AI實(shí)驗(yàn)室。

他領(lǐng)導(dǎo)這個(gè)團(tuán)隊(duì)四年，2018年卸任，轉(zhuǎn)為公司首席AI科學(xué)家，以「?jìng)€(gè)人研究員」身份繼續(xù)探索技術(shù)前沿。

2018年，他與Geoffrey Hinton和Yoshua Bengio共同獲得圖靈獎(jiǎng)——計(jì)算機(jī)界的最高榮譽(yù)，以表彰三人在神經(jīng)網(wǎng)絡(luò)方面的奠基性工作。

自那之后，LeCun就逐漸轉(zhuǎn)為「象征性人物」角色。他沒(méi)有參與Meta首個(gè)開(kāi)源大語(yǔ)言模型Llama的研發(fā)，也早就不再參與這類(lèi)項(xiàng)目的日常工作。

據(jù)與他共事的人透露，LeCun現(xiàn)在主要在做自己的研究項(xiàng)目，也經(jīng)常出席各種技術(shù)會(huì)議，發(fā)表對(duì)AI技術(shù)的看法。

面對(duì)媒體的報(bào)道，Yann LeCun只是指出了報(bào)道中的「小錯(cuò)誤」，并沒(méi)有否認(rèn)即將離職的消息。

他知道自己在包括Meta在內(nèi)的整個(gè)硅谷技術(shù)圈內(nèi)，備受冷落。上個(gè)月在MIT的一次研討會(huì)上，65歲的LeCun直言：

這些年，我在硅谷、包括Meta的很多角落都不太受歡迎，因?yàn)槲乙恢痹谡f(shuō)，3到5年內(nèi)，世界模型將成為主流AI架構(gòu)，沒(méi)人再會(huì)愿意用現(xiàn)在這種LLM。

但他堅(jiān)信自己對(duì)AI未來(lái)的判斷。他的老朋友Léon Bottou曾告訴媒體，LeCun「倔強(qiáng)得可愛(ài)」——他會(huì)聽(tīng)別人意見(jiàn)，但更有自己堅(jiān)守的信念。

現(xiàn)在，LeCun在Meta好像「忍無(wú)可忍」，終于要離職了。

實(shí)際上，他早已多次暗示答案。

在通往通用人工智能的道路上，LeCun近來(lái)以其對(duì)大語(yǔ)言模型的尖銳批評(píng)而聞名。

他認(rèn)為，無(wú)論科技巨頭如何擴(kuò)大其規(guī)模，我們目前所理解的大語(yǔ)言模型都已是「強(qiáng)弩之末」，是一條「岔路、干擾，一條死胡同」。

他投身AI研究已有40年，對(duì)AI的判斷屢屢應(yīng)驗(yàn)。如今，他認(rèn)為大多數(shù)人都錯(cuò)了。

他為現(xiàn)代AI奠定了諸多基礎(chǔ)。而現(xiàn)在他堅(jiān)信，領(lǐng)域內(nèi)的大多數(shù)人都被大語(yǔ)言模型的「海妖之歌」引入了歧途。

這為他的離職提供了更多可能的解釋。

LeCun離開(kāi)Meta，或?yàn)榱耸澜缒Ｐ?/strong>

此前報(bào)道，他正在與業(yè)內(nèi)同行商議創(chuàng)辦公司、尋找投資，

所謂「世界模型」，類(lèi)似小動(dòng)物或嬰兒那樣，通過(guò)視覺(jué)等感知數(shù)據(jù)主動(dòng)學(xué)習(xí)世界規(guī)律；而LLM只是依賴(lài)海量文本做預(yù)測(cè)的模型。

LeCun本人也從不避諱解釋為何他認(rèn)為「世界模型」才是AI的答案。

Meta的Llama、OpenAI的GPT、谷歌的Bard這些模型，都是靠海量數(shù)據(jù)訓(xùn)練出來(lái)的。LeCun估算，如果讓人去讀完它們訓(xùn)練所需的所有文本，大概得花10萬(wàn)年。

但人類(lèi)學(xué)習(xí)的主要方式，并不是讀文本。

我們從與世界的互動(dòng)中，獲取的信息要多得多。LeCun估計(jì)，一個(gè)普通的四歲小孩接觸過(guò)的數(shù)據(jù)量，是目前最大的LLM的50倍。

大部分人類(lèi)知識(shí)，其實(shí)不是語(yǔ)言。

所以這些系統(tǒng)永遠(yuǎn)不可能達(dá)到人類(lèi)水平的智能——除非你徹底改掉它們的架構(gòu)。

而他自己，早就準(zhǔn)備好了替代方案。他稱(chēng)之為「目標(biāo)驅(qū)動(dòng)的AI」（objective-driven AI）。

目標(biāo)驅(qū)動(dòng)的AI系統(tǒng)的構(gòu)建宗旨，是完成人類(lèi)設(shè)定的特定目標(biāo)。

與僅靠純文本數(shù)據(jù)驅(qū)動(dòng)不同，它們通過(guò)傳感器和視頻數(shù)據(jù)訓(xùn)練來(lái)認(rèn)知物理世界。

由此構(gòu)建出的「世界模型」能呈現(xiàn)行動(dòng)帶來(lái)的影響，所有潛在變化都會(huì)實(shí)時(shí)更新至系統(tǒng)記憶。

他為何對(duì)世界模型如此沉迷？

在年初的「巴黎AI峰會(huì)」上，Yann LeCun明確指出，他是可穿戴設(shè)備的堅(jiān)定信徒。

他認(rèn)為，未來(lái)，我們需要與可穿戴設(shè)備互動(dòng)，就像與人交流一樣，而大語(yǔ)言模型根本不像人類(lèi)那樣理解世界。

對(duì)于大語(yǔ)言模型，我們甚至無(wú)法復(fù)制貓或老鼠的智能，更不用說(shuō)狗了。

這些動(dòng)物能完成驚人的壯舉，它們理解物理世界。任何一只家貓都能規(guī)劃出極其復(fù)雜的行動(dòng)，因?yàn)樗鼈儞碛嘘P(guān)于世界的因果模型。

為了說(shuō)明這一點(diǎn)，LeCun設(shè)計(jì)了一個(gè)思想實(shí)驗(yàn)：「想象一個(gè)立方體懸浮在你面前的空中。好，現(xiàn)在讓這個(gè)立方體繞著垂直軸旋轉(zhuǎn)90度。它會(huì)是什么樣子？」

他認(rèn)為任何人類(lèi)都能輕松完成，而大語(yǔ)言模型卻無(wú)能為力：

「對(duì)人來(lái)說(shuō)，在腦海中構(gòu)建一個(gè)旋轉(zhuǎn)立方體的心理模型，非常容易?！?/p>

當(dāng)然，大語(yǔ)言模型可以毫不費(fèi)力地寫(xiě)一首關(guān)于懸浮旋轉(zhuǎn)立方體的打油詩(shī)，但它無(wú)法真正幫助你與這個(gè)立方體互動(dòng)。

LeCun斷言，這是因?yàn)?/strong>文本數(shù)據(jù)與處理非文本世界所獲得的數(shù)據(jù)之間存在本質(zhì)差異。

他指出，盡管大語(yǔ)言模型訓(xùn)練所用的文本量需要一個(gè)人花45萬(wàn)年才能讀完，但一個(gè)四歲的孩子在醒著的16000小時(shí)里，通過(guò)眼睛看、用手觸摸，已經(jīng)處理了高達(dá)1.4x10^14字節(jié)的關(guān)于世界的感覺(jué)數(shù)據(jù)——

他認(rèn)為這比大語(yǔ)言模型處理的數(shù)據(jù)還要多。

順便一提，這些只是LeCun在演講中給出的估算，他在其他場(chǎng)合也給過(guò)不同的數(shù)字。但這些數(shù)字指向的核心觀點(diǎn)是：大語(yǔ)言模型存在著局限，而LeCun相信世界模型能夠克服這些局限。

他又將如何構(gòu)建世界模型？

在Meta時(shí)，LeCun其實(shí)已經(jīng)開(kāi)始研究世界模型——他還拍了一個(gè)介紹視頻，開(kāi)頭就讓你想象一個(gè)旋轉(zhuǎn)的立方體。

在AI行動(dòng)峰會(huì)的演講中，他理想中的模型包含一個(gè)對(duì)「當(dāng)前世界狀態(tài)的估計(jì)」，以某種抽象形式呈現(xiàn)與當(dāng)前情境相關(guān)的一切。它不再是按順序預(yù)測(cè)token，而是「預(yù)測(cè)在你采取一系列行動(dòng)后，世界將達(dá)到的最終狀態(tài)」。

他表示，世界模型將使未來(lái)的計(jì)算機(jī)科學(xué)家能夠構(gòu)建出「可以規(guī)劃行動(dòng)——可能是分層級(jí)的——以實(shí)現(xiàn)某個(gè)目標(biāo)的系統(tǒng)，以及能夠進(jìn)行推理的系統(tǒng)?！?/p>

LeCun還堅(jiān)稱(chēng)，這類(lèi)系統(tǒng)將擁有更強(qiáng)大的安全特性，因?yàn)榭刂扑鼈兊姆绞绞莾?nèi)置的，而不是像現(xiàn)在這樣，面對(duì)一個(gè)神秘莫測(cè)、只會(huì)輸出文本的黑箱，只能通過(guò)微調(diào)來(lái)加以修正。

LeCun所說(shuō)的經(jīng)典AI——例如搜索引擎中使用的軟件——所有問(wèn)題都可以歸結(jié)為優(yōu)化問(wèn)題。

他提出，他的世界模型將審視當(dāng)前的世界狀態(tài)，并通過(guò)尋找高效的解決方案，來(lái)尋求與某個(gè)不同狀態(tài)的兼容性。

LeCun在演講中解釋道：「你需要一個(gè)能量函數(shù)來(lái)衡量不兼容性，給定一個(gè)x，找到一個(gè)對(duì)于該x能量較低的y」。

如果說(shuō)，我們從LeCun的公開(kāi)言論中拼湊出的「真相」很粗糙、有些模糊，甚至完全錯(cuò)誤，那也完全正常。

LeCun似乎正在構(gòu)想一個(gè)「登月計(jì)劃」——

他希望推動(dòng)AI領(lǐng)域迎來(lái)又一次類(lèi)似ChatGPT那樣的、誕生驚人能力的爆發(fā)式發(fā)展。

但這可能需要耗費(fèi)數(shù)年——甚至永遠(yuǎn)無(wú)法實(shí)現(xiàn)——更不用說(shuō)數(shù)十億美元的投資了，才可能看到任何真正了不起的成果。

參考資料：

https://gizmodo.com/yann-lecun-world-models-2000685265

https://www.linkedin.com/feed/update/urn:li:activity:7395602392169488384/

https://www.wsj.com/tech/ai/yann-lecun-ai-meta-0058b13c?mod=e2tw