夜夜躁很很躁日日躁麻豆,精品人妻无码,制服丝袜国产精品,成人免费看www网址入口

網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

科學家提出?模型計算裂腦綜合征概念,揭示Transformer三大硬傷

0
分享至

“其實我已經(jīng)不需要發(fā)論文,也已經(jīng)很久不再自己動手寫代碼做實驗了,但是為了這篇論文我重新下場做實驗。主要動力是希望把事情搞清楚?!眮嗰R遜云上海人工智能研究院院長張崢告訴 DeepTech。


圖 | 張崢(來源:https://zzhang-cn.github.io/)

在最近一篇論文中,他提出了計算裂腦綜合征的新概念,借此闡述了大模型的一個根本性缺陷:即它們能夠清晰地闡述正確的原則,卻無法可靠地應(yīng)用這些原則。也就是說,從結(jié)構(gòu)角度來看,大模型并沒有掌握規(guī)則,它只是表面上看懂,并沒有真正做符號上的推理。



知其然而不能其然

張崢舉例稱,包括人類在內(nèi)的生物在進化過程中獲得了很多能力,但是生物卻無法描述自己為何擁有了新的能力。“能而不知其所以然”(Competence without Comprehension)是美國哲學家丹尼爾·克萊門特·丹尼特(Daniel Clement Dennett III)提出的一個觀察。對于生物來說它們更多是因為環(huán)境壓力而長出了某種能力,比如變色龍為了躲避敵人而讓自己的皮膚改變顏色。但是,這個能力是怎么來的?它的規(guī)則和計算是怎樣的?變色龍本身并不清楚。

但對于大模型來說卻正相反,它們展現(xiàn)出理解而不能執(zhí)行的現(xiàn)象,能夠流利地解釋原理,卻無法可靠地執(zhí)行這些原理。當讓它抽象地判斷兩個數(shù)字的大小、血緣關(guān)系如何分析時,它可以講得頭頭是道,但是它自己執(zhí)行起來卻經(jīng)常搞錯。而本次論文正是研究了這一問題。

盡管當前有很多 Transformer 的變種,但只要依賴大量文本的無監(jiān)督訓練,只要模型大框架不變,就會面臨一個本質(zhì)問題:模型能夠回答問題,但本身并不是在做計算,因此不具備抽象的推理能力。所以,涉及多個步驟的問題,即便看上去非常簡單,往往都不能放心地交給大模型。

本次研究之中,張崢通過受控實驗和架構(gòu)分析揭示了這種現(xiàn)象的根本原因,即這種計算裂腦綜合征源于 Transformer 架構(gòu)的三個相互依賴的約束條件。值得注意的是,單獨的任何一個約束都不會致命,但它們系統(tǒng)性地相互強化,阻止了大模型在理解和能力之間建立可靠的橋梁。



Transformer 架構(gòu)中的三個限制

上下文平均化

上下文平均化,是 Transformer 架構(gòu)中的第一個限制。不管計算是黑盒還是明盒,都會有輸入和輸出。假如你面前有一個計算器,不管你在上面按什么數(shù)字,在計算之前這些輸入都會遵循數(shù)學上的規(guī)律,比如它明確地知道 9 比 11 小了兩個數(shù)字。更重要的是,這些數(shù)字在計算器的內(nèi)部表示中保持著等距性質(zhì)——數(shù)值之間的大小關(guān)系在表示空間中得到一致的保持。

但是,由于大模型在訓練的過程中,它本身的向量表達中混合了很多上下文的內(nèi)容。比如,“9.11”可以是一個軟件的版本,也可以指一個歷史事件,因此當大模型看到“9.9”和“9.11”的時候也混入了軟件版本或日期等信息。這種上下文混合破壞了數(shù)值表示的等距性質(zhì)。大模型會把所有單個輸入都壓縮成為一個向量,這個向量包含了訓練中出現(xiàn)過的所有上下文的信息。因此,無論是讓大模型做數(shù)學計算還是做日期計算,都要把數(shù)值的性質(zhì)去模糊化,而這個是大模型不能自動做的。


(來源:https://arxiv.org/pdf/2507.10624)

對于人類來說,當我們說 9.11“小于”9.9,我們是在比較兩個數(shù)值;而說“大于”時可能是指版本號。人類能夠根據(jù)上下文自動進行域綁定,將同一個符號映射到不同的語義空間。

但是,大模型并不會做這種轉(zhuǎn)化。在訓練完成后,所有 token 都隱含了上下文的語義關(guān)系,導(dǎo)致它在做數(shù)學計算時出現(xiàn)混亂。

此前,業(yè)內(nèi)已有研究將 Transformer 從零開始訓練,專門針對數(shù)學或邏輯推理單一領(lǐng)域,似乎能夠找到一些“腦回路”。但這種單域訓練的結(jié)論無法泛化到通用場景。

對于通用大模型,優(yōu)化目標是在所有上下文中都表現(xiàn)良好,這必然導(dǎo)致不同上下文的混雜。這種上下文污染是結(jié)構(gòu)性的、不可避免的。即使在邏輯推理中平衡“A 是 B”和“B 是 A”的訓練頻率,模型仍會為每種句法形式學習獨立的模式匹配規(guī)則,而不是理解對稱的邏輯關(guān)系。

計算不可能性

計算不可能性,是 Transformer 架構(gòu)中的第二個限制。

假設(shè)輸入向量沒有被上下文污染,大模型要做的似乎就是一個簡單的乘法。但這種“簡單”只是假象。要實現(xiàn)精確的乘法,模型參數(shù)必須恰好優(yōu)化到能夠激活專門的乘法回路——這在理論上是不可能的。

從數(shù)學角度看,問題的根源在于架構(gòu)限制。基于 ReLU 激活函數(shù)的前饋網(wǎng)絡(luò)只能實現(xiàn)分段線性函數(shù),而精確的符號運算(如乘法)需要非線性變量交互。這種交互無法通過權(quán)重配置單獨實現(xiàn),構(gòu)成了架構(gòu)上的根本障礙。

因此,Transformer 模型無法直接執(zhí)行乘法,更無法處理任何高階算法,只能進行近似模擬。大模型本質(zhì)上采用“分層擬合”策略:將復(fù)雜運算拆解成小塊,通過多層協(xié)調(diào)逐步逼近目標輸出。


(來源:https://arxiv.org/pdf/2507.10624)

這揭示了大模型的核心機制——"知識打碎-重組"過程。如何拆解、如何重組完全依賴于訓練過程和語料分布,這正是大模型可解釋性面臨根本困難的原因。

指令執(zhí)行分離

指令執(zhí)行分離,是 Transformer 架構(gòu)中的第三個限制。

以豎式乘法為例:人類執(zhí)行時需要按位對齊、逐位相乘、記錄部分積、最后求和——這是一套完整的符號計算算法。大模型可以將這個算法背得爛熟,甚至能夠教授給兒童,展現(xiàn)出完美的“理解”能力。

但是,當輪到自己執(zhí)行時,大模型依然只是在做擬合,無法自動調(diào)用已學會的算法。

問題的根源在于訓練目標的無差別性。對于下一個 token 預(yù)測而言,算法描述和具體計算實例都只是需要預(yù)測的文本序列,訓練過程不存在將兩者自動綁定的機制。換句話說,“算法知識”和“執(zhí)行能力”在模型內(nèi)部占據(jù)著不同的表征空間。


(來源:https://arxiv.org/pdf/2507.10624)

這種分離是結(jié)構(gòu)性的:大模型天生無法將抽象算法自動匹配到具體實例。指令理解和執(zhí)行實現(xiàn)在幾何空間上的分離,正是“計算裂腦綜合征”的根本原因。



何時用大模型,何時不用大模型

張崢指出,這篇論文揭示了一個根本性問題:這種“計算裂腦”現(xiàn)象具有普遍性——無論數(shù)值計算還是邏輯運算,只要涉及符號計算和算法應(yīng)用,都會出現(xiàn)這一問題。“理論上可能不存在可解釋的神經(jīng)計算回路,至少當前的通用大模型沒有,只有一些抽象的統(tǒng)計規(guī)律?!?/p>

這帶來了深刻的可解釋性問題。大模型自我生成的解釋(如思維鏈)以及機制可解釋性研究,從理論上說都可能是"不忠實的",存在訓練路徑依賴。在當前 Transformer 架構(gòu)下,這個問題是結(jié)構(gòu)性的,需要根本性創(chuàng)新而非漸進式改進。

這一發(fā)現(xiàn)對高風險應(yīng)用意義重大。在醫(yī)療診斷、法律分析等關(guān)鍵領(lǐng)域,不應(yīng)將大模型作為獨立推理系統(tǒng),而需要"腳手架"、外部驗證或混合架構(gòu)支持。

那么,張崢希望這篇論文帶來怎樣的影響?首先是讓大家明確何時能用、何時不能用大模型。

“大模型的工具調(diào)用歷來被視為效率優(yōu)化,但這篇論文指出:工具調(diào)用不是可選項,而是架構(gòu)必需。”這種認知轉(zhuǎn)變帶來新挑戰(zhàn):攻擊面大幅增加,同時面臨關(guān)鍵的元認知問題——大模型需要準確判斷何時調(diào)用工具,避免多步調(diào)用中的累積錯誤。

張崢還提醒可解釋性研究者:狹窄范圍內(nèi)的可解釋性研究缺乏泛化性。一旦構(gòu)建通用大模型,這些研究基礎(chǔ)可能完全失效。

“既要認識大模型的強大,也要認識其局限?!币?AI+Science 為例,大模型無法學會可泛化的理論公式。“如果模型無法通過觀察推導(dǎo)普適定律或可泛化的算法,就不具備真正智能。大模型刷榜意義不大,關(guān)鍵是完成科學研究閉環(huán)?!?/strong>他說。

這項研究的深層意義在于為下一代智能系統(tǒng)指明方向:需要元認知腳手架、提升表示能力、原則性執(zhí)行的架構(gòu)支持——能夠推理而非僅僅反應(yīng)的系統(tǒng)。

當前約束似乎不可避免:上下文平均化源于多樣化語料預(yù)測,前饋網(wǎng)絡(luò)被迫進行模式組裝而非原則計算。計算裂腦綜合征將持續(xù)存在,除非通過根本性架構(gòu)創(chuàng)新解決。



“我只是一個好奇心很重的研究者”

對于自己在當前 AI 領(lǐng)域的角色定位,張崢表示自己只是一個好奇心很重的研究者,他說自己當然希望 AI 能夠蓬勃發(fā)展,但也希望國內(nèi) AI 圈不要過于聚焦刷榜,不要總是圍繞一個小補丁做改進。他說:“我還是希望大家冷靜地回到一些貌似很簡單但深挖下去很有趣的問題上,沉下心做一些比較基礎(chǔ)的研究?!?/p>

如果說寫這篇論文是為了帶給大模型領(lǐng)域一些新的思考,那么作為一名曾在上海紐約大學教過書的老師,張崢也于 2025 年春天啟動了一個獨特的嘗試:用大模型來教大模型做課程。他說這是一個"活"的課程,可以根據(jù)最新的研究成果來翻新課程,同時可以成為科研從業(yè)者的很好的老師??傊鳛橹袊?AI 研究領(lǐng)域的前輩,他還將繼續(xù)行走下去,“可以做、值得做的問題太多了。”他說。

參考資料:

1.https://zzhang-cn.github.io/

2.https://arxiv.org/pdf/2507.10624

3.https://github.com/zzhang-cn/LLM4LLM/

4.https://www.goodreads.com/user/show/50187028-zheng-zhang

運營/排版:何晨龍

特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關(guān)推薦
熱點推薦
“含華量最高”的這款車,才是新能源豪華MPV應(yīng)有的樣子

“含華量最高”的這款車,才是新能源豪華MPV應(yīng)有的樣子

車維度
2025-08-07 09:43:13
少林寺暴雨中拒游客入室內(nèi)避雨,“佛門慈悲”引爭議!

少林寺暴雨中拒游客入室內(nèi)避雨,“佛門慈悲”引爭議!

恩飛說
2025-08-08 03:46:08
菲律賓揚言,若臺灣爆發(fā)戰(zhàn)爭,菲方不得不管!中方強硬回復(fù)6個字

菲律賓揚言,若臺灣爆發(fā)戰(zhàn)爭,菲方不得不管!中方強硬回復(fù)6個字

阿器談史
2025-08-08 12:26:44
越扒越有!澳洲勞斯萊斯事故23歲華人女司機,身著14.8萬的針織衫

越扒越有!澳洲勞斯萊斯事故23歲華人女司機,身著14.8萬的針織衫

火山詩話
2025-08-08 08:51:26
社保巨變

社保巨變

格隆匯
2025-08-07 21:55:07
雞蛋男吵架掀桌后續(xù):女子被丈夫拉進臥室毒打,現(xiàn)帶侄子已回娘家

雞蛋男吵架掀桌后續(xù):女子被丈夫拉進臥室毒打,現(xiàn)帶侄子已回娘家

探源歷史
2025-08-07 14:09:48
均和集團暴雷:5000員工失業(yè),7個在建產(chǎn)業(yè)園被查封

均和集團暴雷:5000員工失業(yè),7個在建產(chǎn)業(yè)園被查封

小債看市
2025-08-06 17:42:14
凌晨偷抽孩子血后續(xù):家長透露更多細節(jié),官方稱很無奈孩子同意的

凌晨偷抽孩子血后續(xù):家長透露更多細節(jié),官方稱很無奈孩子同意的

大川哥
2025-08-08 00:16:40
形勢有多嚴峻?在廣東惠州,社保竟成了壓死電子廠最后一根稻草?

形勢有多嚴峻?在廣東惠州,社保竟成了壓死電子廠最后一根稻草?

慧翔百科
2025-08-08 09:42:51
這有瘦28斤嗎?美媒對比東契奇一年前與當下照片:他準備好了!

這有瘦28斤嗎?美媒對比東契奇一年前與當下照片:他準備好了!

直播吧
2025-08-08 15:16:07
國防部:希望有關(guān)方客觀理性看待中俄正常防務(wù)合作

國防部:希望有關(guān)方客觀理性看待中俄正常防務(wù)合作

界面新聞
2025-08-08 15:13:40
一女子持無座票霸占15歲女孩座位,還威脅乘警,拘!

一女子持無座票霸占15歲女孩座位,還威脅乘警,拘!

金哥說新能源車
2025-08-08 03:51:06
醫(yī)保新規(guī):普通門診按人頭付費,明年執(zhí)行!

醫(yī)保新規(guī):普通門診按人頭付費,明年執(zhí)行!

梅斯醫(yī)學
2025-08-08 07:54:58
捍衛(wèi)歷史真相 弘揚公平正義 《南京照相館》引發(fā)觀影熱潮

捍衛(wèi)歷史真相 弘揚公平正義 《南京照相館》引發(fā)觀影熱潮

國際在線
2025-08-08 09:51:24
川普震怒!點名華人CEO陳立武“立即辭職”,英特爾股價暴跌

川普震怒!點名華人CEO陳立武“立即辭職”,英特爾股價暴跌

華人生活網(wǎng)
2025-08-08 03:44:18
女子去男友朋友店工作,入職一周便發(fā)生關(guān)系2次,女子報警稱遭騷擾,朋友被判強奸,后因證據(jù)不足改判無罪

女子去男友朋友店工作,入職一周便發(fā)生關(guān)系2次,女子報警稱遭騷擾,朋友被判強奸,后因證據(jù)不足改判無罪

觀威海
2025-08-07 21:14:11
吸毒被抓4次!前國足門將:做青訓根本不掙錢,董路:你一晚收6萬

吸毒被抓4次!前國足門將:做青訓根本不掙錢,董路:你一晚收6萬

念洲
2025-08-08 08:29:56
6年前站在美國軍艦上,用中文警告我國海軍的華人女兵,現(xiàn)在如何

6年前站在美國軍艦上,用中文警告我國海軍的華人女兵,現(xiàn)在如何

混沌錄
2025-08-07 23:06:22
9月1日起強制繳納社保,網(wǎng)友:不是我需要社保,而是社保需要我啊

9月1日起強制繳納社保,網(wǎng)友:不是我需要社保,而是社保需要我啊

大何日拱一卒
2025-08-07 22:32:37
收手吧!“資本家的丑孩子”,長得不行演技也差,妥妥的戲混子

收手吧!“資本家的丑孩子”,長得不行演技也差,妥妥的戲混子

探源歷史
2025-08-08 07:52:35
2025-08-08 15:39:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技評論獨家合作
15500文章數(shù) 513968關(guān)注度
往期回顧 全部

科技要聞

看懂GPT-5發(fā)布:屠榜、免費,但沒有"炸裂"

頭條要聞

記者被緊急召喚到白宮 聽取特朗普"重大"宣布

頭條要聞

記者被緊急召喚到白宮 聽取特朗普"重大"宣布

體育要聞

百年“大蝦隊”瀕臨解散,小城天塌了

娛樂要聞

陳思誠卡零點為佟麗婭慶生 離婚不離親

財經(jīng)要聞

招商證券與幻方高管被曝存返傭腐敗

汽車要聞

全家人的移動頭等艙 全新別克GL8 陸尊來了!

態(tài)度原創(chuàng)

房產(chǎn)
手機
家居
公開課
軍事航空

房產(chǎn)要聞

太貴了!??诤诵恼兀钟至髋牧?!

手機要聞

榮耀 Magic V Flip2 再曝:或?qū)l(fā)布行業(yè)首款 2 億像素小折疊

家居要聞

通透流暢 時尚簡約新居

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

以政府證實:已批準占領(lǐng)加沙城計劃

無障礙瀏覽 進入關(guān)懷版 久久亚洲精品中文字幕无码| 熟女16p玖玖| 波多野结衣av在线免费| 免费99精品国产自在在线| 午夜不卡久久精品无码免费| 国产成人精品午夜福利在线观看| 久久麻豆精亚洲AV品国产| 亚洲成色www,久久网站| 欧美日韩中文在线字幕视频| 久久伊人操| 国产蜜乳AV| 五月婷婷六月婷婷| 国产精品 自在自线| 亚洲一区二区三区香蕉| 亚洲国产精品一区二区第一页 | 亚洲av无码乱码国产麻豆穿越 | 欧美亚洲日本一区| 国产综合久久久久| 久久99精品久久久久久园产越南| 大又大粗又爽又黄少妇毛片免费 | 人人玩人人草人人干人人会| 日韩毛片久久久| 丁香精品在线| 无码专区夜夜躁夜夜添夜夜狠| 亚洲超清无码制服丝袜无广告| 亚洲av青草久久久久| 粉嫩AV四季AV绯色AV第一区| 国产精品嫩草99av在线| 亚洲午夜Av一二三区熟女古代| 丰满熟妇性视频| 印度人性猛交Ⅹ一区二区| 永久免费av无码不卡在线观看| 免费又爽又黄禁片视频1000| 国产成人高清精品亚洲| 亚洲色大成网站WWW久久| 内射视频←www夜| 高潮19AV| 2021自拍偷在线精品自拍偷| 99免费精品| 很很色老熟女| 美女爽到高潮嗷嗷嗷叫免费网站|