“其實我已經(jīng)不需要發(fā)論文,也已經(jīng)很久不再自己動手寫代碼做實驗了,但是為了這篇論文我重新下場做實驗。主要動力是希望把事情搞清楚?!眮嗰R遜云上海人工智能研究院院長張崢告訴 DeepTech。
圖 | 張崢(來源:https://zzhang-cn.github.io/)
在最近一篇論文中,他提出了計算裂腦綜合征的新概念,借此闡述了大模型的一個根本性缺陷:即它們能夠清晰地闡述正確的原則,卻無法可靠地應(yīng)用這些原則。也就是說,從結(jié)構(gòu)角度來看,大模型并沒有掌握規(guī)則,它只是表面上看懂,并沒有真正做符號上的推理。
知其然而不能其然
張崢舉例稱,包括人類在內(nèi)的生物在進化過程中獲得了很多能力,但是生物卻無法描述自己為何擁有了新的能力。“能而不知其所以然”(Competence without Comprehension)是美國哲學家丹尼爾·克萊門特·丹尼特(Daniel Clement Dennett III)提出的一個觀察。對于生物來說它們更多是因為環(huán)境壓力而長出了某種能力,比如變色龍為了躲避敵人而讓自己的皮膚改變顏色。但是,這個能力是怎么來的?它的規(guī)則和計算是怎樣的?變色龍本身并不清楚。
但對于大模型來說卻正相反,它們展現(xiàn)出理解而不能執(zhí)行的現(xiàn)象,能夠流利地解釋原理,卻無法可靠地執(zhí)行這些原理。當讓它抽象地判斷兩個數(shù)字的大小、血緣關(guān)系如何分析時,它可以講得頭頭是道,但是它自己執(zhí)行起來卻經(jīng)常搞錯。而本次論文正是研究了這一問題。
盡管當前有很多 Transformer 的變種,但只要依賴大量文本的無監(jiān)督訓練,只要模型大框架不變,就會面臨一個本質(zhì)問題:模型能夠回答問題,但本身并不是在做計算,因此不具備抽象的推理能力。所以,涉及多個步驟的問題,即便看上去非常簡單,往往都不能放心地交給大模型。
本次研究之中,張崢通過受控實驗和架構(gòu)分析揭示了這種現(xiàn)象的根本原因,即這種計算裂腦綜合征源于 Transformer 架構(gòu)的三個相互依賴的約束條件。值得注意的是,單獨的任何一個約束都不會致命,但它們系統(tǒng)性地相互強化,阻止了大模型在理解和能力之間建立可靠的橋梁。
Transformer 架構(gòu)中的三個限制
上下文平均化
上下文平均化,是 Transformer 架構(gòu)中的第一個限制。不管計算是黑盒還是明盒,都會有輸入和輸出。假如你面前有一個計算器,不管你在上面按什么數(shù)字,在計算之前這些輸入都會遵循數(shù)學上的規(guī)律,比如它明確地知道 9 比 11 小了兩個數(shù)字。更重要的是,這些數(shù)字在計算器的內(nèi)部表示中保持著等距性質(zhì)——數(shù)值之間的大小關(guān)系在表示空間中得到一致的保持。
但是,由于大模型在訓練的過程中,它本身的向量表達中混合了很多上下文的內(nèi)容。比如,“9.11”可以是一個軟件的版本,也可以指一個歷史事件,因此當大模型看到“9.9”和“9.11”的時候也混入了軟件版本或日期等信息。這種上下文混合破壞了數(shù)值表示的等距性質(zhì)。大模型會把所有單個輸入都壓縮成為一個向量,這個向量包含了訓練中出現(xiàn)過的所有上下文的信息。因此,無論是讓大模型做數(shù)學計算還是做日期計算,都要把數(shù)值的性質(zhì)去模糊化,而這個是大模型不能自動做的。
(來源:https://arxiv.org/pdf/2507.10624)
對于人類來說,當我們說 9.11“小于”9.9,我們是在比較兩個數(shù)值;而說“大于”時可能是指版本號。人類能夠根據(jù)上下文自動進行域綁定,將同一個符號映射到不同的語義空間。
但是,大模型并不會做這種轉(zhuǎn)化。在訓練完成后,所有 token 都隱含了上下文的語義關(guān)系,導(dǎo)致它在做數(shù)學計算時出現(xiàn)混亂。
此前,業(yè)內(nèi)已有研究將 Transformer 從零開始訓練,專門針對數(shù)學或邏輯推理單一領(lǐng)域,似乎能夠找到一些“腦回路”。但這種單域訓練的結(jié)論無法泛化到通用場景。
對于通用大模型,優(yōu)化目標是在所有上下文中都表現(xiàn)良好,這必然導(dǎo)致不同上下文的混雜。這種上下文污染是結(jié)構(gòu)性的、不可避免的。即使在邏輯推理中平衡“A 是 B”和“B 是 A”的訓練頻率,模型仍會為每種句法形式學習獨立的模式匹配規(guī)則,而不是理解對稱的邏輯關(guān)系。
計算不可能性
計算不可能性,是 Transformer 架構(gòu)中的第二個限制。
假設(shè)輸入向量沒有被上下文污染,大模型要做的似乎就是一個簡單的乘法。但這種“簡單”只是假象。要實現(xiàn)精確的乘法,模型參數(shù)必須恰好優(yōu)化到能夠激活專門的乘法回路——這在理論上是不可能的。
從數(shù)學角度看,問題的根源在于架構(gòu)限制。基于 ReLU 激活函數(shù)的前饋網(wǎng)絡(luò)只能實現(xiàn)分段線性函數(shù),而精確的符號運算(如乘法)需要非線性變量交互。這種交互無法通過權(quán)重配置單獨實現(xiàn),構(gòu)成了架構(gòu)上的根本障礙。
因此,Transformer 模型無法直接執(zhí)行乘法,更無法處理任何高階算法,只能進行近似模擬。大模型本質(zhì)上采用“分層擬合”策略:將復(fù)雜運算拆解成小塊,通過多層協(xié)調(diào)逐步逼近目標輸出。
(來源:https://arxiv.org/pdf/2507.10624)
這揭示了大模型的核心機制——"知識打碎-重組"過程。如何拆解、如何重組完全依賴于訓練過程和語料分布,這正是大模型可解釋性面臨根本困難的原因。
指令執(zhí)行分離
指令執(zhí)行分離,是 Transformer 架構(gòu)中的第三個限制。
以豎式乘法為例:人類執(zhí)行時需要按位對齊、逐位相乘、記錄部分積、最后求和——這是一套完整的符號計算算法。大模型可以將這個算法背得爛熟,甚至能夠教授給兒童,展現(xiàn)出完美的“理解”能力。
但是,當輪到自己執(zhí)行時,大模型依然只是在做擬合,無法自動調(diào)用已學會的算法。
問題的根源在于訓練目標的無差別性。對于下一個 token 預(yù)測而言,算法描述和具體計算實例都只是需要預(yù)測的文本序列,訓練過程不存在將兩者自動綁定的機制。換句話說,“算法知識”和“執(zhí)行能力”在模型內(nèi)部占據(jù)著不同的表征空間。
(來源:https://arxiv.org/pdf/2507.10624)
這種分離是結(jié)構(gòu)性的:大模型天生無法將抽象算法自動匹配到具體實例。指令理解和執(zhí)行實現(xiàn)在幾何空間上的分離,正是“計算裂腦綜合征”的根本原因。
何時用大模型,何時不用大模型
張崢指出,這篇論文揭示了一個根本性問題:這種“計算裂腦”現(xiàn)象具有普遍性——無論數(shù)值計算還是邏輯運算,只要涉及符號計算和算法應(yīng)用,都會出現(xiàn)這一問題。“理論上可能不存在可解釋的神經(jīng)計算回路,至少當前的通用大模型沒有,只有一些抽象的統(tǒng)計規(guī)律?!?/p>
這帶來了深刻的可解釋性問題。大模型自我生成的解釋(如思維鏈)以及機制可解釋性研究,從理論上說都可能是"不忠實的",存在訓練路徑依賴。在當前 Transformer 架構(gòu)下,這個問題是結(jié)構(gòu)性的,需要根本性創(chuàng)新而非漸進式改進。
這一發(fā)現(xiàn)對高風險應(yīng)用意義重大。在醫(yī)療診斷、法律分析等關(guān)鍵領(lǐng)域,不應(yīng)將大模型作為獨立推理系統(tǒng),而需要"腳手架"、外部驗證或混合架構(gòu)支持。
那么,張崢希望這篇論文帶來怎樣的影響?首先是讓大家明確何時能用、何時不能用大模型。
“大模型的工具調(diào)用歷來被視為效率優(yōu)化,但這篇論文指出:工具調(diào)用不是可選項,而是架構(gòu)必需。”這種認知轉(zhuǎn)變帶來新挑戰(zhàn):攻擊面大幅增加,同時面臨關(guān)鍵的元認知問題——大模型需要準確判斷何時調(diào)用工具,避免多步調(diào)用中的累積錯誤。
張崢還提醒可解釋性研究者:狹窄范圍內(nèi)的可解釋性研究缺乏泛化性。一旦構(gòu)建通用大模型,這些研究基礎(chǔ)可能完全失效。
“既要認識大模型的強大,也要認識其局限?!币?AI+Science 為例,大模型無法學會可泛化的理論公式。“如果模型無法通過觀察推導(dǎo)普適定律或可泛化的算法,就不具備真正智能。大模型刷榜意義不大,關(guān)鍵是完成科學研究閉環(huán)?!?/strong>他說。
這項研究的深層意義在于為下一代智能系統(tǒng)指明方向:需要元認知腳手架、提升表示能力、原則性執(zhí)行的架構(gòu)支持——能夠推理而非僅僅反應(yīng)的系統(tǒng)。
當前約束似乎不可避免:上下文平均化源于多樣化語料預(yù)測,前饋網(wǎng)絡(luò)被迫進行模式組裝而非原則計算。計算裂腦綜合征將持續(xù)存在,除非通過根本性架構(gòu)創(chuàng)新解決。
“我只是一個好奇心很重的研究者”
對于自己在當前 AI 領(lǐng)域的角色定位,張崢表示自己只是一個好奇心很重的研究者,他說自己當然希望 AI 能夠蓬勃發(fā)展,但也希望國內(nèi) AI 圈不要過于聚焦刷榜,不要總是圍繞一個小補丁做改進。他說:“我還是希望大家冷靜地回到一些貌似很簡單但深挖下去很有趣的問題上,沉下心做一些比較基礎(chǔ)的研究?!?/p>
如果說寫這篇論文是為了帶給大模型領(lǐng)域一些新的思考,那么作為一名曾在上海紐約大學教過書的老師,張崢也于 2025 年春天啟動了一個獨特的嘗試:用大模型來教大模型做課程。他說這是一個"活"的課程,可以根據(jù)最新的研究成果來翻新課程,同時可以成為科研從業(yè)者的很好的老師??傊鳛橹袊?AI 研究領(lǐng)域的前輩,他還將繼續(xù)行走下去,“可以做、值得做的問題太多了。”他說。
參考資料:
1.https://zzhang-cn.github.io/
2.https://arxiv.org/pdf/2507.10624
3.https://github.com/zzhang-cn/LLM4LLM/
4.https://www.goodreads.com/user/show/50187028-zheng-zhang
運營/排版:何晨龍
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.