近日，來(lái)自阿聯(lián)酋穆罕默德·本·扎耶德人工智能大學(xué) MBZUAI 和保加利亞 INSAIT 研究所的研究人員發(fā)現(xiàn)一個(gè)針對(duì)大模型單次推理的“法諾式準(zhǔn)確率上限”，借此不僅揭示了單次生成范式的根本性脆弱點(diǎn)，也揭示了“準(zhǔn)確率懸崖”這一現(xiàn)象。

“準(zhǔn)確率懸崖”現(xiàn)象指的是，當(dāng)模型任務(wù)的信息需求量超過(guò)模型的單次輸出能力時(shí)，模型性能會(huì)出現(xiàn)下降且下降趨勢(shì)并不平穩(wěn)，而是會(huì)像掉下懸崖一樣急劇和非線性。

同時(shí)，他們將這一理論用于多跳問答任務(wù)，借此對(duì)其進(jìn)行了形式化剖析，從而首次揭示了該任務(wù)在單次推理范式下失敗的兩個(gè)核心規(guī)律：“逐步容量溢出”和“跨步錯(cuò)誤累積”。

逐步容量溢出，指的是隨著推理跳數(shù)和上下文噪音的增加，任務(wù)的信息需求會(huì)呈現(xiàn)出超線性增長(zhǎng)，從而能夠輕易地超出模型的處理容量上限。

跨步錯(cuò)誤累積，指的是在多步推理鏈中，由于容量限制帶來(lái)的微小錯(cuò)誤會(huì)被不斷放大，最終導(dǎo)致整個(gè)推理過(guò)程走向失敗。

（來(lái)源：https://arxiv.org/pdf/2509.21199）

基于上述發(fā)現(xiàn)，該團(tuán)隊(duì)打造出一款名為 InfoQA 的概念驗(yàn)證多輪調(diào)用推理框架，它可以通過(guò)容量感知的任務(wù)分解和主動(dòng)信息剪枝，解決模型在單次推理上的瓶頸。

為了驗(yàn)證本次成果，他們又構(gòu)建一個(gè)充滿噪音的全新基準(zhǔn)測(cè)試集。實(shí)驗(yàn)結(jié)果顯示，模型的實(shí)際表現(xiàn)與預(yù)測(cè)曲線是高度吻合的，證實(shí)了 InfoQA 框架的有效性。

研究團(tuán)隊(duì)表示，這一成果為理解當(dāng)前大模型的瓶頸分析提供了新的容量診斷視角。當(dāng)處理極端復(fù)雜的任務(wù)時(shí)，傳統(tǒng)的模型優(yōu)化方法比如增加訓(xùn)練數(shù)據(jù)、調(diào)整模型架構(gòu)等可能會(huì)遇到瓶頸，因?yàn)檫@些優(yōu)化方法只能讓模型更加接近、而無(wú)法突破自己的容量上限。

而本次成果提供了一個(gè)全新的診斷視角：即問題根源可能并不是模型不夠“聰明”，而是任務(wù)復(fù)雜度超過(guò)了模型的“單次處理容量”。而這能為多智能體系統(tǒng)的必要性提供堅(jiān)實(shí)的理論依據(jù)，使其不再只是一個(gè)經(jīng)驗(yàn)性的選擇，而是一個(gè)應(yīng)對(duì)容量溢出的根本性解決方案。

另一方面，基于容量診斷的視角，研究團(tuán)隊(duì)開辟出了一條更高效的大模型應(yīng)用優(yōu)化思路。具體來(lái)說(shuō)：

首先是優(yōu)化任務(wù)范式。對(duì)于特定的復(fù)雜任務(wù)來(lái)說(shuō)，本次理論發(fā)現(xiàn)“聰明的任務(wù)分解”可能會(huì)比“昂貴的模型升級(jí)”更具性價(jià)比。投入海量資源去微調(diào)甚至重新訓(xùn)練一個(gè)更大的模型費(fèi)錢費(fèi)時(shí)，而一個(gè)更高效、更快捷的路徑則是優(yōu)化任務(wù)本身的工作流，通過(guò)合理的分解將任務(wù)難度控制在現(xiàn)有模型的有效處理范圍之內(nèi)。

其次是優(yōu)化多智能體系統(tǒng)設(shè)計(jì)，讓其從同構(gòu)走向異構(gòu)?；诒敬纬晒?，研究團(tuán)隊(duì)設(shè)計(jì)了更精細(xì)同時(shí)也更經(jīng)濟(jì)的多智能體系統(tǒng)。其認(rèn)為，既然不同的子任務(wù)階段對(duì)應(yīng)著不同的信息處理需求，那么讓所有智能體都使用同一個(gè)骨干大模型無(wú)疑會(huì)造成資源浪費(fèi)。更好的做法則是設(shè)計(jì)一個(gè)異構(gòu)型智能體系統(tǒng)，讓小巧且高效的模型去處理低復(fù)雜度的子任務(wù)，僅在高信息需求的關(guān)鍵節(jié)點(diǎn)調(diào)用最強(qiáng)大的模型。

圖 | 相關(guān)論文的第一作者萬(wàn)開陽(yáng)（來(lái)源：萬(wàn)開陽(yáng)）

闡明單一模型的物理極限，為研究多智能體系統(tǒng)提供嚴(yán)謹(jǐn)理論論證

據(jù)介紹，本次研究的背景源于對(duì)當(dāng)前大模型能力邊界的深入探索，并尤其聚焦于大模型在處理復(fù)雜用戶指令和長(zhǎng)篇文本任務(wù)時(shí)的表現(xiàn)。這一探索的起點(diǎn)源于該團(tuán)隊(duì)此前打造的 CogWriter。CogWriter 是一個(gè)由人類認(rèn)知寫作理論啟發(fā)的多智能體框架，它能顯著提升大模型生成復(fù)雜指令限制長(zhǎng)文本的能力。針對(duì) CogWriter 進(jìn)行分析和實(shí)踐時(shí)，研究團(tuán)隊(duì)觀察到三個(gè)既普遍又引人深思的現(xiàn)象。

第一個(gè)現(xiàn)象是：大模型的能力與參數(shù)規(guī)模有著強(qiáng)關(guān)聯(lián)性。他們發(fā)現(xiàn)，模型的參數(shù)量是決定其能否執(zhí)行復(fù)雜認(rèn)知寫作步驟的關(guān)鍵因素。例如，當(dāng)使用 14B 參數(shù)的模型時(shí)，CogWriter 能夠順利執(zhí)行規(guī)劃、反思和修訂等高級(jí)認(rèn)知步驟。然而，當(dāng)換用同一系列的、但是參數(shù)更少的 8B 模型時(shí)，模型在執(zhí)行相同步驟時(shí)會(huì)產(chǎn)生混亂的計(jì)劃和無(wú)效的修改反饋。這說(shuō)明模型參數(shù)規(guī)模與其執(zhí)行復(fù)雜任務(wù)的“有效性”之間存在著緊密聯(lián)系。

第二個(gè)現(xiàn)象是：大模型的指令遵循能力會(huì)隨生成長(zhǎng)度呈現(xiàn)出衰減效應(yīng)。當(dāng)模型在處理長(zhǎng)文本時(shí)，其表現(xiàn)出一種類似于“記憶衰退”的特征。在生成任務(wù)的初期，無(wú)論是簡(jiǎn)單的單步指令還是復(fù)雜的多步指令，模型都能很好地遵循。然而，隨著文本長(zhǎng)度的增加，模型的指令遵循能力會(huì)在某個(gè)臨界點(diǎn)后急劇下降，以至于“忘記”了最初的目標(biāo)。這種“遺忘”現(xiàn)象在參數(shù)量較小的模型上尤為明顯，而更大參數(shù)量的模型則能將這種衰減進(jìn)行推遲。

第三個(gè)現(xiàn)象是：多智能體協(xié)作會(huì)帶來(lái)性能提升。大量領(lǐng)域內(nèi)相關(guān)成果以及該團(tuán)隊(duì)打造的 CogWriter 證明，當(dāng)將一個(gè)復(fù)雜任務(wù)進(jìn)行合理分解，并分配給多個(gè)專門智能體來(lái)進(jìn)行協(xié)同處理，就能在無(wú)需額外訓(xùn)練的情況下實(shí)現(xiàn)任務(wù)性能的質(zhì)的飛躍。仍以 CogWriter 為例，當(dāng)使用 Qwen2.5-14B 模型作為骨干時(shí)，CogWriter 能將其在復(fù)雜指令任務(wù)上的平均準(zhǔn)確率從 0.44 提至 0.61，這一成績(jī)甚至超越了 GPT-4o 的 0.47 的平均準(zhǔn)確率。

這些現(xiàn)象讓該團(tuán)隊(duì)意識(shí)到，雖然他們已經(jīng)明確知道類似于 CogWriter 等多智能體框架的分解協(xié)作模式是有效的，但是他們?nèi)匀徊磺宄澈笤蛩冢杭炊嘀悄荏w協(xié)作憑何突破單一模型的瓶頸？這個(gè)瓶頸的本質(zhì)又是什么？

基于以上疑問，他們希望為其在 CogWriter 等多智能體系統(tǒng)實(shí)踐中觀察到的現(xiàn)象進(jìn)行理論解釋，并希望能在多智能體系統(tǒng)的設(shè)計(jì)中除了進(jìn)行經(jīng)驗(yàn)性和啟發(fā)式的探索之外，能夠提供一個(gè)物理學(xué)式的理論預(yù)測(cè)視角?！斑@個(gè)視角將能闡明單一模型的物理極限，并能為多智能體系統(tǒng)產(chǎn)生效果的原因提供理論論證?！比f(wàn)開陽(yáng)告訴 DeepTech。

（來(lái)源：https://arxiv.org/pdf/2509.21199）

能否從底層原理上證明單一模型單次生成的瓶頸？

基于業(yè)內(nèi)成果以及實(shí)際經(jīng)驗(yàn)來(lái)看，研究團(tuán)隊(duì)認(rèn)為大模型單次生成存在著一種性能上限瓶頸，即使增加數(shù)據(jù)微調(diào)也無(wú)法解決這一瓶頸。而在無(wú)需訓(xùn)練下的前提之下，多智能體系統(tǒng)則能實(shí)現(xiàn)顯著的效果提升。進(jìn)一步地，在打造多智能體系統(tǒng)的時(shí)候，智能體對(duì)于不同復(fù)雜度任務(wù)的處理能力存在明顯差異。

因此，他們?cè)O(shè)想的是：能否超越經(jīng)驗(yàn)性和啟發(fā)式的研究思路，從底層原理上證明單一模型單次生成的瓶頸？以及多智能體系統(tǒng)該如何突破這個(gè)瓶頸？再就是到底是需要更多訓(xùn)練、還是需要通過(guò)構(gòu)建多智能體來(lái)突破瓶頸？總的來(lái)說(shuō)，他們想探索的問題是：對(duì)于單次生成和多智能體這兩者來(lái)說(shuō)，到底誰(shuí)才是解決復(fù)雜自然語(yǔ)言處理（NLP，Natural Language Processing）問題的發(fā)展方向？

而本次研究的起點(diǎn)，則來(lái)自于一個(gè)關(guān)于模型“物理邊界”的直覺。這個(gè)直覺是：大模型在單次生成中，其輸出的 token 數(shù)量、每個(gè) token 的表示維度，乃至內(nèi)部注意力與多層感知機(jī)（MLP，Multilayer Perceptron）層的矩陣維度都是有限的。這些看似孤立的物理約束共同指向這樣一個(gè)猜想：在模型的單次推理過(guò)程中存在“信息處理的上限”。

（來(lái)源：https://arxiv.org/pdf/2509.21199）

為了從第一性原理出發(fā)驗(yàn)證這一猜想，研究團(tuán)隊(duì)追溯到了信息的最基本單元——比特。既然計(jì)算機(jī)中一切數(shù)字信息的本質(zhì)都是比特，而大模型的運(yùn)算與表示也都構(gòu)建于其上，那么信息論這門研究信息量化、存儲(chǔ)和通信的科學(xué)便順理成章地成為了他們最基礎(chǔ)的分析工具。

基于此，研究團(tuán)隊(duì)將大模型的單次推理過(guò)程抽象為一個(gè)處理比特流的“通信信道”。正是這一視角的轉(zhuǎn)換，使得他們得以運(yùn)用信息論的嚴(yán)謹(jǐn)框架，來(lái)推導(dǎo)模型作為信道的信息容量上限，以及得以推導(dǎo)與復(fù)雜任務(wù)所蘊(yùn)含的信息處理需求之間的數(shù)學(xué)關(guān)系。

為了驗(yàn)證并應(yīng)用這一理論，他們又將本次研究課題從“復(fù)雜指令長(zhǎng)文本生成”拓展至“復(fù)雜指令長(zhǎng)文本理解”，并選擇多跳問答任務(wù)作為分析對(duì)象。多跳問答任務(wù)要求模型必須在一長(zhǎng)段充滿噪音的文本中，通過(guò)環(huán)環(huán)相扣的推理鏈找到答案，這一特點(diǎn)使其成為測(cè)試信息處理上限理論的絕佳場(chǎng)景。通過(guò)通信信道這樣一個(gè)視角，使得他們得以深入剖析多跳問答任務(wù)的內(nèi)在結(jié)構(gòu)，并揭示了多跳問答任務(wù)在單次生成范式下失敗的原因所在。

隨后，他們發(fā)現(xiàn)法諾不等式是一個(gè)與其課題高度契合的理論工具，它能夠連接信息論和機(jī)器學(xué)習(xí)的性能度量，即能夠直接將信道中剩余的不確定性與最終的決策錯(cuò)誤率掛鉤。而這正是研究團(tuán)隊(duì)所需要的數(shù)學(xué)理論基礎(chǔ)，這一數(shù)學(xué)理論基礎(chǔ)能從理論上將“信息處理上限”的猜想轉(zhuǎn)化為可以量化的“模型準(zhǔn)確率上限”。

基于此，他們推導(dǎo)出了本次研究的核心理論：即推導(dǎo)出了一個(gè)針對(duì)大模型單遍推理的類法諾準(zhǔn)確率上界公式。這個(gè)上界公式指出模型的最高準(zhǔn)確率會(huì)受到兩個(gè)核心變量的制約：第一個(gè)制約是任務(wù)本身固有的信息需求量，第二個(gè)制約是模型單次生成所能承載的“信息容量”。一旦信息需求量超過(guò)模型的單次處理容量，那么從數(shù)學(xué)角度來(lái)看模型就不可能達(dá)到 100% 的準(zhǔn)確率。

（來(lái)源：https://arxiv.org/pdf/2509.21199）

更有趣的是，通過(guò)這一理論該團(tuán)隊(duì)還預(yù)測(cè)出一個(gè)名為“準(zhǔn)確率懸崖”的現(xiàn)象：即前文提到的當(dāng)任務(wù)復(fù)雜度超越模型的處理上限時(shí)模型性能并不會(huì)平滑地下降，相反的它會(huì)像墜落懸崖一樣發(fā)生急劇的斷崖式崩潰，這完美地解釋了他們所觀察到的現(xiàn)象：即為何模型在處理某個(gè)臨界點(diǎn)之下的任務(wù)時(shí)游刃有余，而一旦超過(guò)這個(gè)節(jié)點(diǎn)性能就迅速變得不可接受。

打下理論基礎(chǔ)之后，他們又將理論與實(shí)際問題進(jìn)行結(jié)合，并形式化地定義了多跳問答任務(wù)的結(jié)構(gòu)，借此識(shí)別出導(dǎo)致其信息需求量爆炸式增長(zhǎng)的兩個(gè)原因。

第一個(gè)原因是逐步容量溢出。研究團(tuán)隊(duì)發(fā)現(xiàn)，隨著推理“跳數(shù)”的增加，模型需要記憶和處理的中間信息會(huì)呈現(xiàn)出超線性增長(zhǎng)的規(guī)律，以至于非常容易在某一個(gè)步驟上壓垮模型的單次信息容量。

第二個(gè)原因是跨步錯(cuò)誤累積。由于推理鏈的依賴性，即使每一步只有很微小的偏差，這些錯(cuò)誤也會(huì)在鏈條中逐級(jí)放大，最終導(dǎo)致整個(gè)推理過(guò)程出現(xiàn)崩潰。

這兩個(gè)原因共同構(gòu)成了一個(gè)兩難的組合困境，使得單次生成范式在根本上難以勝任復(fù)雜的多跳任務(wù)。找到問題的根源之后，尋找解決方案的方向也變得清晰起來(lái)：既然單次生成的瓶頸在理論上無(wú)法避免，那么就得超越它。為此，研究團(tuán)隊(duì)設(shè)計(jì)了 InfoQA，這是一個(gè)多輪調(diào)用（multi-call）的推理框架，他們將其作為一個(gè)模擬多智能體系統(tǒng)來(lái)證明其推測(cè)。

（來(lái)源：https://arxiv.org/pdf/2509.21199）

據(jù)介紹，InfoQA 的設(shè)計(jì)哲學(xué)源于該團(tuán)隊(duì)的理論分析，他們通過(guò)以下三個(gè)核心機(jī)制來(lái)解決上述組合困境：

第一個(gè)機(jī)制是感知容量的任務(wù)分解，它能將一個(gè)復(fù)雜的多跳問題分解成一系列模型單次處理能力之內(nèi)的單跳子問題，從而確保每一步都不會(huì)掉下“準(zhǔn)確率懸崖”。

第二個(gè)機(jī)制依賴于明確的工作流，它將上一步的答案顯式地注入到下一步的問題中，從而形成一個(gè)清晰和可控的推理鏈條，進(jìn)而能夠保證推理路徑的魯棒性。

第三個(gè)機(jī)制是迭代式問題壓縮，在每一步之后它都會(huì)主動(dòng)“剪掉”不再需要的推理痕跡和上下文噪音，只將最核心的信息保留下來(lái)，以便達(dá)成負(fù)荷最小的推理過(guò)程，從而避免信息負(fù)載的持續(xù)膨脹。

鑒于已有的基準(zhǔn)測(cè)試無(wú)法精確地控制任務(wù)的信息復(fù)雜度，因此他們構(gòu)建了一個(gè)充滿噪音和干擾項(xiàng)的合成數(shù)據(jù)集。這個(gè)合成數(shù)據(jù)集為他們帶來(lái)了一個(gè)高度可控的實(shí)驗(yàn)環(huán)境中，基于此他們證明 InfoQA 框架在各種復(fù)雜度和各種長(zhǎng)度的上下文之下，性能都能穩(wěn)定、顯著地超越所有單遍推理的基線模型。

而在后續(xù)，研究團(tuán)隊(duì)計(jì)劃進(jìn)行“活字印刷”的新嘗試。具體來(lái)說(shuō)，其將通過(guò)多目標(biāo)優(yōu)化的方法在一個(gè)骨干模型中訓(xùn)練多種可被獨(dú)立調(diào)用的“原子能力”，以期能在單一巨型模型和復(fù)雜多智能體系統(tǒng)之間找到一個(gè)更高效和更經(jīng)濟(jì)的平衡點(diǎn)。

研究團(tuán)隊(duì)表示，他們希望最終能夠打造一個(gè)“單一部署、多能協(xié)作”的高效模型，預(yù)計(jì)這一模型不僅功能多樣，又能根據(jù)任務(wù)動(dòng)態(tài)調(diào)用能力，從而能夠顯著降低部署成本和推理成本，這將尤其適合在手機(jī)等資源有限的設(shè)備上運(yùn)行。

參考資料：

https://arxiv.org/pdf/2509.21199

運(yùn)營(yíng)/排版：何晨龍