還記得安德烈·卡帕西（Andrej Karpathy）在上個月帶火的上下文工程嗎？他曾盛贊上下文工程“是一門精心設計、科學填充上下文窗口的精密藝術?！?/p>

（來源：X）

時隔不到一個月，上下文工程更是被一眾科學家正式定義為一門學科。日前，來自中美澳累計 6 家高?？蒲袡C構的 15 名研究人員，通過分析 1400 多篇研究論文，首次將上下文工程作為一門正式學科加以全面探討，并指出它能夠系統(tǒng)性地設計、優(yōu)化和管理大模型的信息有效載荷。

（來源：https://arxiv.org/pdf/2507.13334）

論文作者們分別來自中國科學院計算技術研究所、美國加利福尼亞大學默塞德分校、澳大利亞昆士蘭大學、北京大學、清華大學和中國科學院大學。論文中，研究人員將上下文工程確立為開發(fā)復雜 AI 系統(tǒng)的關鍵基礎，并指出這類復雜 AI 系統(tǒng)的特征在于能夠有效整合外部知識、維持持久記憶，以及能與復雜環(huán)境進行動態(tài)交互。

本次研究的主要貢獻在于提出了一個統(tǒng)一的分類框架，該框架將上下文工程技術分為基礎組件和系統(tǒng)實現(xiàn)方法兩大塊。通過這一系統(tǒng)性的研究，他們得出了以下關鍵見解。

• 第一，盡管大模型在理解復雜語境上有著出色表現(xiàn)，但是在生成同樣復雜的輸出時卻存在局限性，而這兩者之間存在根本性的不對稱，這種理解與生成之間的差距是大模型領域面臨的最關鍵挑戰(zhàn)之一。
• 第二，本次研究表明多種技術正在以日益復雜的方式進行協(xié)同融合，這種集成模式所產生的綜合能力已經超越各獨立組件的簡單疊加。研究人員所觀察到一個明顯趨勢是：模塊化和組合性不斷增強，使得架構能夠靈活適應各種應用，同時還能保持系統(tǒng)的一致性。

總的來說，通過系統(tǒng)地分析 1400 多篇論文，本次綜述論文不僅為該領域確立了技術路線圖，還揭示了一個關鍵的研究空白：即模型能力之間存在根本性的不對稱。盡管當前模型通過先進的上下文工程得到了增強，在理解復雜上下文方面也有著出色表現(xiàn)，但在生成同樣復雜的長篇輸出時卻存在明顯的局限性，而填補這一空白是未來領域內的首要任務。

（來源：https://arxiv.org/pdf/2507.13334）

將上下文工程進行概念化

很多人都知道，大模型的性能和效能從根本上取決于它們所接收的上下文。這種上下文——從簡單的指令提示到復雜的外部知識庫，是引導其行為、擴充其知識和釋放其能力的主要機制。隨著大模型從基本的“指令遵循系統(tǒng)”演變?yōu)閺碗s應用的“核心推理引擎”，設計和管理其信息載荷的方法也相應地演變?yōu)樯舷挛墓こ踢@樣一門正式學科。

當前，上下文工程領域正以爆炸性的速度擴展，催生了眾多專業(yè)且分散的研究方向。如前所述，研究人員將這一領域進行了概念化，進而指出上下文工程由以下兩個部分組成：基礎組件和系統(tǒng)實現(xiàn)方法。

基礎組件通過三個關鍵階段構成了上下文工程的系統(tǒng)性流程：

1.第一個階段是上下文檢索與生成，包括基于提示的生成和外部知識獲?。?/p>

2.第二個階段是上下文處理，這涉及到長序列處理、自我完善機制和結構化信息整合；

3.第三個階段是上下文管理，這涉及到內存層次結構、壓縮技術和優(yōu)化策略。

這些基礎組件催生了更復雜的面向應用的實現(xiàn)方式，進一步地這些實現(xiàn)方式能夠將大模型與外部現(xiàn)實聯(lián)系起來。

系統(tǒng)實現(xiàn)方法主要包括：

1.第一種是高級檢索增強生成，該技術目前已經發(fā)展為模塊化、智能體驅動的架構，能被用于動態(tài)知識注入；

2.第二種是模擬人類認知能力以便實現(xiàn)持久信息保留的顯性內存系統(tǒng)；

3.第三種工具集成推理，它能將模型從被動的文本生成器轉變?yōu)槟軌騽討B(tài)利用工具和操縱環(huán)境的主動世界交互者。這種實現(xiàn)方式使模型能夠通過函數調用機制、集成推理框架和復雜的環(huán)境交互能力，突破其固有的局限性。

4.第四種是基于智能體系統(tǒng)的完整生態(tài)系統(tǒng)，這種技術代表著目前上下文工程的巔峰技術，它能讓智能體利用函數調用和工具集成推理來與世界進行交互，并能夠通過依賴于復雜的智能體通信協(xié)議和上下文編排，進而在多智能體配置中實現(xiàn)復雜目標。

（來源：https://arxiv.org/pdf/2507.13334）

上下文工程的基礎組件、系統(tǒng)實現(xiàn)和評估

研究人員指出，當前大模型領域的碎片化發(fā)展掩蓋了技術之間的根本聯(lián)系，也給業(yè)內人士帶來了研究障礙和使用障礙。因此，該領域迫切需要一個統(tǒng)一的框架來系統(tǒng)性地整合這些技術，進而闡明其基本原理，以及揭示它們之間的相互依賴關系。

隨著大模型從簡單的指令遵循系統(tǒng)演變?yōu)閺碗s、多應用的核心推理引擎，與之交互的方法也必須隨之發(fā)展。

研究人員認為，提示工程固然很重要，但是已經無法全面涵蓋現(xiàn)代 AI 系統(tǒng)所需的信息載荷的設計、管理和優(yōu)化。關于此，在本文開頭的 X 貼文截圖中卡帕西也表達了類似觀點。原因在于，這些 AI 系統(tǒng)并非基于單一、靜態(tài)的文本字符串進行操作，它們利用的是動態(tài)、結構化且多方面的信息流。為了彌補這一關鍵空白，本次綜述論文首次針對大模型的上下文工程進行了全面且系統(tǒng)的回顧，同時引入并規(guī)范了上下文工程這一學科。

如前所述，上下文工程建立在三個基本組件之上，這些組件能夠共同應對大模型中信息管理的核心挑戰(zhàn)：

• 上下文檢索與生成，它通過提示工程、外部知識檢索和動態(tài)上下文組裝來獲取適當的上下文信息；
• 上下文處理，它通過長序列處理、自我優(yōu)化機制和結構化數據整合，來針對獲取的信息進行轉換和優(yōu)化；
• 上下文管理，它通過解決基本約束、實施復雜的內存層次結構以及開發(fā)壓縮技術，來處理上下文信息的有效組織和利用。

這些基礎組件為所有上下文工程的實施奠定了理論和實踐基礎，并能形成一個全面的框架。其中，每個組件都能處理上下文工程流程的不同方面，同時各組件之間保持協(xié)同關系，從而實現(xiàn)全面的上下文優(yōu)化和有效的上下文工程策略。

基于上下文工程的基礎組件，研究人員探討了復雜的系統(tǒng)實現(xiàn)方式，這些實現(xiàn)方式可以將上述組件整合到實用的智能架構中，同時這些實現(xiàn)代表了從理論框架到可部署系統(tǒng)的演進。

如前所述，研究人員提出了四類系統(tǒng)實現(xiàn)方式：

• 第一類實現(xiàn)方式是檢索增強生成系統(tǒng)，它通過模塊化架構和圖增強方法實現(xiàn)外部知識的整合。
• 第二類實現(xiàn)方式是內存系統(tǒng)，它通過復雜的內存架構展示了持續(xù)的上下文管理，從而能夠支持長期學習。
• 第三類實現(xiàn)方式是工具集成推理，它通過函數調用和環(huán)境交互，將語言模型轉化為能夠與世界交互的實體。
• 第四類實現(xiàn)方式是多智能體系統(tǒng)，它通過通信協(xié)議和編排機制呈現(xiàn)出協(xié)調一致的方法。

以上四類實現(xiàn)方式中的每一個都基于基礎組件構建，同時解決了上下文利用中的特定挑戰(zhàn)，展示了理論原則轉化為實際系統(tǒng)的背后原理。

（來源：https://arxiv.org/pdf/2507.13334）

“AI 模型的性能本質上取決于上下文信息”

研究人員指出，當前上下文工程正處于一個關鍵的轉折點，當前這種基礎進展與新興應用需求相融合的階段，既創(chuàng)造了前所未有的創(chuàng)新機遇，也暴露出了一些必須在多個維度開展持續(xù)研究才能解決的根本性挑戰(zhàn)。

隨著該領域逐漸從孤立的組件開發(fā)向集成系統(tǒng)架構過渡，一些研究難題的復雜性也會呈現(xiàn)指數級的增長，因此需要采用跨學科的方法，將理論計算機科學、實用系統(tǒng)工程和特定領域專業(yè)知識結合起來。

基于此，研究人員通過本次論文為 AI 從業(yè)者提供了一個統(tǒng)一的框架。與此同時，研究人員通過本次研究所發(fā)現(xiàn)的大模型評估挑戰(zhàn)，凸顯了該領域對于全面評估框架的需求，這類全面評估框架需要能夠捕捉上下文工程系統(tǒng)所展現(xiàn)出的復雜、動態(tài)的行為。因此，傳統(tǒng)評估方法對于多組件集成、具有自適應行為且長期持續(xù)運行的大模型來說已經顯得力不從心。但在這之中也蘊含著一些重大機遇，比如未來人們可以開發(fā)用于高效長上下文處理的下一代架構、構建智能上下文組裝系統(tǒng)，以及打造多智能體的協(xié)調機制等。

總的來說，本次綜述論文不僅呈現(xiàn)了該領域的一些現(xiàn)狀，也為未來研究提供了路線圖，并將上下文工程確立為一門獨立學科，它的獨立性體現(xiàn)在它擁有獨屬于自身的原則、方法和挑戰(zhàn)，能夠推動并支持具有上下文感知能力的AI 模型實現(xiàn)“負責任”的發(fā)展。

而隨著大模型的不斷發(fā)展，“AI 模型的性能本質上取決于上下文信息”的這一關于上下文工程的核心洞見，仍將在 AI 模型的發(fā)展中占據關鍵地位。未來，隨著 AI 模型逐漸朝著復雜的多組件系統(tǒng)發(fā)展，上下文工程有望在 AI 發(fā)展中扮演日益核心的角色。而上下文工程的跨學科性質，即其涵蓋計算機科學、認知科學、語言學以及特定領域專業(yè)知識的特點，也要求人們必須采取跨領域合作的方法來將 AI 之路走寬走遠。

參考資料：

https://arxiv.org/pdf/2507.13334

https://x.com/karpathy