上交大劉鵬飛團(tuán)隊(duì)新作：AI 的下一次覺(jué)醒，將在語(yǔ)境中發(fā)生。

作者丨鄭佳美

編輯丨馬曉寧

過(guò)去幾年，人工智能的浪潮一次又一次刷新人們的想象：模型變得更大、算力更強(qiáng)、應(yīng)用更廣。

但在光鮮的成果背后，一個(gè)更深層的問(wèn)題被不斷暴露 ——AI 真的“理解”世界了嗎？它能記住對(duì)話，卻常常忘記語(yǔ)境，能生成答案，卻未必明白問(wèn)題的由來(lái)。人們開(kāi)始意識(shí)到，智能的邊界，不在算法，而在語(yǔ)境。

正是在這樣的背景下，上交大生成式人工智能實(shí)驗(yàn)室（GAIR Lab）提出了一個(gè)顛覆性的觀點(diǎn)：人工智能的本質(zhì)不是算力革命，而是“上下文革命”。他們?cè)谧钚抡撐闹?，把“上下文”從語(yǔ)言模型的附屬概念，提升為智能系統(tǒng)的核心結(jié)構(gòu)，認(rèn)為系統(tǒng)理解世界的方式，取決于它如何吸收、組織并重構(gòu)語(yǔ)境。

這項(xiàng)研究通過(guò)回溯上下文系統(tǒng)的演化歷史，結(jié)合大量系統(tǒng)實(shí)驗(yàn)與理論建模，提出了“上下文工程”（Context Engineering）這一全新學(xué)科框架。團(tuán)隊(duì)發(fā)現(xiàn)，從早期依賴(lài)傳感器和規(guī)則的 Context 1.0，到能夠跨模態(tài)理解語(yǔ)義的智能體 2.0，AI 的每一次躍遷，都是一次對(duì)“語(yǔ)境吸收力”的升級(jí)。

在參數(shù)增長(zhǎng)趨于極限的當(dāng)下，這項(xiàng)研究像是在為人工智能指明新的出路：當(dāng)機(jī)器不再只是記住語(yǔ)境，而能理解并創(chuàng)造語(yǔ)境，也許，那才是真正的智能時(shí)代的開(kāi)始。

01

語(yǔ)境，才是智能的真正邊界

這篇論文的實(shí)驗(yàn)結(jié)果揭示了一個(gè)重要規(guī)律：人工智能的進(jìn)步，歸根結(jié)底取決于系統(tǒng)對(duì)“上下文”的理解和利用能力，也就是它能多好地吸收、組織和重構(gòu)語(yǔ)境。

作者通過(guò)比較不同代的智能系統(tǒng)，總結(jié)出了上下文工程的發(fā)展路徑。他指出，從最早依賴(lài)傳感器和規(guī)則運(yùn)行的系統(tǒng)（比如 Context Toolkit、Cooltown），到如今能理解自然語(yǔ)言和多模態(tài)信息的智能體（如 ChatGPT、LangChain、Letta），智能的提升，其實(shí)就是系統(tǒng)能處理的語(yǔ)境越來(lái)越復(fù)雜。

早期的系統(tǒng)只能根據(jù)明確輸入作出反應(yīng)，而現(xiàn)在的系統(tǒng)已經(jīng)能通過(guò)語(yǔ)義推理理解人類(lèi)意圖，做出更自然的互動(dòng)，這標(biāo)志著上下文工程正式進(jìn)入了 2.0 階段。

實(shí)驗(yàn)還進(jìn)一步預(yù)測(cè)了智能的發(fā)展方向。隨著系統(tǒng)理解語(yǔ)境的能力越來(lái)越強(qiáng)，它未來(lái)會(huì)逐步具備類(lèi)似人類(lèi)的思維方式，能理解社會(huì)語(yǔ)境甚至情感因素，最終可能進(jìn)化成能主動(dòng)創(chuàng)造語(yǔ)境的“超人智能”。

為了驗(yàn)證這種演化趨勢(shì)，作者提出了上下文工程的函數(shù)定義：CE:(C,T)→f_context。這個(gè)定義的意義在于，它把提示工程、檢索增強(qiáng)和記憶管理等不同方法都統(tǒng)一到了一個(gè)數(shù)學(xué)框架下，為上下文的工程化提供了理論基礎(chǔ)。

在系統(tǒng)對(duì)比實(shí)驗(yàn)中，研究發(fā)現(xiàn)現(xiàn)代智能體的上下文系統(tǒng)在輸入容忍度、記憶層級(jí)化、多模態(tài)融合以及多智能體協(xié)作等方面都有明顯進(jìn)步。

值得一提的是，現(xiàn)在的系統(tǒng)不再只是簡(jiǎn)單地存儲(chǔ)文本，而是能通過(guò)時(shí)間標(biāo)記、語(yǔ)義壓縮和層級(jí)摘要的方式構(gòu)建結(jié)構(gòu)化語(yǔ)境，不同任務(wù)或子智能體之間還能共享上下文。

實(shí)驗(yàn)結(jié)果表明，這種短期與長(zhǎng)期記憶相結(jié)合的設(shè)計(jì)大大提高了系統(tǒng)的穩(wěn)定性和擴(kuò)展性，而所謂的“自烘焙”機(jī)制則通過(guò)語(yǔ)義壓縮有效解決了超長(zhǎng)對(duì)話帶來(lái)的信息冗余和語(yǔ)境污染問(wèn)題。

此外，檢索機(jī)制的優(yōu)化使系統(tǒng)能在語(yǔ)義相關(guān)性、邏輯依賴(lài)與時(shí)序一致性之間實(shí)現(xiàn)動(dòng)態(tài)平衡，進(jìn)一步增強(qiáng)了對(duì)用戶(hù)隱性意圖的捕捉能力。

實(shí)驗(yàn)還發(fā)現(xiàn)，Transformer 模型在處理長(zhǎng)時(shí)語(yǔ)境時(shí)會(huì)出現(xiàn)注意力衰減和語(yǔ)義漂移等問(wèn)題，這暴露出現(xiàn)有架構(gòu)在“終身上下文”處理方面的不足。為了解決這些問(wèn)題，作者提出了“Lifelong Context”的概念，認(rèn)為要構(gòu)建可持續(xù)、能不斷進(jìn)化的語(yǔ)境記憶系統(tǒng)，就必須使用新的語(yǔ)義壓縮算法和一致性維護(hù)機(jī)制。

綜合所有發(fā)現(xiàn)，論文得出的結(jié)論是：現(xiàn)代智能體的發(fā)展方向，正在從“被動(dòng)響應(yīng)”向“主動(dòng)構(gòu)建語(yǔ)境”轉(zhuǎn)變。上下文工程的核心目標(biāo)，就是讓系統(tǒng)不僅能理解語(yǔ)境，還能組織、加工、甚至重寫(xiě)語(yǔ)境。這種能力，正是提升語(yǔ)言模型性能的根本，也是實(shí)現(xiàn)真正通用人工智能的關(guān)鍵。

02

從感知到自省

論文的實(shí)驗(yàn)經(jīng)過(guò)大致可以分為三個(gè)階段。研究從上下文工程的整體框架出發(fā)，目的是在大型語(yǔ)言模型和智能體快速發(fā)展的背景下，探索模型性能與上下文質(zhì)量之間的關(guān)系。作者認(rèn)為，模型越智能，就越依賴(lài)語(yǔ)境信息的完整性與組織方式，因此希望通過(guò)歷史回顧和實(shí)證對(duì)比，建立一種系統(tǒng)化的上下文工程方法。

在第一階段，研究采用歷史比較的方式，分析了從 1990 年代到現(xiàn)在的兩代上下文系統(tǒng)。早期的 Context 1.0 主要依賴(lài)傳感器和固定規(guī)則來(lái)感知環(huán)境，屬于結(jié)構(gòu)化邏輯系統(tǒng)，而如今的 Context 2.0 已能理解自然語(yǔ)言，利用檢索增強(qiáng)和長(zhǎng)記憶機(jī)制來(lái)處理復(fù)雜語(yǔ)境，顯著提升了理解與推理能力。

第二階段，團(tuán)隊(duì)進(jìn)行了系統(tǒng)性對(duì)比實(shí)驗(yàn)，選取了多個(gè)具有代表性的系統(tǒng)——從早期的 Context Toolkit 和 Cooltown，到現(xiàn)代的 ChatGPT、LangChain、Claude、Letta 等，重點(diǎn)比較它們?cè)谛畔⒉杉?、管理和使用上的不同。?shí)驗(yàn)發(fā)現(xiàn)，現(xiàn)代系統(tǒng)在語(yǔ)義壓縮和上下文存儲(chǔ)方式上都有顯著改進(jìn)，更擅長(zhǎng)整合多源數(shù)據(jù)并保持語(yǔ)義連續(xù)。

到了第三階段，實(shí)驗(yàn)的重點(diǎn)就來(lái)到了理論驗(yàn)證。作者提出了上下文工程的函數(shù)化定義和“熵減模型”，認(rèn)為上下文處理其實(shí)是一個(gè)“信息壓縮”過(guò)程：人類(lèi)能憑語(yǔ)境自動(dòng)理解省略的內(nèi)容，而機(jī)器則需要先將復(fù)雜語(yǔ)境壓縮成低熵、可計(jì)算的形式?；谶@一思路，論文構(gòu)建了一個(gè)完整的上下文處理流程，包括信息采集、記憶管理和任務(wù)執(zhí)行等環(huán)節(jié)。

在實(shí)驗(yàn)中，系統(tǒng)通過(guò)多種設(shè)備采集數(shù)據(jù)，如手機(jī)、可穿戴設(shè)備、虛擬現(xiàn)實(shí)和物聯(lián)網(wǎng)終端。在管理層面，系統(tǒng)建立了短期與長(zhǎng)期記憶的層級(jí)結(jié)構(gòu)，用時(shí)間標(biāo)記、語(yǔ)義標(biāo)簽和摘要壓縮來(lái)組織信息。而在使用層面，不同智能體能通過(guò)結(jié)構(gòu)化消息共享語(yǔ)境，并根據(jù)語(yǔ)義相關(guān)性、邏輯關(guān)系和用戶(hù)偏好動(dòng)態(tài)篩選信息，甚至能主動(dòng)推測(cè)用戶(hù)意圖。

最后，研究團(tuán)隊(duì)還進(jìn)行了“持續(xù)性上下文”實(shí)驗(yàn)，測(cè)試系統(tǒng)在長(zhǎng)期語(yǔ)境下的表現(xiàn)。結(jié)果發(fā)現(xiàn)，模型在長(zhǎng)時(shí)間推理時(shí)容易出現(xiàn)注意力下降和語(yǔ)義漂移的問(wèn)題。

為此，作者提出應(yīng)通過(guò)語(yǔ)義壓縮與一致性維護(hù)機(jī)制，構(gòu)建一種能夠長(zhǎng)期保持穩(wěn)定的記憶體系，使系統(tǒng)能在時(shí)間維度上保持上下文的連貫和可靠。

總體來(lái)看，這些實(shí)驗(yàn)構(gòu)成了上下文工程的核心驗(yàn)證過(guò)程，證明了系統(tǒng)化的語(yǔ)境采集、管理和使用方法，能顯著提升智能體的理解能力與交互一致性。

03

智能的下一次覺(jué)醒

整體看下來(lái)，這項(xiàng)研究的意義主要體現(xiàn)在三個(gè)方面。

首先，在理論上，它重新定義了“上下文工程”這門(mén)學(xué)科。作者第一次把它當(dāng)作一門(mén)獨(dú)立的工程領(lǐng)域來(lái)看待，并建立了一套比較完整的理論體系，把從早期的人機(jī)交互研究到如今的智能體技術(shù)都串聯(lián)起來(lái)。

通過(guò)數(shù)學(xué)化的建模，他們發(fā)現(xiàn)人工智能的每一次進(jìn)步，其實(shí)都與系統(tǒng)“理解和利用上下文”的能力提升有關(guān)。換句話說(shuō)，智能的核心就在于能否真正讀懂語(yǔ)境。

在工程實(shí)踐上，這項(xiàng)研究推動(dòng)了人工智能從“能感知”到“能理解”的轉(zhuǎn)變，也就是從被動(dòng)響應(yīng)到主動(dòng)協(xié)作。研究提出的“層級(jí)記憶結(jié)構(gòu)”讓系統(tǒng)能處理更長(zhǎng)的任務(wù)和對(duì)話，還能在文本、圖像、音頻等不同模態(tài)之間建立統(tǒng)一的語(yǔ)義空間。

同時(shí)，通過(guò)子智能體機(jī)制和輕量級(jí)引用方式，系統(tǒng)在保持效率的同時(shí)也降低了出錯(cuò)和信息污染的風(fēng)險(xiǎn)。更重要的是，它還能根據(jù)用戶(hù)的習(xí)慣和偏好進(jìn)行自我學(xué)習(xí)，實(shí)現(xiàn)更個(gè)性化、更主動(dòng)的交互體驗(yàn)。

從長(zhǎng)遠(yuǎn)來(lái)看，這項(xiàng)研究為未來(lái)的人工智能發(fā)展提供了新的方向。它為“人機(jī)共思”的新型系統(tǒng)奠定了理論基礎(chǔ)，也為具備長(zhǎng)期記憶的智能體設(shè)計(jì)提供了可行路徑。

最終，作者設(shè)想了一種全新的智能范式——“上下文即世界”，也就是說(shuō)，未來(lái)的人工智能不只是理解人類(lèi)提供的語(yǔ)境，而是能夠主動(dòng)創(chuàng)造新的語(yǔ)境，成為人類(lèi)思維與社會(huì)活動(dòng)的一部分。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。