“記憶”有望成為 AI 在產(chǎn)業(yè)界紅利釋放的最大驅(qū)動引擎。

作者丨岑峰

編輯丨馬曉寧

人工智能在過去的十年中，以驚人的速度革新了信息處理和內(nèi)容生成的方式。然而，無論是大語言模型（LLM）本體，還是基于檢索增強(qiáng)生成（RAG）的系統(tǒng)，在實(shí)際應(yīng)用中都暴露出了一個(gè)深層的局限性：缺乏跨越時(shí)間的、可演化的、個(gè)性化的“記憶”。它們擅長瞬時(shí)推理，卻難以實(shí)現(xiàn)持續(xù)積累經(jīng)驗(yàn)、反思?xì)v史、乃至真正像人一樣成長的目標(biāo)。

近日，雷峰網(wǎng)主辦了一場主題為《智能始于記憶：Agent Memory 的技術(shù)演化過程》的線上圓桌論壇，邀請到了金融行業(yè)的資深領(lǐng)域?qū)＜液我莘?、騰訊 AI Lab 專家研究員王琰、上海交通大學(xué)人工智能學(xué)院副教授陳思衡三位重量級嘉賓，他們與主持人、 記憶張量CTO李志宇一起，他們圍繞記憶的本質(zhì)定義、與傳統(tǒng)技術(shù)的區(qū)別、系統(tǒng)架構(gòu)的瓶頸，以及未來在金融、教育、游戲等領(lǐng)域的商業(yè)化范式，展開了系統(tǒng)性的探討。

何逸凡表示，記憶系統(tǒng)是大模型乃至整個(gè) AI 發(fā)展至今，除了核心大模型結(jié)構(gòu)研究之外，可能最為關(guān)鍵的領(lǐng)域之一。當(dāng)前傳統(tǒng) RAG 系統(tǒng)對召回的研究比重過高，而對記憶的組織研究相對較少。他認(rèn)為，在金融投研投顧領(lǐng)域，記憶系統(tǒng)將引發(fā)一場業(yè)務(wù)模式上的巨大、革新性變革，最有可能帶來的革新范式是個(gè)性化、伴隨成長的投顧和投研系統(tǒng)，即構(gòu)建投研專家的“分身”。

王琰認(rèn)為，智能體記憶的關(guān)鍵在于自主編織能力。他指出，記憶是模型主動的行為，而上下文工程是人類強(qiáng)加給模型的流程，未來人類主導(dǎo)的 RAG 流程將被取代。他預(yù)測，未來 AI 架構(gòu)的必然趨勢是記憶與推理的解耦以及實(shí)現(xiàn)推理時(shí)訓(xùn)練，使模型具備在其生命周期中隨著經(jīng)歷而不斷變化的能力。

陳思衡闡述了智能體記憶機(jī)制與傳統(tǒng)模型訓(xùn)練的最大不同在于實(shí)現(xiàn)自演進(jìn)。他提出，智能體記憶的組織結(jié)構(gòu)應(yīng)是一種多層級的圖結(jié)構(gòu)，并認(rèn)為未來研究應(yīng)集中在將對記憶的增、刪、改、查能力工具化，通過有針對性的訓(xùn)練，使模型像調(diào)用 Web Search 一樣，自主地對記憶進(jìn)行操作管理。此外，他指出記憶系統(tǒng)將向著多模態(tài)融合、原生動態(tài)交互以及引入主觀感受的方向演進(jìn)。

從理論上的多層級、自主編織，到工程上的解耦、動態(tài)更新，再到商業(yè)上的“記憶即資產(chǎn)”和“個(gè)性化分身”，記憶系統(tǒng)不再是簡單的技術(shù)補(bǔ)丁，而是驅(qū)動 AI 從瞬時(shí)推理工具向具備跨時(shí)間積累、理解和成長能力的“有靈魂”智能體進(jìn)化的核心動力。正如嘉賓所期望，記憶的成熟和發(fā)展，有望成為 AI 在產(chǎn)業(yè)界突破和產(chǎn)業(yè)紅利釋放的最大驅(qū)動引擎。

以下是此次圓桌討論的精彩分享，AI 科技評論進(jìn)行了不改原意的編輯整理：

李志宇：各位晚上好。感謝雷峰網(wǎng)的組織，與我們共同籌備了這場圍繞“記憶”主題的在線圓桌。

我是本次圓桌的主持人李志宇。我目前與團(tuán)隊(duì)共同創(chuàng)立了一家專注于大模型應(yīng)用研發(fā)的AI Infra公司叫記憶張量，我個(gè)人在公司擔(dān)任首席技術(shù)官（CTO）一職。公司致力于構(gòu)建記憶驅(qū)動的大模型應(yīng)用增強(qiáng)體系及框架研發(fā)。團(tuán)隊(duì)先后發(fā)布了業(yè)界首個(gè)記憶分層的大模型，以及首個(gè)操作系統(tǒng)級的記憶操作管理框架MemOS（Memory Operating System）并獲得廣泛關(guān)注。

在探討下一代智能體時(shí)，一個(gè)關(guān)鍵議題正在浮現(xiàn)：AI 是否需要擁有類人記憶？ 這不僅是一個(gè)技術(shù)命題，更是一個(gè)重要的發(fā)展方向。

本次會議，我們邀請了三位在本領(lǐng)域極具代表性的嘉賓，共同展望智能記憶體的未來。接下來，我將依次介紹各位嘉賓：

何逸凡老師，現(xiàn)任金融行業(yè)的資深領(lǐng)域?qū)＜摇⒔淌诩壐呒壒こ處?、博士后，長期深耕于金融科技和智能系統(tǒng)研發(fā)領(lǐng)域；

王琰老師，現(xiàn)任騰訊 AI Lab 專家研究員，曾任前米哈游大模型團(tuán)隊(duì)上海負(fù)責(zé)人，專注于探索具有無限長記憶的下一代基座模型架構(gòu)；

陳思衡老師，現(xiàn)任上海交通大學(xué)人工智能學(xué)院副教授，專注于多智能體體系化研究，是系統(tǒng)層面和理論層面思考智能體機(jī)制相關(guān)的代表性學(xué)者之一。

三位嘉賓分別代表了產(chǎn)業(yè)界、研究界和系統(tǒng)工程三個(gè)層面的獨(dú)特視角：產(chǎn)業(yè)界關(guān)注記憶能否帶來新的商業(yè)模式；研究界關(guān)注記憶機(jī)制能否突破現(xiàn)有模型邊界；而系統(tǒng)工程則更注重如何實(shí)現(xiàn)智能體的真正記憶與成長。

我們將通過三輪深度討論，從記憶的共同基礎(chǔ)、技術(shù)挑戰(zhàn)以及未來展望三個(gè)維度，逐層展開。

01

AI記憶的定義、分層結(jié)構(gòu)與自主決策機(jī)制

李志宇：首先請教何逸凡老師。從您的專業(yè)角度來看，您認(rèn)為人類記憶的演化到智能體記憶這一概念轉(zhuǎn)變過程中，最核心的共性是什么？智能體記憶與人類記憶在哪些方面具備相似性？

何逸凡：在實(shí)際實(shí)踐中，我們發(fā)現(xiàn)記憶系統(tǒng)是大模型乃至整個(gè) AI 發(fā)展至今，除了核心大模型結(jié)構(gòu)研究之外，可能最為關(guān)鍵的領(lǐng)域之一。從目前的研究與實(shí)踐來看，智能體記憶與人類記憶正呈現(xiàn)出越來越多的相似性。

首先是層次性與結(jié)構(gòu)化。人類記憶以有組織、有層次的方式來存儲知識，這對于智能體尤為重要。如何組織記憶的結(jié)構(gòu)、表達(dá)和建模是研究重點(diǎn)。然而，目前產(chǎn)業(yè)界最樸素的做法是將召回結(jié)果作為提示詞輸入給大模型。傳統(tǒng) RAG 系統(tǒng)對召回的研究比重過高（約占 90%），而對記憶的組織研究相對較少（約占 10%）。我們認(rèn)為，如何以有層次的方式組織記憶是一個(gè)至關(guān)重要的問題。

其次是特征提取與抽象概括。人類存儲知識更可能是選擇性地提取核心特征，或進(jìn)行概括與抽象，這種信息在大腦中轉(zhuǎn)化為認(rèn)知的內(nèi)在機(jī)制，對未來的記憶系統(tǒng)具有重要啟發(fā)。

第三點(diǎn)是聯(lián)想與快速召回。人類記憶擁有瞬間觸發(fā)遠(yuǎn)期回憶的聯(lián)想功能和低延遲的快速召回能力，這對當(dāng)前的計(jì)算機(jī)系統(tǒng)而言實(shí)現(xiàn)難度較大。智能體記憶系統(tǒng)若要實(shí)現(xiàn)像人類那樣，在面對強(qiáng)相關(guān)事件時(shí)能夠零滯后地快速聯(lián)想并召回遠(yuǎn)期信息，仍是挑戰(zhàn)。如何實(shí)現(xiàn)跨越記憶層次的快速聯(lián)想，是我們探索的方向。

總之，智能體記憶可以從人類記憶中汲取大量的靈感，但兩者并非完全等同，也存在本質(zhì)差異，例如人類記憶中的情感要素。因此，研究的關(guān)鍵在于甄別哪些人類記憶特性可供智能體學(xué)習(xí)和借鑒，而哪些方面存在本質(zhì)不同。

李志宇：在理解了人類記憶體系對人工智能領(lǐng)域的指導(dǎo)原則后，我們將視角切換至 Agent 自身的工程體系：智能體的記憶與我們目前熟知的上下文工程或 RAG 等技術(shù)有何本質(zhì)區(qū)別？

這個(gè)問題我想請王琰老師來解答。在構(gòu)建大模型與智能體的過程中，兩者采取了怎樣的發(fā)展路徑？我們應(yīng)該如何在定義上區(qū)分和界定智能體記憶？

王琰：這是一個(gè)精彩的問題。我的觀點(diǎn)是：RAG 這類技術(shù)不會消亡，但其形式必然會發(fā)生變化。

我認(rèn)為當(dāng)前 RAG 體系中最大的問題在于人類主導(dǎo)的流水線（Pipeline）限制了模型的行為。我預(yù)估，這種以人為干預(yù)為主的流程將在未來一年內(nèi)逐漸被取代。取而代之的，將是一種智能體式的檢索方式：檢索本身被視為一種工具。正如人類使用搜索引擎，智能體也將以類似方式使用搜索引擎。

智能體記憶的關(guān)鍵在于自主編織能力。智能體必須具備自主決策的能力，決定在短期記憶中應(yīng)存儲哪些內(nèi)容；主動進(jìn)行檢索，將檢索到的信息納入自身的記憶空間；并在信息不再需要時(shí)，將其從記憶空間中移除。

我認(rèn)為，減少人類對流程的干預(yù)，是未來 Agent 架構(gòu)的核心。人類的角色將越來越多地局限于下達(dá)指令和接收回答，而中間流程中的人工干預(yù)將日益減少。這便是智能體記憶未來的發(fā)展趨勢所在。

李志宇：王老師的觀點(diǎn)非常精辟。您清晰地描繪了記憶系統(tǒng)與外部系統(tǒng)的本質(zhì)區(qū)別，即“能夠查閱并不等同于擁有記憶”。

如果我們從單一智能體交互轉(zhuǎn)向多智能體交互結(jié)構(gòu)，記憶將不再是孤立的 Agent Memory，而是需要處理跨記憶、跨智能體、跨環(huán)境的歷史軌跡信息。

在這種多智能體場景下，記憶應(yīng)如何被組織？我想請教陳老師：如果將智能體的記憶視作一段歷史的連續(xù)軌跡，您認(rèn)為記憶的結(jié)構(gòu)應(yīng)以何種方式組織最為理想？

陳思衡：這是一個(gè)非常好的問題。我完全贊同：記憶對于智能體而言是一個(gè)至關(guān)重要的課題。

很多人難以區(qū)分大模型（LLM）與智能體（Agent）的區(qū)別。如果說大模型更類似于人類的大腦，那么智能體則更類似于完整的人。記憶在區(qū)分兩者中發(fā)揮著核心作用。當(dāng)模型以外部記憶進(jìn)行加持時(shí)，它擁有了過去的成功經(jīng)驗(yàn)和失敗教訓(xùn)，使其成為一個(gè)更具獨(dú)立性的個(gè)體。

今年 6 月Devin 公司發(fā)布了一篇博客，主張暫緩使用多智能體，因?yàn)樵诙?Agent 相互交流時(shí)，任務(wù)往往難以順利下發(fā)或執(zhí)行。其原因在于 Agent 之間缺乏共同的上下文（Common Context）。隔天 Anthropic 也發(fā)布了一篇博客，闡述了多智能體的必要性及結(jié)構(gòu)化設(shè)計(jì)方法。這恰恰說明，智能體不僅需要個(gè)體記憶，還需要共享記憶或在管理和約束多個(gè)智能體方面有更高的要求。

我們在設(shè)計(jì)智能體記憶時(shí)，通常會采用類比的方式：類比人類如何形成記憶，以及計(jì)算機(jī)如何構(gòu)建其存儲系統(tǒng)。從人類記憶系統(tǒng)來看，我們會記住事件之間的相互關(guān)系，形成關(guān)聯(lián)式的網(wǎng)絡(luò)結(jié)構(gòu)。因此，我們可以采用圖結(jié)構(gòu)作為一種表示形式來管理智能體的記憶，并希望 Agent 能夠以多層次結(jié)構(gòu)來管理其記憶。

我們期望智能體記憶具備以下特性：在每一個(gè)層級上，記憶可能采用圖譜結(jié)構(gòu)，節(jié)點(diǎn)代表事實(shí)、實(shí)體或關(guān)鍵詞，同時(shí)節(jié)點(diǎn)之間存在連接關(guān)系。記憶并非單一圖結(jié)構(gòu)，而是多層級的圖結(jié)構(gòu)，不同層級之間存在一定的層間關(guān)聯(lián)與映射。

在多智能體系統(tǒng)中，各個(gè) Agent 維護(hù)的記憶庫之間也需要有某種映射關(guān)系。一個(gè)理想的 Agent 需要維護(hù)這樣一個(gè)多層級、關(guān)聯(lián)豐富的記憶，并能實(shí)現(xiàn)對其進(jìn)行增、刪、改、查的操作。

李志宇：感謝陳老師的解答。在智能體（Agent）交互中，記憶起到至關(guān)重要的傳導(dǎo)作用。我們將議題轉(zhuǎn)向產(chǎn)業(yè)落地，這里我想問下何老師，尤其針對金融投研、投顧等嚴(yán)肅應(yīng)用場景，何種具備記憶的智能系統(tǒng)才能真正變革現(xiàn)有的決策流程？

何逸凡：李老師提出的問題，對于金融行業(yè)而言是一個(gè)極其重要但尚未被充分認(rèn)識到的前沿議題。當(dāng)前記憶系統(tǒng)研究在產(chǎn)業(yè)界尚未形成體系化，行業(yè)內(nèi)仍集中于如何有效地進(jìn)行知識召回和查詢使用。

在投研和投顧領(lǐng)域，目前仍以場景驅(qū)動為主，尚未與記憶系統(tǒng)產(chǎn)生強(qiáng)相關(guān)需求。然而，這其中蘊(yùn)含著巨大的業(yè)務(wù)模式革新潛力。

雖然 AI 投研和投顧是熱門趨勢，但金融機(jī)構(gòu)普遍尚未意識到“記憶”的重要性，目前的做法仍是將知識檢索出來送入上下文窗口。

問題的關(guān)鍵在于：一位資深研究員或投資顧在長期服務(wù)中會積累大量的個(gè)性化經(jīng)驗(yàn)和長期觀點(diǎn)。這種經(jīng)驗(yàn)?zāi)芊裥纬梢环N個(gè)性化的附加值，輔助其未來的金融服務(wù)？據(jù)我觀察，在金融領(lǐng)域，目前尚未有機(jī)構(gòu)考慮到這個(gè)方向。

當(dāng)前的 AI 投研和投顧狀態(tài)是單次會話模式，客戶提出訴求，系統(tǒng)搜索、總結(jié)和生成報(bào)告，本次會話即告結(jié)束， 對標(biāo)的、持倉的分析和建議，記憶僅持續(xù)在十幾分鐘，且局限于大模型上下文窗口的長度。每一次服務(wù)都是一個(gè)獨(dú)立的“零點(diǎn)開始”。

因此，長期服務(wù)過程中形成的個(gè)性化環(huán)境和積累，至今仍處于空白。反觀之，如果能夠?qū)⒂洃浵到y(tǒng)與這兩個(gè)場景深度結(jié)合，我認(rèn)為它將會在金融投研投顧領(lǐng)域引發(fā)一場業(yè)務(wù)模式上的巨大、革新性變革，這將對整個(gè)行業(yè)具有重大促進(jìn)作用。

李志宇：感謝何老師的分享。在金融等嚴(yán)肅場景，記憶帶來的潛在商業(yè)化價(jià)值是顯而易見的。

現(xiàn)在我們將視角轉(zhuǎn)向娛樂化領(lǐng)域，王琰老師您在游戲相關(guān)智能體研究中，是何時(shí)開始意識到記憶不能僅僅依賴于單純的上下文，而需要進(jìn)行系統(tǒng)化的設(shè)計(jì)？

王琰：我認(rèn)為意識到這一點(diǎn)非常簡單：只要一開始進(jìn)行游戲智能體的開發(fā)，就會立即意識到記憶的必要性。

最初，如果只是對話Agent，那么持續(xù)塞入幾百甚至上千輪的上下文信息是可行的。但游戲 Agent 的輸入是游戲的狀態(tài)信息，每一幀有每一幀有幾K 到幾十K token的長度，而游戲的幀率通常為每秒 15 到 30 幀。這意味著上下文窗口只能塞入一幀信息就幾乎飽和，不可能通過增加上下文窗口來容納所有的歷史幀信息。

因此，我們不可能通過增加上下文窗口的長度來容納所有的歷史幀信息。從工程化的角度來看，我們必須進(jìn)行上下文工程。

大約在一兩年前，斯坦福大學(xué)的論文《Generative Agents》問世，我們試圖將其移植到游戲環(huán)境中。我們將游戲過程建模為一個(gè)馬爾可夫鏈，使得下一個(gè)時(shí)刻的行動必須基于當(dāng)前時(shí)刻的狀態(tài)。同時(shí)將過去的行動等信息，以壓縮的方式注入到輸入提示詞中。這些工程工作大約在 2023 年底開始進(jìn)行。

隨著工作的深入，我們逐漸意識到這個(gè)過程變得極其復(fù)雜，因?yàn)楦鱾€(gè)模塊之間需要傳輸大量的上下文、提示詞和歷史行為等信息。我們開始思考是否存在一條根本性的路線來解決這一問題。那時(shí)我們探索的方法是參數(shù)化記憶，希望將一個(gè) Agent 所有的歷史行為都存儲到一個(gè) LoRA 模塊中，并提出了 TempLora 的方法來實(shí)現(xiàn)。

正是從那時(shí)起，我開始從架構(gòu)層面進(jìn)行關(guān)于長期記憶的研究探索。這是我意識到記憶必要性，并在工程和研究上進(jìn)行探索的整個(gè)過程。

李志宇：從復(fù)雜度上看，游戲場景的世界模型模擬狀態(tài)確實(shí)是一個(gè)復(fù)雜度更高的應(yīng)用場景。如果我們將視野進(jìn)一步拓寬，當(dāng)我們追求完成一個(gè)復(fù)雜的任務(wù)，而不僅僅是簡單的對話時(shí)，是訓(xùn)練一個(gè)基座模型還是搭建一個(gè) Agent 框架，兩者之間會產(chǎn)生非常明顯的差異。

針對 Agent 框架的設(shè)計(jì)，我想請教陳老師：從您的角度來看，設(shè)計(jì)一個(gè)長期、可持續(xù)更新的智能體記憶機(jī)制，與傳統(tǒng)的一次性模型訓(xùn)練，其最大的不同點(diǎn)體現(xiàn)在何處？

陳思衡：當(dāng)前，在大模型智能體領(lǐng)域，自演進(jìn)和工具調(diào)用都是極其熱門的研究方向。您提出的長期、持續(xù)地使用并不斷調(diào)整自身以達(dá)到更強(qiáng)大的狀態(tài)的需求，與智能體的自演進(jìn)理念高度契合，也是未來大模型或智能體進(jìn)一步發(fā)展的關(guān)鍵。

自演進(jìn)的核心在于記憶機(jī)制。智能體必須通過持續(xù)地總結(jié)成功經(jīng)驗(yàn)、反思不足之處，從而實(shí)現(xiàn)不斷的迭代和提升。如果沒有記憶，智能體將無法凝練經(jīng)驗(yàn)、無法反思，也就無法實(shí)現(xiàn)成長和自演進(jìn)。

我認(rèn)為，智能體記憶的實(shí)現(xiàn)在方式上與傳統(tǒng)大模型至少有兩個(gè)方面的不同：

首先是系統(tǒng)設(shè)計(jì)與外部交互。即在已訓(xùn)練好的基座模型基礎(chǔ)上，讓其與外部存儲，包括數(shù)據(jù)庫、知識庫 或 RAG 存儲的大量外部信息進(jìn)行交互。這種交互可以是偏向系統(tǒng)設(shè)計(jì)的工程方法，也可以是基于提示詞工程的方式。

第二是記憶能力的內(nèi)嵌訓(xùn)練。這是一種更根本性 的方法，也可能更能解決實(shí)際問題：將操作記憶或訓(xùn)練記憶的能力直接內(nèi)嵌到模型中，而非將其視為一個(gè)獨(dú)立的外部模塊。例如記憶張量去年 7 月份發(fā)布的 Memory3框架。

今天，一些基于推理模型加上工具調(diào)用進(jìn)行訓(xùn)練的智能體方法已經(jīng)出現(xiàn)，它們在推理過程中會反復(fù)調(diào)用工具進(jìn)行信息查詢。我們可以設(shè)想，將其中 Web Search 等搜索工具替換為記憶的增加、更新、刪除和遺忘等相關(guān)工具。然后，訓(xùn)練智能體在合適的時(shí)機(jī)，像使用 Web Search 功能一樣，自主地對其記憶進(jìn)行恰當(dāng)?shù)脑鰟h改查。

如果能實(shí)現(xiàn)這樣的功能，將能夠促使模型與外部存儲設(shè)備進(jìn)行更深度的交互。

02

智能體記憶的深入探索：技術(shù)挑戰(zhàn)、模型架構(gòu)與算法路徑

李志宇：通過第一輪討論，我們基本明確了記憶的定義、與傳統(tǒng)方法的區(qū)別、組織方式及應(yīng)用潛力。接下來，我們將進(jìn)入更深入的探討：構(gòu)建記憶系統(tǒng)的具體技術(shù)細(xì)節(jié)與難點(diǎn)在哪里？哪些是至關(guān)重要的工程問題，哪些又是核心的算法問題？

何老師，從您的角度來看，在產(chǎn)業(yè)系統(tǒng)的實(shí)際落地過程中，引入記憶系統(tǒng)可能引發(fā)哪些技術(shù)和組織上的挑戰(zhàn)？同時(shí)，在您看來，記憶系統(tǒng)在金融行業(yè)中（投研、投顧）最有可能帶來的業(yè)務(wù)革新范式是什么？

何逸凡：在我印象中，產(chǎn)業(yè)界尚未形成體系化的記憶系統(tǒng)概念，但在技術(shù)層面，產(chǎn)業(yè)界已研究了大量與記憶相關(guān)的技術(shù)。

我可以列舉幾個(gè)與記憶系統(tǒng)相關(guān)的產(chǎn)業(yè)應(yīng)用和面臨的挑戰(zhàn)：

首先是知識庫與 RAG 系統(tǒng)的局限。大模型在產(chǎn)業(yè)界最廣泛的應(yīng)用是 RAG 系統(tǒng)，即知識庫系統(tǒng)，包括企業(yè)知識庫、領(lǐng)域/產(chǎn)品知識庫等。這些系統(tǒng)雖然實(shí)用，但在產(chǎn)業(yè)界并未被關(guān)聯(lián)到“記憶”的概念，但它們應(yīng)屬于記憶領(lǐng)域的一個(gè)子課題。

其次是業(yè)務(wù)知識資產(chǎn)的組織與管理。業(yè)務(wù)專家經(jīng)驗(yàn)和最權(quán)威的業(yè)務(wù)知識往往存儲在業(yè)務(wù)系統(tǒng)代碼中。挑戰(zhàn)在于：如何系統(tǒng)地組織和管理這些存儲在代碼中的業(yè)務(wù)知識，并確保在 AI 服務(wù)業(yè)務(wù)流程時(shí)，能精確召回并隨上下文提供給大模型，以完成可控、可信的業(yè)務(wù)流程。

本質(zhì)上，RAG、業(yè)務(wù)知識資產(chǎn)組織、上下文工程都屬于記憶范疇，但在產(chǎn)業(yè)界被零散對待。這引出了一個(gè)疑問：記憶的范疇是否被過度擴(kuò)大了？因此，對記憶系統(tǒng)進(jìn)行明確的定義至關(guān)重要，以避免將所有非模型訓(xùn)練問題都?xì)w為記憶。

在技術(shù)挑戰(zhàn)方面，在連續(xù)的對話或規(guī)劃任務(wù)中，將全部歷史信息帶入上下文會導(dǎo)致上下文窗口過長，更嚴(yán)重的是會干擾模型的認(rèn)知，例如在多步驟召回中導(dǎo)致決策混亂。

在金融等領(lǐng)域，實(shí)時(shí)性至關(guān)重要。如果對話歷史中引用了實(shí)時(shí)行情，后續(xù)評判時(shí)，歷史中的該數(shù)據(jù)必須根據(jù)實(shí)時(shí)行情進(jìn)行更新。這意味著歷史記憶本身是動態(tài)變化的。用戶可能會要求返回到前幾輪的狀態(tài)重新開始，這對記憶系統(tǒng)提出了工程挑戰(zhàn)。

雖然這些問題都可以用樸素的工程方法解決，但產(chǎn)業(yè)界缺乏體系化的理論和方法論來研究這些問題。

在商業(yè)化挑戰(zhàn)與業(yè)務(wù)革新范式方面，目前，記憶系統(tǒng)尚未被視為一個(gè)獨(dú)立的收費(fèi)單元。如何將記憶系統(tǒng)本身作為一個(gè)可付費(fèi)的組件進(jìn)行銷售是一個(gè)商業(yè)化挑戰(zhàn)。

將運(yùn)維或產(chǎn)品知識作為公共知識在行業(yè)云中進(jìn)行知識庫訂閱的商業(yè)模式已存在。未來，記憶系統(tǒng)能否深化為一種 SaaS 服務(wù)模式？例如，投顧和投研專家在云端沉淀其專業(yè)知識和記憶，并在權(quán)限允許下互相融合，從而升級服務(wù)能力。

我個(gè)人認(rèn)為最有可能帶來業(yè)務(wù)革新的范式是：個(gè)性化、伴隨成長的投顧和投研系統(tǒng)。即構(gòu)建投顧/投研專家的“分身”。這些分身能夠掌握客戶或研究員過去的習(xí)慣和歷史，提供貼身、定制化的服務(wù)。這不僅是財(cái)富服務(wù)模式的升級，也是商業(yè)模式的重大變化。盡管被稱為 Agent，但其核心驅(qū)動力正是記憶系統(tǒng)。我個(gè)人對此前景充滿信心和期待。

最后是關(guān)于記憶與存儲系統(tǒng)的區(qū)別。存儲系統(tǒng)本質(zhì)上是被動的，它等待用戶或程序按規(guī)則調(diào)用。我個(gè)人認(rèn)為，記憶與存儲系統(tǒng)的核心區(qū)別在于：記憶是面向主動召回（Active Retrieval）的一種存儲系統(tǒng)。 如果未來的存儲系統(tǒng)都能實(shí)現(xiàn)面向主動召回的機(jī)制，那么它們是否都會演變?yōu)橹悄軙r(shí)代的記憶系統(tǒng)？我認(rèn)為這是一種可能性。

李志宇：非常感謝何老師詳盡的分享。從應(yīng)用場景來看，具備完整記憶系統(tǒng)的陪伴性、成長性投資系統(tǒng)，可能預(yù)示著一種全新的服務(wù)形態(tài)和業(yè)務(wù)變革。

接下來，我想請教王琰老師，您在探索無限長記憶的基座模型時(shí)，遇到了哪些關(guān)鍵的技術(shù)瓶頸？您對這些瓶頸和未來可能的解決技術(shù)路線有何看法？

王琰 ：當(dāng)前的 Transformer 架構(gòu)存在一個(gè)典型問題，即記憶與推理不分家，兩者本質(zhì)上都由模型的參數(shù)來完成。這導(dǎo)致了一個(gè)兩難困境：如果通過充分訓(xùn)練記錄過去知識，模型的通用能力會迅速下降（災(zāi)難性遺忘）；如果訓(xùn)練不足，對知識的記憶又不夠牢固。

令人欣喜的是，我最近看到了 Apple 的一項(xiàng)工作，成功實(shí)現(xiàn)了記憶與推理的分離：采用一個(gè)較小的推理模型和一個(gè)非常大的記憶模型，這與人類的快思考與慢思考模式有相似之處。

盡管模型架構(gòu)已改進(jìn)，但我們的訓(xùn)練算法如 Adam 優(yōu)化器等仍是基礎(chǔ)配置，這也加劇了訓(xùn)練的瓶頸。Google 的 Nested Learning 或 HOPE 模型是最近的一個(gè)有趣的方向，他們直接將優(yōu)化器本身作為可學(xué)習(xí)的參數(shù)，在推理過程中不斷地優(yōu)化優(yōu)化器，再由優(yōu)化器來改變模型的參數(shù)。

此外，當(dāng)前的深度學(xué)習(xí)框架并非支持所有新型架構(gòu)，這導(dǎo)致許多不受主流框架支持的架構(gòu)很難進(jìn)行大規(guī)模訓(xùn)練。例如，我們曾嘗試開發(fā) RNN 和 Transformer 的混合架構(gòu)，由于底層問題效果不佳。有團(tuán)隊(duì)通過解決底層架構(gòu)問題成功訓(xùn)練了此類模型，提出了 AHN網(wǎng)絡(luò)，將 Mamba 或 RNN 這類模型用作長期記憶。這表明底層基礎(chǔ)設(shè)施的限制，使得缺乏 Infra支持 能力的團(tuán)隊(duì)難以進(jìn)行架構(gòu)研究。

最后，架構(gòu)研究還面臨非技術(shù)層面的挑戰(zhàn)。新架構(gòu)往往需要從零開始重新預(yù)訓(xùn)練，但研究者往往缺乏足夠的資源。更現(xiàn)實(shí)的問題是，如果成果的模型效果無法超越主流模型，其論文關(guān)注度就會很低，導(dǎo)致研究者缺乏動力進(jìn)行架構(gòu)創(chuàng)新。同時(shí)，公司組織架構(gòu)也存在挑戰(zhàn)：架構(gòu)研究團(tuán)隊(duì)通常不是負(fù)責(zé)短期效果的基座模型團(tuán)隊(duì)，缺乏大規(guī)模預(yù)訓(xùn)練所需的資源和數(shù)據(jù)，而基座模型團(tuán)隊(duì)的巨大壓力導(dǎo)致他們很難重兵投入新架構(gòu)的研究和探索。只有像 DeepSeek 這樣，研究與工程互通性極高的公司，在這方面才擁有巨大的便利性。

李志宇：確實(shí)，對于基模驅(qū)動的記憶增強(qiáng)優(yōu)化無論是對于組織難度、研發(fā)難度和投入產(chǎn)出的衡量，都是具備極大挑戰(zhàn)的。現(xiàn)在，我們從基座模型層面的Agent層面進(jìn)行探討。我想請教陳老師，關(guān)于智能記憶體的組織方式，如果假設(shè)我們采用圖神經(jīng)網(wǎng)絡(luò)或時(shí)序模型表達(dá)記憶節(jié)點(diǎn)及其聯(lián)系，您在目前的研究中對于這類結(jié)構(gòu)有什么樣的思路和見解？

陳思衡：我相信智能體記憶應(yīng)是一種多層級結(jié)構(gòu)，類似于計(jì)算機(jī)的存儲系統(tǒng)。類比繪制人物關(guān)系圖、思維導(dǎo)圖等人類記憶方式，我預(yù)想的結(jié)構(gòu)是：一個(gè)分層的圖結(jié)構(gòu)，其中每個(gè)層級組織成關(guān)系網(wǎng)絡(luò)，且層級之間存在關(guān)聯(lián)。

在圖神經(jīng)網(wǎng)絡(luò)中，節(jié)點(diǎn)代表概念或事件。為了快速查詢，我們需要利用節(jié)點(diǎn)嵌入。通過構(gòu)建圖結(jié)構(gòu)和有效的消息傳遞，可以確保相似或相互關(guān)聯(lián)的節(jié)點(diǎn)在嵌入層面具有較高的相似性，實(shí)現(xiàn)遠(yuǎn)距離和異構(gòu)信息的關(guān)聯(lián)。這種結(jié)構(gòu)并非純粹靜態(tài)，回溯是動態(tài)過程。當(dāng)提出粗略問題時(shí)，系統(tǒng)給出粗略結(jié)構(gòu)；提出細(xì)粒度問題時(shí)，系統(tǒng)進(jìn)行細(xì)粒度縮放，深入記憶庫追蹤更細(xì)節(jié)的信息以完善回答。

李志宇：感謝思衡老師的回答，分析了類圖神經(jīng)網(wǎng)絡(luò)的記憶組織形態(tài)的優(yōu)勢。如果未來智能體要更像人類，實(shí)現(xiàn)更好的遺忘、更新和更準(zhǔn)確的糾錯(cuò)（例如人類記憶中的干擾或重構(gòu)機(jī)制），從算法研究路徑來看，您覺得我們應(yīng)采取哪些可行的方法？

陳思衡：純粹從算法角度而言，我認(rèn)為有以下幾個(gè)方面值得深入思考：

首先是整體多層級架構(gòu)。借鑒計(jì)算機(jī)組成的概念，我們需要一個(gè)多層級的架構(gòu)，類似于 CPU 使用越頻繁，存儲越小、讀取越快。在智能體中，通過結(jié)合參數(shù)記憶、上下文記憶和外部數(shù)據(jù)庫記憶形成分層記憶。根據(jù)場景需求，對不同層級的記憶進(jìn)行分層追蹤，例如根據(jù)金融話題切換 LoRA 參數(shù)。

其次是遺忘與更新的量化指標(biāo)。在遺忘和更新過程中，我們需要衡量哪些記憶仍然有信息量?？赡苄枰x類似于記憶熵或互信息等信息論概念，去量化評估記憶片段的重要性和信息量。

最后是有針對性的訓(xùn)練與工具化。最終目標(biāo)是讓模型達(dá)到非規(guī)則驅(qū)動的狀態(tài)。我們需要對模型進(jìn)行訓(xùn)練，使其像調(diào)用 Web Search 一樣，能夠不斷地從外部獲取所需信息。將外部信息獲取替換為對記憶的增、刪、改、查等工具。訓(xùn)練智能體在合適的時(shí)間，自主地調(diào)用“添加”、“總結(jié)”或“刪除”等工具，對記憶進(jìn)行操作，將這種能力內(nèi)嵌到模型中。

03

記憶的商業(yè)化路徑：金融、教育、醫(yī)療的模式升級

李志宇：在第三部分，我想進(jìn)一步與各位老師探討未來的行業(yè)演變趨勢、模型進(jìn)化的形態(tài)，以及記憶研究中的跨學(xué)科演進(jìn)方向。

請教王琰老師，您認(rèn)為基于基座模型驅(qū)動的無限長記憶研究方案，是否會成為未來智能體發(fā)展的關(guān)鍵轉(zhuǎn)折點(diǎn)？如果是，其背后的架構(gòu)和生態(tài)將是怎樣的？

王琰：我認(rèn)為這是一個(gè)漸進(jìn)發(fā)生的過程，而非突然的轉(zhuǎn)折點(diǎn)。回顧 2023 年，曾有觀點(diǎn)認(rèn)為無限長的上下文（Context Window）可以解決所有問題，但現(xiàn)在看來上下文長度并非沒有限制。因此，如果我們的記憶能夠?qū)崿F(xiàn)無限長，我們是否可以重新提出一個(gè)觀點(diǎn)：將所有訓(xùn)練數(shù)據(jù)直接存儲在模型的記憶中，其效果是否能等同甚至優(yōu)于直接訓(xùn)練？鑒于現(xiàn)在模型即智能體的概念日益普及，這無疑是一個(gè)必然的趨勢。

我不敢妄下斷言，但我可以提出兩個(gè)我確信一定會發(fā)生的架構(gòu)變化：

首先是記憶與推理的解耦（Decoupling）。兩者必然會位于兩個(gè)不同的參數(shù)區(qū)域。未來必然會有一個(gè)只包含常識的推理模型，其尺寸可能比現(xiàn)有大模型更??；同時(shí)，會有一個(gè)負(fù)責(zé)記憶的更大模型。這個(gè)記憶模型在存儲上尺寸會大很多，但并非在每一個(gè) Token 推理時(shí)都需要被調(diào)用。記憶與推理分離的架構(gòu)，是未來的必然趨勢。

其次是推理時(shí)訓(xùn)練（Inference-Time Training）。即前向推理過程中參數(shù)的動態(tài)變化?，F(xiàn)在已有許多模型采納了這一思想，包括 RNN 模型、TTT 架構(gòu)和 Google 的 HOPE 模型。毋庸置疑，就像人類在生命過程中不斷變化一樣，模型也應(yīng)具備在其生命周期中隨著經(jīng)歷而不斷變化的能力，其參數(shù)中必然有一部分是可變的。目前以我的能力判斷，這兩個(gè)趨勢是較為確定的。

李志宇：感謝王老師的分享。接下來我想請教何老師。從您的產(chǎn)業(yè)視角來看，未來 3 到 5 年內(nèi)，記憶智能體最有可能在哪些行業(yè)實(shí)現(xiàn)更大的突破？同時(shí)，如果將記憶服務(wù)視為一種未來的商業(yè)模式，您認(rèn)為這個(gè)模式中最關(guān)鍵的要素可能是什么？

何逸凡：記憶系統(tǒng)在產(chǎn)業(yè)界的應(yīng)用，與新一代 AI 在產(chǎn)業(yè)界的滲透趨勢是同步的。當(dāng)前 AI 發(fā)展日新月異，但在產(chǎn)業(yè)界，整體上仍處于 ROI 為負(fù)的狀態(tài)，產(chǎn)業(yè)紅利尚未充分釋放。但這預(yù)示著 AI 發(fā)展的下一波重點(diǎn)，除了基礎(chǔ)研究外，將是產(chǎn)業(yè)紅利的釋放，即 AI 在產(chǎn)業(yè)界的實(shí)際應(yīng)用研究。記憶系統(tǒng)將是其中的一個(gè)重要方向。

在產(chǎn)業(yè)突破領(lǐng)域，我判斷：

金融行業(yè)最先改變的是對客系統(tǒng)，例如客服演變?yōu)闃I(yè)務(wù)系統(tǒng)，營業(yè)廳演變?yōu)闋I銷系統(tǒng)。但金融的內(nèi)核（交易）不會被 AI 驅(qū)動。

教育行業(yè)，我認(rèn)為具有顛覆性的潛力。AI 可以實(shí)現(xiàn)高度個(gè)性化的記憶系統(tǒng)，且可能對教育模式的內(nèi)核產(chǎn)生顛覆性變化，即教育的“芯片”被更換。

醫(yī)療行業(yè)也將面臨內(nèi)核被更換的可能性，通過將專業(yè)專家的經(jīng)驗(yàn)參數(shù)化到大模型中，未來可能擁有大部分醫(yī)生的知識經(jīng)驗(yàn)。

在商業(yè)模式與架構(gòu)思考方面，技術(shù)上，記憶與推理的分離是一個(gè)重要趨勢。但產(chǎn)業(yè)界面臨一個(gè)核心未解問題：未來的記憶服務(wù)模式是采用集中式巨型模型（將所有記憶參數(shù)化，參數(shù)占比 90%甚至 100%），還是端側(cè)小模型 + 大量外部記憶（參數(shù)占比 30%，外部存儲占 70%）？這兩種路線是否會并存？這是一個(gè)亟待回答的問題。

從我工作來看，我最確認(rèn)的關(guān)鍵要素是個(gè)性化的投顧和投研系統(tǒng)，即能夠伴隨客戶成長的投顧系統(tǒng)，或投研專家的“分身”，這將是財(cái)富服務(wù)模式的升級和商業(yè)模式的重大變化。

李志宇：感謝何老師的分享。從產(chǎn)業(yè)角度來看，未來發(fā)展記憶系統(tǒng)，關(guān)鍵在于如何將記憶切實(shí)地轉(zhuǎn)化為資產(chǎn)，以實(shí)現(xiàn)價(jià)值重構(gòu)，并找到潛在的商業(yè)化方向，例如金融的對客場景，以及教育、醫(yī)療等可能發(fā)生內(nèi)核變革的行業(yè)。

接下來我想請問下陳老師：從學(xué)術(shù)研究和系統(tǒng)應(yīng)用融合的角度來看，未來智能體要實(shí)現(xiàn)跨學(xué)科協(xié)作，例如融合認(rèn)知科學(xué)、神經(jīng)科學(xué)、機(jī)器學(xué)習(xí)、系統(tǒng)工程等，哪些方面是您認(rèn)為最值得投入的？此外，展望未來，如果智能體具備情境交互、協(xié)作和記憶的能力，可能會帶來哪些系統(tǒng)化的改變？這些改變對現(xiàn)有系統(tǒng)（如 MemOS）能帶來哪些啟示？

陳思衡：關(guān)于跨學(xué)科合作，我認(rèn)為認(rèn)知科學(xué)、神經(jīng)科學(xué)等底層研究可以帶來啟發(fā)，但也帶來一定的偏差。人類記憶并非完美體系，完全照搬或使智能體趨向于人，可能并非最優(yōu)解。我個(gè)人認(rèn)為，智能體的設(shè)計(jì)和記憶機(jī)制優(yōu)化，仍應(yīng)主要面向具體的應(yīng)用場景和任務(wù)需求，這本質(zhì)上是一個(gè)工程性問題，需要做好工程上的迭代優(yōu)化。

在情境交互與協(xié)作方面，分人機(jī)協(xié)作和機(jī)器協(xié)作兩種類型。

情境協(xié)作可以使智能體成為親密的 AI 助手。為了貼合人的喜好，智能體需要提升情感和偏好洞察、具備深度的多模態(tài)能力，并需要主動觀察，而非被動接收輸入，從而產(chǎn)生更多的交互性記憶。

在多智能體協(xié)作中，記憶共享是至關(guān)重要的一環(huán)。要實(shí)現(xiàn)智能體作為一個(gè)組織（Organization） 運(yùn)作，就需要 Agent 之間能夠相互共享記憶、更好地組織和共享上下文（Context），從而實(shí)現(xiàn)更強(qiáng)大的調(diào)度和能力。

對于 MemOS等記憶系統(tǒng)的啟示，未來可以從以下方面提升：記憶組織結(jié)構(gòu)應(yīng)具備更多的關(guān)系和多層級結(jié)構(gòu)； 模型對記憶工具（增刪改查）的調(diào)度能力應(yīng)是原生化的，能自然地調(diào)用工具進(jìn)行動態(tài)管理；未來記憶系統(tǒng)需支持語音、圖像、視頻等多模態(tài)數(shù)據(jù)，以融入人的生活情境；引入如對用戶情緒的理解等主觀感受，使其更懂人性。

04

總結(jié)、問答與未來展望

李志宇：通過今天的討論，我們從基礎(chǔ)理論、工程機(jī)制、產(chǎn)業(yè)落地，到未來的趨勢等多個(gè)維度探討了記憶的關(guān)鍵點(diǎn)，一致認(rèn)為：記憶已成為下一代智能體的最核心變量，更是 AI 未來演化的必經(jīng)之路。

由于時(shí)間關(guān)系，我們將選取最后兩個(gè)觀眾提問問題，邀請各位老師一起討論回答。

第一個(gè)問題：如何區(qū)分“記憶”和“上下文工程”？

王琰：當(dāng)前并沒有一個(gè)嚴(yán)格的區(qū)分標(biāo)準(zhǔn)，我只能提供我的區(qū)分方式：

• 記憶： 是模型主動的行為。

• 上下文工程： 是人類強(qiáng)加給模型的，是人類設(shè)定的流程。

因此，KV Cache、RNN 中的 Hidden States、推理時(shí)訓(xùn)練以及模型自發(fā)起的增刪改查，我認(rèn)為它們屬于記憶；而人類定義的 Workflow，則屬于上下文工程。

李志宇：王老師將概念解釋得非常清楚。接下來看第二個(gè)問題：未來的一年內(nèi) Agent Memory 會出現(xiàn)哪些重要的突破？

陳思衡：正如剛才提到的，我認(rèn)為以下幾點(diǎn)可能出現(xiàn)重要突破：

首先是多模態(tài)記憶，記憶的模態(tài)將不僅限于文本，更多的多模態(tài)大模型和相關(guān)的記憶形態(tài)將成為研究重點(diǎn)；其次是原生工具化能力，我們需要將對記憶的增刪改查能力，像工具調(diào)用一樣訓(xùn)練到模型內(nèi)部，使其能夠更適配、更充分地調(diào)用各種記憶編輯工具，進(jìn)行交互；以及表示形態(tài)的演進(jìn)，可能會出現(xiàn)針對 Memory 的表示形態(tài)的演進(jìn)，例如更好的多層級結(jié)構(gòu)架構(gòu)，這也是非常值得研究的地方。

李志宇：感謝陳老師。這意味著 Memory 能夠處理的模態(tài)范圍以及其上下游的觸達(dá)路徑都將有更深遠(yuǎn)的突破。

通過前面三個(gè)部分的總結(jié)，相信大家對智能記憶體有了很好的了解。最后，我們有請各位嘉賓用一句話來總結(jié)一下自己對未來記憶增強(qiáng)技術(shù)的看法或觀點(diǎn)。

何逸凡：期望記憶的成熟和發(fā)展，能夠?yàn)?AI 在產(chǎn)業(yè)界的突破和完成產(chǎn)業(yè)紅利的釋放，成為最大的驅(qū)動引擎。

王琰：我希望人的能力不要成為制約大模型能力的一個(gè)瓶頸?，F(xiàn)在很多記憶設(shè)計(jì)都是照著擬人化，這就好比要求飛機(jī)必須像鳥一樣扇翅膀，這是一種倒退而非進(jìn)步。我希望大模型擁有比人類更強(qiáng)的記憶能力，而不是僅僅一味地?cái)M人化記憶。

陳思衡：我更多是寄語我自己和組里的同學(xué)。我年初就看到了 Agentic Memory 是一個(gè)非常好的方向，希望我們能在一年之內(nèi)發(fā)表更多更好的研究成果。

李志宇：再次感謝三位老師的精彩分享。希望今天關(guān)于智能體的深入討論，能夠?yàn)槔斫庀乱淮悄荏w的形態(tài)成為一個(gè)重要的起點(diǎn)，讓 AI 真正具備跨時(shí)間的積累、理解和成長能力，并在個(gè)性化層面呈現(xiàn)更好的發(fā)展。未來，我們期待共同推進(jìn)把記憶從概念變成能力，從能力變成系統(tǒng)，最終讓智能體走向產(chǎn)業(yè)化和價(jià)值化。

謝謝大家，今晚圓桌結(jié)束。

完整視頻觀看地址 :

https://youtu.be/kdJ_BI_h1lg

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來源并插入本公眾號名片。