在 AI 領(lǐng)域，大模型智能體的發(fā)展日新月異。我們今天要介紹的這篇 ACL 2025 論文——《Agentic Knowledgeable Self-awareness》，聚焦于如何提升智能體的「知識邊界感知」能力，使其在復(fù)雜任務(wù)規(guī)劃中更加得心應(yīng)手，為智能體的可靠應(yīng)用提供了新思路。

• 論文標(biāo)題：Agentic Knowledgeable Self-awareness
• 論文鏈接：https://arxiv.org/abs/2504.03553
• 代碼鏈接：https://github.com/zjunlp/KnowSelf

30 秒速讀版本

KnowSelf 聚焦于大模型智能體在決策過程中所面臨的「知識邊界感知」問題。受人類決策機制啟發(fā)，本文指出智能體應(yīng)具備三類行為模式的自主決策能力：快速反應(yīng)（快思考）、深度推理（慢思考），以及主動調(diào)用外部工具（本文以外部知識增強為例）。

KnowSelf 通過學(xué)習(xí)自身的知識邊界，使智能體能在不同情境下自主判斷是否具備足夠知識進行生成和推理，以減少無效試錯與知識濫用。實驗表明，KnowSelf 可提升智能體的知識調(diào)用準(zhǔn)確率、任務(wù)規(guī)劃效率和跨任務(wù)泛化能力。

研究背景：智能體規(guī)劃的困境

大模型智能體在諸多領(lǐng)域展現(xiàn)出巨大潛力，但現(xiàn)有智能體規(guī)劃方法存在弊端。傳統(tǒng)方法多采用「盲目灌輸」模式，將標(biāo)準(zhǔn)軌跡、外部反饋和領(lǐng)域知識無差別地注入智能體模型，完全忽視了人類決策過程中至關(guān)重要的「自我認(rèn)知」原則。

這種「無腦式」灌輸導(dǎo)致智能體在面對意外信號時極易崩潰，陷入模式崩塌困境，且過度試錯與盲目知識融合在實際場景中往往不可行，還會大幅推高模型推理成本。

人類在決策時，會根據(jù)面臨的情境動態(tài)評估自身狀態(tài)，靈活調(diào)整策略。比如，當(dāng)我們遇到簡單問題時，能迅速做出判斷并行動；遇到棘手問題，會放慢思考節(jié)奏，深入分析；而面對超出自身能力范圍的問題，會主動尋求外部知識或幫助。

然而，當(dāng)前大模型智能體普遍缺乏這種「知識邊界感知」能力，導(dǎo)致規(guī)劃行為低效且脆弱。

核心方法：KnowSelf 框架

為破解這一難題，論文提出了智能體「知識邊界感知」的思路，并基于此設(shè)計了數(shù)據(jù)驅(qū)動 KnowSelf 方法，讓大模型智能體能夠自主調(diào)節(jié)知識的運用。

• 知識系統(tǒng)構(gòu)建

對于外部工具（知識），并采用了一種簡單高效知識收集方法，以極低成本完成知識庫的離線構(gòu)建。該知識系統(tǒng)由知識庫和知識選擇模塊組成，其中知識庫包含一系列知識條目，知識選擇模塊能依據(jù)智能體歷史軌跡從知識庫中精準(zhǔn)挑選所需知識。這種設(shè)計兼顧了知識系統(tǒng)的實用性和高效性。

• 情境判斷標(biāo)準(zhǔn)

論文基于智能體的能力，將情境劃分為三類：快速思考（Fast Thinking）、慢速思考（Slow Thinking）和知識型思考（Knowledgeable Thinking）。并提出了啟發(fā)式情境判斷標(biāo)準(zhǔn)，用于標(biāo)記智能體自我探索軌跡中的特殊標(biāo)記，從而針對智能體的能力構(gòu)建出訓(xùn)練數(shù)據(jù)，為后續(xù)訓(xùn)練奠定基礎(chǔ)。

• 快思考：智能體無需多慮，能直接給出正確行動
• 慢思考：智能體雖能給出正確行動，但需經(jīng)過多步思考與反思
• 知識型思考：智能體自身無法提供正確行動，必須借助外部知識輔助思考
• 自我認(rèn)知訓(xùn)練

KnowSelf 采用雙階段訓(xùn)練過程，先通過監(jiān)督式微調(diào)（SFT），讓智能體模型初步掌握自我認(rèn)知規(guī)劃模式；再引入 RPO 損失函數(shù)，進一步強化自我認(rèn)知能力。在這一體系下，智能體會生成特定特殊標(biāo)記，表明其對情境的判斷，在推理過程中實現(xiàn)知識查詢與反思的精準(zhǔn)調(diào)控。

實驗成果

本文在兩個模擬大模型智能體規(guī)劃數(shù)據(jù)集 ALFWorld 和 WebShop 上，對 KnowSelf 進行了全面評估，涵蓋 Llama-8B 和 Gemma-2B 兩個不同規(guī)模的模型。實驗結(jié)果顯示，KnowSelf 憑借極少的反思和知識使用，性能優(yōu)于多種基線方法。

與無知識基線方法對比，KnowSelf 在 Llama-8B 和 Gemma-2B 模型上均展現(xiàn)出卓越性能。與知識增強型基線方法相比，KnowSelf 僅用少量知識，就超越了所有的 100% 知識增強基線方法，充分證明了并非知識越多越好，精準(zhǔn)的知識引入機制才是關(guān)鍵。

進一步分析：深入探索智能體自我認(rèn)知

• 智能體規(guī)劃模式過擬合

本文通過消融實驗，發(fā)現(xiàn)僅在標(biāo)準(zhǔn)軌跡上訓(xùn)練的模型更易陷入模式擬合，而引入反思和知識邊界感知后，智能體規(guī)劃能力提升。這表明，在許多情況下，智能體并非不能做出正確決策，而是受限于規(guī)劃模式。此外，過度引入知識可能會對性能產(chǎn)生負(fù)面影響，因此凸顯了精準(zhǔn)知識引入機制的重要性。

• 智能體規(guī)劃泛化能力

在泛化能力測試中，KnowSelf 在 ALFWorld 的三項挑戰(zhàn)性任務(wù)上表現(xiàn)優(yōu)異，優(yōu)于基于提示的基線方法 Reflexion。這表明 KnowSelf 能有效打破傳統(tǒng)規(guī)劃軌跡訓(xùn)練的局限，使模型具備跨任務(wù)情境感知能力，在未見過的任務(wù)上能靈活運用反思和知識引入策略。

• 模型與數(shù)據(jù)規(guī)模影響

隨著模型規(guī)模擴大和自我認(rèn)知訓(xùn)練數(shù)據(jù)量增加，KnowSelf 性能穩(wěn)步提升。當(dāng)自我認(rèn)知訓(xùn)練數(shù)據(jù)相對比例低于 40% 時，模型性能可能出現(xiàn)波動甚至下降，推測模型需達到一定自我認(rèn)知水平才能穩(wěn)定發(fā)揮效能。

• 智能體自我認(rèn)知機制機理

本文在 Transformer 模型的各層計算不同情境標(biāo)記的平均概率，發(fā)現(xiàn) Reflection 標(biāo)記概率始終為零，Knowledge 標(biāo)記和 Action 標(biāo)記在模型最后幾層才出現(xiàn)。這表明智能體在內(nèi)部決策時，僅在最后幾層隱藏層才決定是否調(diào)用外部知識，且調(diào)用知識的決策可能更晚出現(xiàn)，暗示智能體在 Token 空間內(nèi)通過隱式獎勵引導(dǎo)進行探索，最終做出決策。

結(jié)論與展望

本文提出的 KnowSelf 方法為智能體規(guī)劃提供了新思路，初步探索了智能體知識邊界感知這一問題。在后 R1 時代，隨著 Search-R1、ReSearch、Deep Researcher 等工作的出現(xiàn)，基于 RL 的智能體自主知識獲取工作展現(xiàn)了巨大的前景，KnowSelf 還只是在這個時代之前的初步產(chǎn)物，相信隨著技術(shù)的發(fā)展，基于 RL 的智能體自我認(rèn)知能迸發(fā)更大的活力。