Theory of Mind Using Active Inference:A Framework for Multi-Agent Cooperation

本文的核心重點(diǎn)在于：

將主動(dòng)推理（Active Inference）理論框架應(yīng)用于心智理論（Theory of Mind）問(wèn)題，旨在為多智能體合作（Multi-Agent Cooperation）提供一個(gè)統(tǒng)一的理論基礎(chǔ)。

具體而言，該框架試圖解決以下關(guān)鍵問(wèn)題：

1. 心智理論的機(jī)制化：如何從計(jì)算和神經(jīng)科學(xué)的角度理解個(gè)體如何表征（represent）、推理（infer）和預(yù)測(cè)（predict）其他智能體的內(nèi)部狀態(tài)（如信念、意圖、欲望）。
2. 主動(dòng)推理的運(yùn)用：利用主動(dòng)推理的核心思想——即智能體通過(guò)最小化自由能（Free Energy）來(lái)實(shí)現(xiàn)感知、行動(dòng)和學(xué)習(xí)——來(lái)解釋心智理論行為。這包括智能體如何通過(guò)生成模型（Generative Model）預(yù)測(cè)他人的行為，并通過(guò)識(shí)別模型（Recognition Model）推斷他人的隱含狀態(tài)。
3. 多智能體交互：將單智能體的主動(dòng)推理擴(kuò)展到多智能體場(chǎng)景，探討智能體如何在合作任務(wù)中嵌套（nest）對(duì)其他智能體的模型（即“我對(duì)你的信念的信念...”），以及如何通過(guò)共同意圖（shared intentions）或共同信念（shared beliefs）實(shí)現(xiàn)協(xié)調(diào)。
4. 合作行為的涌現(xiàn)：解釋在該框架下，如何通過(guò)最小化個(gè)體及其伙伴的預(yù)測(cè)誤差（或共同的自由能）來(lái)自然地產(chǎn)生合作行為，而無(wú)需預(yù)設(shè)復(fù)雜的規(guī)則或契約。
5. 統(tǒng)一性：提供一個(gè)統(tǒng)一的數(shù)學(xué)框架，將感知、行動(dòng)、學(xué)習(xí)、決策、心智理論和合作等認(rèn)知過(guò)程整合在一起，均置于最小化自由能原理之下。

簡(jiǎn)言之，該框架試圖用主動(dòng)推理這一更基礎(chǔ)的原理，來(lái)解釋心智理論如何在多智能體合作中發(fā)揮作用。

摘要

心智理論（Theory of Mind, ToM）——理解他人可能擁有不同知識(shí)和目標(biāo)的能力——使智能體能夠在規(guī)劃自身行動(dòng)的同時(shí)，對(duì)他人的信念進(jìn)行推理。我們提出了一種實(shí)現(xiàn)多智能體合作的新穎方法，即將心智理論嵌入主動(dòng)推理（active inference）框架。不同于以往基于主動(dòng)推理的多智能體合作方法，我們的方法既不依賴于任務(wù)特定的共享生成模型，也不需要顯式通信。在我們的框架中，具備心智理論（ToM）的智能體維護(hù)著關(guān)于自身及他人信念和目標(biāo)的不同表征。隨后，這些 ToM 智能體使用一種經(jīng)過(guò)擴(kuò)展和改進(jìn)的、基于復(fù)雜推理樹（sophisticated inference tree）的規(guī)劃算法，通過(guò)遞歸推理（recursive reasoning）系統(tǒng)地探索聯(lián)合策略空間。我們通過(guò)碰撞規(guī)避和覓食（foraging）模擬對(duì)我們的方法進(jìn)行了評(píng)估。結(jié)果表明，與不具備心智理論（non-ToM）的智能體相比，ToM 智能體能夠通過(guò)避免碰撞和減少冗余努力，實(shí)現(xiàn)更優(yōu)的合作效果。關(guān)鍵在于，ToM 智能體僅通過(guò)可觀察的行為推斷他人的信念，并在規(guī)劃自身行動(dòng)時(shí)考慮這些推斷。我們的方法展現(xiàn)了在實(shí)現(xiàn)通用（generalisable）和可擴(kuò)展（scalable）多智能體系統(tǒng)方面的潛力，同時(shí)為理解心智理論機(jī)制提供了計(jì)算層面的洞察。

關(guān)鍵詞：心智理論（Theory of Mind），主動(dòng)推理（Active Inference），多智能體合作（Multi-agent Cooperation），復(fù)雜推理（Sophisticated Inference），遞歸規(guī)劃（Recursive Planning）

1 引言

心智理論（Theory of Mind, ToM）代表了人類認(rèn)知最顯著的成就之一——理解其他智能體擁有與我們自身可能不同的信念和目標(biāo)的心智[6]。這種元認(rèn)知（meta-cognitive）技能使我們能夠認(rèn)識(shí)到他人可能持有錯(cuò)誤信念，并維持與我們自身不同的觀點(diǎn)。例如，當(dāng)我們觀察某人尋找一個(gè)我們已知在他們不在場(chǎng)時(shí)被移動(dòng)過(guò)的物體時(shí)，我們能夠基于他們認(rèn)為物體所在的位置（而非其實(shí)際位置）來(lái)預(yù)測(cè)他們的搜尋行為[1,12]。這種現(xiàn)實(shí)與信念之間的根本性區(qū)分，使得復(fù)雜形式的合作、競(jìng)爭(zhēng)和交流成為可能。心智理論在人類發(fā)展中早期出現(xiàn)，并支撐著我們應(yīng)對(duì)復(fù)雜多智能體環(huán)境的能力[11]。

雖然心智理論（ToM）是人類社會(huì)認(rèn)知的基礎(chǔ)，但目前基于主動(dòng)推理（active inference）的多智能體合作方法卻缺乏這一關(guān)鍵能力。以往基于主動(dòng)推理的多智能體合作模型主要依賴于 共享 或 相同 生成模型（generative models）的假設(shè)，這限制了它們的 通用性 （generalisability）和實(shí)際應(yīng)用。我們提出，通過(guò)在主動(dòng)推理的 規(guī)劃階段 （planning stage）實(shí)現(xiàn)心智理論（ToM），是進(jìn)行和建模多智能體合作的一個(gè)更優(yōu)方案。這為多智能體人工智能系統(tǒng)提供了一個(gè)更 有原則 （principled）且 通用 （generalisable）的解決方案，同時(shí)提供了一個(gè)計(jì)算模型，該模型可作為深化我們對(duì)人類如何實(shí)現(xiàn)心智理論理解的工具。在提出我們的新穎方法之前，我們首先詳細(xì)闡述了現(xiàn)有基于主動(dòng)推理進(jìn)行合作的方法的局限性。

原文鏈接：https://arxiv.org/pdf/2508.00401