PettingLLMs團(tuán)隊(duì) 投稿
量子位 | 公眾號(hào) QbitAI

大語(yǔ)言模型智能體的強(qiáng)化學(xué)習(xí)框架, 首次實(shí)現(xiàn)了通用的多智能體的“群體強(qiáng)化”。

在大語(yǔ)言模型（LLM）智能體的各種任務(wù)中，已有大量研究表明在各領(lǐng)域下的多智能體工作流在未經(jīng)訓(xùn)練的情況下就能相對(duì)單智能體有顯著提升。

但是現(xiàn)有的LLM智能體訓(xùn)練框架都是針對(duì)單智能體的，多智能體的“群體強(qiáng)化”仍是一個(gè)亟須解決的問(wèn)題。

為了解決這一領(lǐng)域的研究痛點(diǎn)，來(lái)自UCSD和英特爾的研究人員，提出了新的提出通用化多智能體強(qiáng)化學(xué)習(xí)框架——PettingLLMs。支持任意組合的多個(gè)LLM一起訓(xùn)練。

研究背景

大語(yǔ)言模型驅(qū)動(dòng)的多智能體系統(tǒng)在醫(yī)療、編程、科研、具身智能等多個(gè)領(lǐng)域均能大幅度提升任務(wù)表現(xiàn)。

為訓(xùn)練大模型智能體，Group Relative Policy Optimization (GRPO) 已被驗(yàn)證為通用的有效強(qiáng)化學(xué)習(xí)算法。然而，當(dāng)前所有針對(duì)LLM的強(qiáng)化學(xué)習(xí)訓(xùn)練框架，包括GRPO算法本身，都局限于單智能體訓(xùn)練的范疇。多智能體間的協(xié)作優(yōu)化，即“群體強(qiáng)化”的學(xué)習(xí)機(jī)制，仍然是一個(gè)亟待填補(bǔ)的空白。

GRPO算法的核心機(jī)制是，針對(duì)同一個(gè)輸入（prompt），通過(guò)多次采樣生成一組候選回答。隨后，算法在組內(nèi)對(duì)這些回答進(jìn)行評(píng)估（例如，通過(guò)一個(gè)獎(jiǎng)勵(lì)模型），并計(jì)算它們之間的相對(duì)優(yōu)勢(shì)。

這種優(yōu)勢(shì)計(jì)算的有效性與公平性依賴(lài)于一個(gè)關(guān)鍵假設(shè)——組內(nèi)所有用于比較的候選回答，都必須基于一個(gè)完全相同的上下文（即prompt）生成。

然而，將GRPO直接應(yīng)用于多智能體（multi-agent）多輪（multi-turn）環(huán)境中存在一個(gè)核心困難。

在多智能體場(chǎng)景下，即使是針對(duì)同一個(gè)初始問(wèn)題，不同智能體在不同輪次接收到的prompt差異顯著。

例如（如圖所示），一個(gè)負(fù)責(zé)編程的智能體，其在第二輪的prompt不僅包含原始問(wèn)題，還可能融合了第一輪中自己生成的代碼以及其他智能體生成的單元測(cè)試。

因此，如果在MA環(huán)境中仍然簡(jiǎn)單地將同一個(gè)初始問(wèn)題產(chǎn)生的所有（跨輪次、跨智能體的）回答視為一個(gè)“group”來(lái)進(jìn)行優(yōu)勢(shì)計(jì)算，這就直接違反了GRPO所要求的“共同prompt”的核心假設(shè)。

這導(dǎo)致組內(nèi)的優(yōu)勢(shì)計(jì)算基準(zhǔn)不統(tǒng)一，使得計(jì)算結(jié)果不再公平或有效。

所以核心問(wèn)題就是，如何既保證每個(gè)組內(nèi)有一定批次量的回答，又能保證優(yōu)勢(shì)計(jì)算的公平。

方法概述

作者提出了一種greedy-search的樹(shù)狀采樣方法。

每輪次每個(gè)agent形成一個(gè)節(jié)點(diǎn)進(jìn)行K個(gè)分支，在分支以后選擇此時(shí)reward最高的agent進(jìn)行下一次分支。這樣能夠讓多智能體訓(xùn)練能平衡好探索（exploration）與利用(exploitation)。

每一個(gè)agent的獎(jiǎng)勵(lì)函數(shù)都考慮自身角色的獎(jiǎng)勵(lì)和全局任務(wù)的獎(jiǎng)勵(lì)來(lái)保證角色專(zhuān)屬能力和合作能力的進(jìn)化。

對(duì)于多智能體的強(qiáng)化學(xué)習(xí)進(jìn)化的另一個(gè)面臨一個(gè)核心的策略問(wèn)題：在何種任務(wù)下，讓模型進(jìn)化成不同角色的“專(zhuān)屬模型”（specialized models）？又在何種任務(wù)下，讓所有智能體共享一個(gè)“通用模型”（shared model）會(huì)更優(yōu)？

為了實(shí)現(xiàn)兩種不同的訓(xùn)練模式，作者搭建了如圖所示的異步分發(fā)訓(xùn)練系統(tǒng)。

系統(tǒng)中的路由模塊負(fù)責(zé)收集多智能體系統(tǒng)在環(huán)境中交互產(chǎn)生的軌跡數(shù)據(jù)。

專(zhuān)屬模型模式下，系統(tǒng)可以配置多個(gè)獨(dú)立的模型資源池（如圖中的池i和池j）。路由模塊會(huì)將智能體i的數(shù)據(jù)批次僅發(fā)送給池i的更新單元，專(zhuān)門(mén)更新模型i；同時(shí)將智能體j的數(shù)據(jù)批次發(fā)送給池j的更新單元，獨(dú)立更新模型j。

而在共享模型模式中，相對(duì)地，路由模塊也可以將所有智能體的軌跡數(shù)據(jù)合并，并全部發(fā)送給同一個(gè)模型資源池的更新單元，以集中更新一個(gè)共享模型。

通用的多智能體強(qiáng)化學(xué)習(xí)框架：PettingLLMs

基于該項(xiàng)研究，作者開(kāi)源了通用的多智能體強(qiáng)化學(xué)習(xí)框架，使得多智能體強(qiáng)化學(xué)習(xí)訓(xùn)練開(kāi)發(fā)變得敏捷、簡(jiǎn)潔、優(yōu)雅。

• 在作者現(xiàn)有的系統(tǒng)上搭建環(huán)境開(kāi)發(fā)只需要任務(wù)特有的agent的交互和獎(jiǎng)勵(lì)函數(shù)。同時(shí)，作者也給環(huán)境開(kāi)發(fā)設(shè)計(jì)建立了詳細(xì)的環(huán)境開(kāi)發(fā)教程。
• 已有的環(huán)境也已經(jīng)包括了主流的agent任務(wù)比如數(shù)學(xué)、code、游戲等。
• 該框架支持不同模型和agent之間的任意映射。也支持每個(gè)agent適配不同的lora的方式。

實(shí)驗(yàn)效果

在推箱子這種長(zhǎng)規(guī)劃任務(wù)中，通過(guò)AT-GRPO訓(xùn)練，兩個(gè)agent都得到了強(qiáng)化，任務(wù)性能從14%提升至96%。

作者在Qwen3-1.7B與Qwen3-8B兩個(gè)規(guī)模上開(kāi)展了大規(guī)模實(shí)驗(yàn)，覆蓋規(guī)劃（Sokoban、Plan-Path）、代碼（LiveCodeBench、APPS、CodeContests）與數(shù)學(xué)（AIME24/25、OlympiadBench）三大類(lèi)任務(wù)。

實(shí)驗(yàn)結(jié)果表明：

• 規(guī)劃類(lèi)任務(wù)中，Sokoban從14%提升至96%，Plan-Path從47%提升至99.5%；
• 代碼生成任務(wù)中，LiveCodeBench提升+6.1%，APPS+4.2%，CodeContests+7.0%；
• 數(shù)學(xué)推理中，AIME 24提升+9.0%，AIME 25提升+17.9%。

消融實(shí)驗(yàn)進(jìn)一步驗(yàn)證了關(guān)鍵設(shè)計(jì)——

只在單智能體（SA）里訓(xùn)練，收益有限：把規(guī)劃/工具等子角色各自放在 SA 環(huán)境里訓(xùn)練，單看各自指標(biāo)會(huì)從 5.0% 提到11.0%/14.5%，但放回MAS聯(lián)合作業(yè)僅到16.0%。

互換角色策略會(huì)“崩盤(pán)”：把已經(jīng)學(xué)成的兩個(gè)角色策略對(duì)調(diào)，準(zhǔn)確率從96.0%→6.0%，說(shuō)明兩位“隊(duì)友”學(xué)到的是互補(bǔ)但不可替代的能力。

協(xié)同越來(lái)越順、回合越來(lái)越少：訓(xùn)練過(guò)程中兩位代理的學(xué)習(xí)回報(bào)同步上升，任務(wù)所需平均回合數(shù)持續(xù)下降——體現(xiàn)出更緊密的對(duì)齊與分工協(xié)作。

PettingLLMs通過(guò)支持通用的多智能體強(qiáng)化學(xué)習(xí)算法，讓多智能體一起學(xué)習(xí)一起進(jìn)化，實(shí)現(xiàn)了跨任務(wù)、跨規(guī)模的通用強(qiáng)化學(xué)習(xí)算法。

論文：https://huggingface.co/papers/2510.11062
GitHub：https://github.com/pettingllms-ai/PettingLLMs