豐田研究院（TRI，Toyota Research Institute）近日發(fā)布了一項(xiàng)關(guān)于大行為模型（LBMs，Large Behavior Models）研究成果，這項(xiàng)技術(shù)或有望給機(jī)器人的學(xué)習(xí)方式重大變革。研究顯示，通過預(yù)訓(xùn)練的 LBMs，機(jī)器人可以在學(xué)習(xí)新任務(wù)時(shí)減少高達(dá)80% 的數(shù)據(jù)需求，單一模型能夠掌握數(shù)百項(xiàng)不同的操作技能。相關(guān)論文以《大行為模型多任務(wù)靈巧操作的細(xì)致檢驗(yàn)》（A Careful Examination of Large Behavior Models for Multitask Dexterous Manipulation）發(fā)表在arXiv上。

圖丨相關(guān)論文（來(lái)源：arXiv）

研究的作者之一，豐田研究院副總裁、美國(guó)麻省理工學(xué)院教授 Russ Tedrake 在社交媒體上表示：“LBMs 確實(shí)有效！隨著預(yù)訓(xùn)練數(shù)據(jù)量的增加，我們看到了一致且具有統(tǒng)計(jì)學(xué)意義的改進(jìn)?！?/p>

圖丨相關(guān)推文（來(lái)源：X）

傳統(tǒng)的機(jī)器人訓(xùn)練方法存在諸多限制：每個(gè)任務(wù)都需要單獨(dú)編程，學(xué)習(xí)過程緩慢且不一致，往往局限于狹窄定義的任務(wù)和高度受限的環(huán)境。相比之下，LBMs 采用了類似于大語(yǔ)言模型（LLMs，Large Language Models）的架構(gòu)思路，但專門針對(duì)機(jī)器人的物理操作行為進(jìn)行優(yōu)化。

TRI 此次研究采用的 LBM 架構(gòu)，是一種基于擴(kuò)散模型和 Transformer 的復(fù)雜神經(jīng)網(wǎng)絡(luò)。它能夠整合來(lái)自多路攝像頭（包括機(jī)器人手腕和場(chǎng)景攝像頭）的視覺信息、機(jī)器人自身的姿態(tài)和位置等本體感知數(shù)據(jù)，以及人類通過自然語(yǔ)言下達(dá)的任務(wù)指令。這個(gè)多模態(tài)系統(tǒng)通過學(xué)習(xí)，直接輸出機(jī)器人需要執(zhí)行的一系列連貫、精確的動(dòng)作指令。具體來(lái)說(shuō)，這些模型能夠一次性預(yù)測(cè)未來(lái) 16 個(gè)時(shí)間步（約 1.6 秒）的動(dòng)作序列，從而實(shí)現(xiàn)平滑而具有預(yù)見性的操作。

（來(lái)源：arXiv）

為了驗(yàn)證 LBMs 的有效性，研究團(tuán)隊(duì)在近 1,700 小時(shí)的機(jī)器人演示數(shù)據(jù)上訓(xùn)練了多個(gè) LBMs，這些數(shù)據(jù)包括 468 小時(shí)的內(nèi)部收集雙臂機(jī)器人遙操作數(shù)據(jù)、45 小時(shí)的仿真收集遙操作數(shù)據(jù)、32 小時(shí)的通用操作接口（UMI，Universal Manipulation Interface）數(shù)據(jù)，以及約 1,150 小時(shí)從 Open X-Embodiment 數(shù)據(jù)集中精選的互聯(lián)網(wǎng)數(shù)據(jù)。

在評(píng)估環(huán)節(jié)，研究團(tuán)隊(duì)進(jìn)行了 1,800 次真實(shí)世界評(píng)估試驗(yàn)和超過 47,000 次仿真試驗(yàn)，覆蓋 29個(gè)不同任務(wù)。為確保結(jié)果的可靠性，他們采用了盲測(cè) A/B 測(cè)試方法，并建立了新的統(tǒng)計(jì)評(píng)估框架來(lái)確?？绮煌蝿?wù)和設(shè)置的結(jié)果置信度。

（來(lái)源：arXiv）

研究中使用的硬件平臺(tái)基于 Franka Panda FR3 機(jī)械臂的雙臂操作系統(tǒng)，配備多達(dá)六個(gè)攝像頭——每個(gè)手腕最多兩個(gè)，以及兩個(gè)靜態(tài)場(chǎng)景攝像頭。在感知層面，模型使用預(yù)訓(xùn)練的 CLIP 視覺變換器提取圖像特征，并通過 CLIP 文本編碼器處理任務(wù)描述的語(yǔ)言特征。這些視覺和語(yǔ)言特征與本體感受信息以及擴(kuò)散時(shí)間步編碼相結(jié)合，形成觀察特征。

在動(dòng)作生成方面，LBMs 采用去噪擴(kuò)散隱式模型（DDIM，Denoising Diffusion Implicit Models）來(lái)生成連續(xù)的機(jī)器人動(dòng)作。通過 K 步迭代去噪過程，從高斯噪聲樣本開始，逐步生成精確的動(dòng)作序列。

研究得出了三個(gè)關(guān)鍵發(fā)現(xiàn)。首先，微調(diào)后的 LBMs 在已見任務(wù)上的表現(xiàn)始終優(yōu)于單任務(wù)基線模型。在名義條件和分布偏移條件下，無(wú)論是在仿真還是真實(shí)世界環(huán)境中，微調(diào)的 LBM 都表現(xiàn)出統(tǒng)計(jì)學(xué)上的顯著優(yōu)勢(shì)。

其次，LBMs 展現(xiàn)出更強(qiáng)的魯棒性。當(dāng)引入分布偏移時(shí)，雖然整體任務(wù)性能有所下降，但微調(diào)的 LBMs 比從零開始訓(xùn)練的策略表現(xiàn)出更強(qiáng)的適應(yīng)能力。在仿真環(huán)境中，LBMs 在分布偏移條件下統(tǒng)計(jì)上優(yōu)于單任務(wù)策略的比例從名義條件下的 3/16 提升到 10/16。

第三，也是最重要的發(fā)現(xiàn)是，LBMs 能夠顯著減少學(xué)習(xí)新任務(wù)所需的數(shù)據(jù)量。研究表明，要在仿真中達(dá)到相似的性能水平，需對(duì) LBM 進(jìn)行微調(diào)。所需的數(shù)據(jù)量不到從零開始訓(xùn)練所需數(shù)據(jù)的 30%。在真實(shí)世界任務(wù)中，這一優(yōu)勢(shì)更加明顯——LBM 僅用 15% 的數(shù)據(jù)就能超越使用全部數(shù)據(jù)訓(xùn)練的單任務(wù)基線模型。

研究還驗(yàn)證了 LBM 的 Scaling Law。通過使用不同比例的預(yù)訓(xùn)練數(shù)據(jù)，研究人員發(fā)現(xiàn)隨著預(yù)訓(xùn)練數(shù)據(jù)量的增加，模型性能穩(wěn)步提升。即使在當(dāng)前的數(shù)據(jù)規(guī)模下，研究人員也沒有發(fā)現(xiàn)性能的不連續(xù)性或急劇拐點(diǎn)，這表明人工智能擴(kuò)展在機(jī)器人學(xué)習(xí)領(lǐng)域同樣有效。

圖丨LBM 上的 Scaling Law（來(lái)源：arXiv）

為了測(cè)試 LBMs 的能力極限，研究團(tuán)隊(duì)還設(shè)計(jì)了多種復(fù)雜的長(zhǎng)期任務(wù)。例如，“切蘋果”任務(wù)要求機(jī)器人使用蘋果取芯器給蘋果去核，從器具架中取出刀具，拔出刀鞘將蘋果切成兩半，再將兩半切成片，最后用布擦拭刀具并重新裝鞘放回器具架。在這類復(fù)雜任務(wù)中，LBMs 同樣展現(xiàn)出了優(yōu)于傳統(tǒng)方法的性能。

這項(xiàng)研究的一個(gè)重要貢獻(xiàn)是強(qiáng)調(diào)了統(tǒng)計(jì)嚴(yán)格性在機(jī)器人學(xué)習(xí)評(píng)估中的重要性。研究團(tuán)隊(duì)指出，許多機(jī)器人學(xué)習(xí)論文可能由于統(tǒng)計(jì)功效不足而測(cè)量的是統(tǒng)計(jì)噪聲而非真實(shí)效果。他們展示了在不同試驗(yàn)次數(shù)和真實(shí)成功率下的置信區(qū)間寬度：以 50 次試驗(yàn)為例，得到的置信區(qū)間寬度通常為 20%-30% 的絕對(duì)成功率，這使得除了最大規(guī)模的效應(yīng)之外，其他效應(yīng)都無(wú)法可靠測(cè)量。

為了解決這一問題，研究團(tuán)隊(duì)采用了貝葉斯分析方法，使用均勻 Beta 先驗(yàn)計(jì)算成功率的后驗(yàn)分布，并通過緊湊字母顯示（CLD，Compact Letter Display）方法指示統(tǒng)計(jì)顯著性。這種方法為機(jī)器人學(xué)習(xí)領(lǐng)域設(shè)立了新的評(píng)估標(biāo)準(zhǔn)。

研究結(jié)果表明，即使在數(shù)據(jù)規(guī)模相對(duì)較小的情況下，預(yù)訓(xùn)練也能帶來(lái)一致的性能提升。這使得建立數(shù)據(jù)獲取和性能提升的良性循環(huán)得以可能。隨著更多任務(wù)被納入預(yù)訓(xùn)練混合數(shù)據(jù)中，LBM 的整體性能將持續(xù)平穩(wěn)改善。然而，研究也發(fā)現(xiàn)了一些局限性。非微調(diào)的預(yù)訓(xùn)練 LBMs 表現(xiàn)參差不齊，這部分歸因于模型語(yǔ)言引導(dǎo)能力的局限性。

研究團(tuán)隊(duì)表示，在內(nèi)部測(cè)試中，更大的視覺-語(yǔ)言行為原型在克服這一困難方面顯示出良好前景，但需要更多工作來(lái)嚴(yán)格驗(yàn)證這一效果。此外，數(shù)據(jù)標(biāo)準(zhǔn)化等看似次要的設(shè)計(jì)選擇對(duì)下游性能有重大影響，往往超過架構(gòu)或算法改進(jìn)的影響，提醒研究者在比較方法時(shí)需要仔細(xì)隔離這些設(shè)計(jì)選擇，避免混淆性能變化的來(lái)源。

參考資料：

1.https://arxiv.org/pdf/2507.05331

2.https://toyotaresearchinstitute.github.io/lbm1/

3.https://x.com/RussTedrake/status/1942931808422875640

運(yùn)營(yíng)/排版：何晨龍