新智元報道

編輯：艾倫

【新智元導(dǎo)讀】Atlas進(jìn)廠打工技能再進(jìn)化！波士頓動力聯(lián)手豐田研究院，首次讓人形機器人Atlas能夠通過語言指令驅(qū)動，一次性處理從折疊配件到整理倉架的復(fù)雜作業(yè)。這種LBM（Large Behavior Models，大行為模型）方法讓機器人具備跨任務(wù)泛化能力，邁出了工業(yè)化實踐的一大步。

誰能想到，曾經(jīng)主打「特技表演」的網(wǎng)紅機器人，已經(jīng)在廠里打工半年了。

那么，經(jīng)歷了這么時間的磨練， Atlas 在干活這塊的能力，到底有沒有進(jìn)步呢？

就在剛剛，波士頓動力發(fā)布的最新Vlog，給出了答案。

在下面這個分揀場景中，Atlas需要把放在藍(lán)色小箱子里的零件，轉(zhuǎn)移到旁邊的大箱子中。

只見它剛彎下膝蓋，并用自己的兩指抓手打開一側(cè)的蓋子，「討厭」的人類就拿著曲棍球桿來搗亂了。

不過，Atlas對此非常淡定——一遍又一遍地把蓋子掀開。

沒多久，那個拿著曲棍球桿的人類又來了。

這次，他決定偷偷將箱子挪開，看看Atlas是不是會呆呆地「撿空氣」。

Atlas內(nèi)心OS：「就這？」，然后默默地把箱子搬了回來。

接下來，人類又來上難度了。

此前Atlas已經(jīng)確認(rèn)了箱子蓋子已經(jīng)打開，如果現(xiàn)在再給合上又會如何？

顯然，這并不是一個編程好的固定動作，而是它通過實時的感知來確定自己需要做什么。

很輕松地，Atlas就把人類扣上的蓋子給打開了。

最后，人類模擬了一下周圍有意外掉落的零件的場景。

只見Atlas先是把箱子挪開，然后調(diào)整身體的位置，很輕松的就把零件撿了起來。

全新大行為模型來了！

上面這些所展示的，便是波士頓動力全新提出的大行為模型（LBM）。

在LBM的加持下，人形機器便可以充分發(fā)揮「長得像人」的優(yōu)勢：操控各種物體、協(xié)調(diào)全身來調(diào)整自己的姿態(tài)、適應(yīng)所處環(huán)境、避開障礙物，并在遇到突發(fā)情況時也能保持平衡等等。

具體來說，構(gòu)建策略的過程有四個基本步驟：

1. 通過在真實機器人硬件和模擬環(huán)境中進(jìn)行遙操作，收集具身行為數(shù)據(jù)。

2. 對數(shù)據(jù)進(jìn)行處理、標(biāo)注和篩選，以便將其輕松整合到機器學(xué)習(xí)流水線中。

3. 使用涵蓋所有任務(wù)的完整數(shù)據(jù)集，訓(xùn)練一個神經(jīng)網(wǎng)絡(luò)策略。

4. 使用一系列測試任務(wù)來評估該策略。

其中，第4步的評估結(jié)果將被用于判斷還需要補充哪些數(shù)據(jù)，以及哪種網(wǎng)絡(luò)架構(gòu)或推理策略的性能更好。

接著，在模型的訓(xùn)練上，研究人員采用了擴散Transformer模型與流匹配損失函數(shù)相結(jié)合的方式。

這一策略能夠?qū)⒂蓤D像、本體感覺和語言提示所構(gòu)成的輸入，映射為控制整個Atlas機器人的動作指令。其中，控制頻率為30Hz。

長時程、端到端的操控

「Spot工坊」任務(wù)展示了協(xié)同運動（包括踏步、開闊步寬和下蹲）與靈巧操控（包括零件拾取、重新抓取、關(guān)節(jié)操控、放置和滑動）的能力。

下面這段一鏡到底的端到端視頻中，展示了一個單一的、由語言條件化的策略來執(zhí)行全部任務(wù)序列。

該任務(wù)由三個子任務(wù)構(gòu)成：

• 從手推車上抓取Spot機器狗的腿部零件，將其折疊，然后放置到架子上。

• 從手推車上抓取面板，然后拉開底層架子上的箱子，并將面板放入箱中。

• 當(dāng)手推車被完全清空后，機器人會轉(zhuǎn)向后方的藍(lán)色大箱子，將其中的所有其他Spot零件清理出來，分批抓取并放入一旁的藍(lán)色傾倒車中。

其中，每個子任務(wù)都是通過向該策略傳遞一個高層語義的語言提示詞來觸發(fā)的。

實際上，機器人在最開始的時候，并不能應(yīng)對現(xiàn)實中的各種意外。

而LBM可以僅憑訓(xùn)練中觀察到的經(jīng)驗，通過機器人的傳感器有效評估外部環(huán)境狀態(tài)，并據(jù)此做出反應(yīng)。

于是，通過向機器人演示如何從這類干擾中恢復(fù)，并重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)，便能快速部署具備反應(yīng)能力的新策略，整個過程無需任何算法或工程上的改動。

其結(jié)果便是，今后再為機器人開發(fā)新的操控行為，就不需要高深的學(xué)位和多年的經(jīng)驗了！

其他操控能力

在Atlas MTS（操作測試臺）上，僅使用一個語言條件化策略，就能完成從簡單的抓取與放置，到更復(fù)雜的任務(wù)，如系繩、翻轉(zhuǎn)吧臺凳、展開并鋪平桌布，以及操控一個重達(dá)22磅（約10公斤）的汽車輪胎。

由于繩索、布料和輪胎具有可變形的幾何特性以及復(fù)雜的操控序列，使用傳統(tǒng)的機器人編程技術(shù)來完成這些任務(wù)會極其困難。

但有了LBM，無論是堆疊剛性積木還是折疊T恤，訓(xùn)練過程都別無二致：只要你來演示，機器自會學(xué)習(xí)。

學(xué)習(xí)后策略性能的自適應(yīng)調(diào)整

除此之外，LBM還有一個優(yōu)勢——可以在推理時加快其執(zhí)行速度，而無需對訓(xùn)練過程進(jìn)行任何更改。

具體來說，由于LBM會預(yù)測未來動作的軌跡以及執(zhí)行這些動作的時間點，因此可以通過調(diào)整這一時間規(guī)劃來控制執(zhí)行速度。

下面這個視頻，對比的便是1倍速（即數(shù)據(jù)采集時的演示速度）、2倍速和3倍速下的運行情況。

總的來說，在MTS和完整的Atlas平臺上，加速個1.5倍至2倍，基本都不會對性能產(chǎn)生顯著影響。

而這也表明，在某些情況下，機器人將能夠超越人類遠(yuǎn)程操控的速度極限。

技術(shù)路徑

平臺能力：高自由度帶來的極致靈活性

Atlas機器人本體擁有50個自由度（DoF, Degrees of Freedom），這意味著它在空間內(nèi)的活動范圍和動作靈巧度都非常突出。

相比之下，Atlas MTS（操作測試臺）則配備了29個自由度，主要用來專攻各種復(fù)雜的純操控任務(wù)。每只機械手上有7個自由度，這也讓Atlas能靈活切換多種抓取方式——不管是強力一把抓，還是需要精細(xì)控制的捏取動作都不在話下。

感知系統(tǒng)方面，Atlas頭部裝有一對HDR立體相機，這不僅讓操作員在遙操作時能對環(huán)境一覽無余，也為策略模型提供了高質(zhì)量的視覺輸入，是實現(xiàn)復(fù)雜操控的關(guān)鍵基礎(chǔ)。

遙操作：用高質(zhì)量數(shù)據(jù)喂飽模型

要讓機器人動得順暢、靈巧，控制系統(tǒng)必須跟得上。這一塊，團(tuán)隊下了大力氣，專門為Atlas搭了一套遙操作系統(tǒng)。

底層用的還是波士頓動力自家成熟的MPC（Model Predictive Control，模型預(yù)測控制）框架，這套方案早就在跑酷、跳舞等場景里驗證過，能確保機器人穩(wěn)住身形、避免自撞的同時，還能靈活完成復(fù)雜操作——相當(dāng)于把Atlas硬件的天花板又往上抬了一截。

實際操控時，操作員戴上VR頭顯，直接「進(jìn)入」機器人的工作空間，看到的畫面和策略模型拿到的數(shù)據(jù)是完全一致的。Atlas頭部的攝像頭拍下的實時畫面，會被重新映射成立體視覺效果，操作員的空間感一下子拉滿。

團(tuán)隊還專門開發(fā)了一套定制的VR軟件，界面里能下各種操作指令，同時把機器人的狀態(tài)、控制目標(biāo)、各類傳感器數(shù)據(jù)、觸覺反饋等實時流推送給操作者，像AR、觸覺手柄、HUD平視顯示等交互細(xì)節(jié)也都沒落下。

這樣一來，人和機器的「感官」高度同步，機器人的各種能力就能被盡可能發(fā)揮出來，高質(zhì)量的數(shù)據(jù)采集也就水到渠成。

最早的VR遙操作版本，其實就像一套全身跟蹤設(shè)備——操作員只需要戴上頭顯、配合定位基站、手柄，再加一個胸部追蹤器，就能遠(yuǎn)程控制靜止站立的Atlas。

這里采用的是一對一映射，操作員的手怎么動，機器人的手也跟著一模一樣地動，控制邏輯非常直觀，特別適合需要雙手配合的任務(wù)。

憑這套方案，操作員已經(jīng)可以讓Atlas完成一系列操作，比如蹲下?lián)斓厣系臇|西，或者身體伸展開去夠高處的貨架。

不過，第一代系統(tǒng)有個明顯短板：它不支持操作員自由地移動腳步，亦即無法靈活控制Atlas的站位和行走動作，能實現(xiàn)的任務(wù)類型受到很大限制。

為了打破這個瓶頸，團(tuán)隊給Atlas的雙腳也加上了追蹤器，實現(xiàn)了手腳都能一對一映射。與此同時，遙操作控制也進(jìn)一步升級：現(xiàn)在Atlas的站姿、重心支撐區(qū)、多邊形變化和步態(tài)規(guī)劃，都能和操作者完全同步。

這一套下來，不只是讓Atlas能走能動，整個工作空間的利用率也大大提升——比如，要打開地上的藍(lán)色箱子并從里面取東西，操作員可以讓機器人張開雙腿、膝蓋下蹲，不會碰到箱體，還能把手伸進(jìn)箱子里拿到物品。

此外，Atlas用的神經(jīng)網(wǎng)絡(luò)策略和遙操作其實共用同一個機器人控制接口。團(tuán)隊只需要在原有靜態(tài)策略的基礎(chǔ)上，擴展一下動作的表示方式，就能復(fù)用之前的模型架構(gòu)，連遷移都變得很順滑。

策略模型：跨平臺大模型，懂圖像、理解指令

Atlas用的策略模型，底層其實是豐田研究院提出的大行為模型（LBM），不過他們在此基礎(chǔ)上又做了不少擴展，核心思路跟擴散策略那一套很像。

主模型是基于擴散Transformer架構(gòu)打造的，規(guī)模高達(dá)4.5億參數(shù)，優(yōu)化目標(biāo)采用了流匹配（flow-matching）機制。

這個策略模型用到的信息很豐富，既看本體感覺、也看環(huán)境圖像，還能接收一句語言指令來明確任務(wù)目標(biāo)。

圖像數(shù)據(jù)以30Hz的頻率不斷輸入，網(wǎng)絡(luò)每次會利用一段歷史觀測，直接預(yù)測出一組長度為48的動作塊——對應(yīng)1.6秒的連續(xù)動作。

實際運行時，每輪策略推理會執(zhí)行24幀動作（也就是0.8秒的內(nèi)容，如果按1倍速來算）。

從輸入輸出來看，Atlas策略的觀測空間涵蓋了頭部攝像頭采集的圖像和本體感覺信號，動作空間則包括左右手抓手的關(guān)節(jié)位置、脖子扭轉(zhuǎn)、軀干姿態(tài)，以及雙手和雙腳的動作。

Atlas MTS這邊，上半身硬件和Atlas一模一樣，觀測空間和動作空間設(shè)置也保持一致，只是去掉了下半身和軀干的控制部分。軟硬件的高度統(tǒng)一，也方便團(tuán)隊訓(xùn)練跨平臺通用的策略模型，兩種機體的數(shù)據(jù)可以直接打通用起來。

仿真：高效開發(fā)的「秘密武器」

仿真對Atlas團(tuán)隊來說是不可或缺的核心工具。一方面，它讓遙操作系統(tǒng)的開發(fā)迭代快得多，還能輕松寫單元測試、集成測試，保障開發(fā)過程始終穩(wěn)定、不被各種突發(fā)問題打斷。

更重要的是，不管是策略訓(xùn)練還是評估，很多需要大量試錯、重復(fù)驗證的環(huán)節(jié)，仿真環(huán)境都能省下大量時間和硬件成本——畢竟真機測試既慢又貴，還難以完全復(fù)現(xiàn)每次實驗的細(xì)節(jié)。

團(tuán)隊自研的仿真堆棧與實際硬件、機器人軟件保持了極高的一致性，所以數(shù)據(jù)流水線、可視化工具、訓(xùn)練代碼、VR軟件和接口等各個環(huán)節(jié)都能在仿真和真機之間無縫切換，效率拉滿。

仿真不僅用來做策略和系統(tǒng)架構(gòu)的基準(zhǔn)測試，還直接作為多任務(wù)、多機體大模型訓(xùn)練的重要數(shù)據(jù)源?？恐哔|(zhì)量、可控的仿真數(shù)據(jù)，硬件上部署的多機器人多任務(wù)策略才能真正跑起來。

參考資料：

https://www.youtube.com/watch?v=HYwekersccY&t=2s

https://bostondynamics.com/blog/large-behavior-models-atlas-find-new-footing/