金磊 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI
真就一個(gè)大寫的“哇塞”——
智元的靈犀X2,成了全球首個(gè)完成韋伯斯特空翻的機(jī)器人!
視頻地址:https://mp.weixin.qq.com/s/7SYiWTFr8-vMfnHj0Cc0IQ
要知道,韋伯斯特空翻是空翻里的進(jìn)階技巧,屬于中高級(jí)水平。
一般完成這個(gè)動(dòng)作,需要靠一條腿強(qiáng)有力地蹬地,另一條腿擺動(dòng)帶動(dòng)身體翻轉(zhuǎn),對腿部爆發(fā)力和協(xié)調(diào)性要求更高。
而且啊,人類在抖音上也是以能完成這個(gè)動(dòng)作為由頭頻發(fā)視頻,例如“重慶炫陽特技東哥”:
△圖源:抖音“重慶炫陽特技東哥”
網(wǎng)友們看完靈犀X2的韋伯斯特空翻,也是在評(píng)論區(qū)紛紛打出那句famous的“名言”:
- 真男人必會(huì)韋伯斯特。
不過現(xiàn)在來看,這句話得改成“真機(jī)器人,也得必會(huì)韋伯斯特”了。
稚暉君還打趣說道:
- 靈犀X2成功做到了我都做不出的動(dòng)作。
先來了解一下這個(gè)機(jī)器人
靈犀X2這款機(jī)器人最早是由稚暉君于今年的3月11日在B站首發(fā)。
從官方的介紹來看,靈犀X2身高1.3米左右,全身有25-31個(gè)自由度(包括頭部的2個(gè)自由度)。
由于這次完成韋伯斯特的靈犀X2去掉了頭,因此應(yīng)當(dāng)是少了2個(gè)自由度。
從效果上來看,靈犀X2在運(yùn)動(dòng)方面的交互已經(jīng)有著人類基本的水平,像跑步這樣的基操,已經(jīng)是可以應(yīng)對各種各樣的地形:
在無需導(dǎo)航的情況下,靈犀X2也可以完成自主避障:
平衡性方面,面對經(jīng)典的人類一腳,也是能迅速調(diào)節(jié)全身的穩(wěn)定性:
而此次靈犀X2能夠完成韋伯斯特空翻,根據(jù)稚暉君在朋友圈的“sim2real一把過的”表述來看,也是離不開智元背后的靈創(chuàng)平臺(tái)。
這是智元機(jī)器人在今年8月份發(fā)布的一個(gè)機(jī)器人動(dòng)作與表達(dá)創(chuàng)作平臺(tái)。
根據(jù)官方介紹,這個(gè)平臺(tái)定位是AI加成的機(jī)器人多模態(tài)內(nèi)容生成與編輯工具,通過動(dòng)作種類、預(yù)覽編輯、動(dòng)作導(dǎo)入、編排演繹等核心功能實(shí)現(xiàn)機(jī)器人動(dòng)作設(shè)計(jì)與二次開發(fā)。
稚暉君獨(dú)家回應(yīng)背后技術(shù)
對于此次靈犀X2完成韋伯斯特空翻,量子位聯(lián)系到了稚暉君本人,并與他進(jìn)行了一番交流。
量子位:靈犀X2完成韋伯斯特空翻的難點(diǎn)在哪里?咱們是如何攻克的?
稚暉君:
韋伯斯特空翻是一個(gè)高難度動(dòng)作,之前有其他機(jī)器人做過前空翻,難度已經(jīng)比后空翻更大,而韋伯斯特空翻則是進(jìn)一步的,只靠單腿進(jìn)行前空翻,需要機(jī)器人在空中需要完成精確的角動(dòng)量控制、姿態(tài)調(diào)整和落地穩(wěn)定性。對機(jī)器人來說,難點(diǎn)主要體現(xiàn)在三個(gè)方面:
- 動(dòng)力學(xué)復(fù)雜性高,動(dòng)作過程中涉及超過30個(gè)自由度的協(xié)同控制,尤其是起跳時(shí)需瞬間產(chǎn)生足夠的角動(dòng)量,并在空中精確分配旋轉(zhuǎn)軸;
- 實(shí)時(shí)感知與反饋要求嚴(yán)苛,機(jī)器人必須通過IMU和關(guān)節(jié)編碼器實(shí)時(shí)感知自身姿態(tài),并在毫秒級(jí)時(shí)間內(nèi)做出調(diào)整,我們這里關(guān)節(jié)控制頻率是1kHz;
- 對硬件可靠性要求極高,落地瞬間沖擊大,需要包括關(guān)節(jié)在內(nèi)的全身硬件穩(wěn)定性非常好。
實(shí)現(xiàn)原理就是基于強(qiáng)化學(xué)習(xí)訓(xùn)練Mimic策略,通過學(xué)習(xí)人類做韋伯斯特的視頻,用我們自研的一套pipeline把對應(yīng)的2D video轉(zhuǎn)換成BVH動(dòng)捕數(shù)據(jù),再全身軌跡數(shù)據(jù)retaget到我們機(jī)器人的構(gòu)型上,然后再仿真環(huán)境訓(xùn)練RL policy,最后通過高帶寬的實(shí)時(shí)控制系統(tǒng)做Sim2Real,在真實(shí)世界中實(shí)現(xiàn)精準(zhǔn)執(zhí)行,并結(jié)合自適應(yīng)落地策略確保穩(wěn)定。
量子位:完成這個(gè)動(dòng)作對推動(dòng)機(jī)器人發(fā)展有哪些意義?
稚暉君:
某種意義上我們做這個(gè)只是用來“炫技”的,但是它驗(yàn)證了我們機(jī)器人本體硬件的高可靠性。同時(shí),能做這種極限動(dòng)作,也說明機(jī)器人具備應(yīng)對復(fù)雜環(huán)境的快速反應(yīng)與姿態(tài)控制能力,因?yàn)槲蚁嘈沤^大多數(shù)人類都做不到這樣的動(dòng)作。
實(shí)際上我們把機(jī)器人系統(tǒng)的競爭力定位為1+3全棧(即本體+3種智能),分別是運(yùn)動(dòng)智能、交互智能和作業(yè)智能。
運(yùn)動(dòng)智能只是基礎(chǔ),我們在交互智能和作業(yè)智能方面也有很多創(chuàng)新,比如靈犀是業(yè)界第一個(gè)提出靈動(dòng)交互概念的機(jī)器人,我們通過情感計(jì)算引擎和多模態(tài)交互Agent,賦予了X2符合上下文的生成式動(dòng)作表達(dá)、情感理解、內(nèi)心戲模式、主動(dòng)交互等能力。
作業(yè)智能這塊我們也做了很多數(shù)據(jù)集和基座模型的開源工作,目前基于自研VLA模型以及SERL的部分技能已經(jīng)達(dá)到了可以實(shí)際部署落地的水平了。
值得一提的是,我們這次韋伯斯特動(dòng)作也是基于一套統(tǒng)一的Locomotion base-model訓(xùn)練的,未來我們會(huì)繼續(xù)完善,相信很快就會(huì)推出我們的zero-shot WBC(Whole-Body Control)模型,大家可以期待一下~
同系列機(jī)器人此前也已經(jīng)出圈
除了完成韋伯斯特空翻的這款雙足機(jī)器人之外,靈犀X2系列還有靈犀X2-W和靈犀X2-N兩款機(jī)器人。
靈犀X2-W是稚暉君在8月21日智元機(jī)器人首屆合作伙伴大會(huì)現(xiàn)場上在“One More Thing”環(huán)節(jié)中發(fā)布。
它是一款專門為作業(yè)智能打造的輪式雙臂機(jī)器人原型,例如洗衣服:
這款機(jī)器人在腿足模式下,可以“盲走”上臺(tái)階,手里還能拿重達(dá)12斤的物品,雙腿具備六個(gè)自由度,動(dòng)作靈活。
切換到輪式模式時(shí),它能邊走邊滑,輕松通過單邊橋、斜坡等復(fù)雜地形,還能在坡道上轉(zhuǎn)向并穩(wěn)穩(wěn)落地。
無論是哪種形態(tài),都帶有抗沖擊設(shè)計(jì),即使在輪式狀態(tài)下被外力推搡,也能保持穩(wěn)定。
機(jī)器人采用輪轂電機(jī)驅(qū)動(dòng),并集成動(dòng)態(tài)平衡系統(tǒng)和柔性材料,既保證了運(yùn)動(dòng)效率,也適合在家居環(huán)境中使用。
靈犀X2-N(“N”的意思是哪吒)則是于今年7月7日發(fā)布,支持輪式與足式雙形態(tài)自由切換,可以適配不同地形場景需求。
根據(jù)規(guī)劃,靈犀X2預(yù)計(jì)將于2025年下半年實(shí)現(xiàn)規(guī)?;鲐?,到2026年底,預(yù)計(jì)出貨量將達(dá)到數(shù)千臺(tái)。
One More Thing
在看完靈犀X2完成韋伯斯特空翻后,有網(wǎng)友也提出了個(gè)有趣的想法:
- 你落地的時(shí)候得學(xué)會(huì)這個(gè)ending動(dòng)作才能更像人類。
參考鏈接:
https://x.com/XRoboHub/status/1967963381778043116
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.