衡宇 鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

繼π0后，具身智能基座模型在中國也終于迎來了真正的開源——

剛剛，WALL-OSS宣布正式開源！

在多項指標(biāo)中，它還超越了π0。

如果你是搞具身的開發(fā)者，了解它的基本資料，你就一定不會想錯過它：

它是一個通用基礎(chǔ)具身模型，泛化性和推理能力一流，你可以在自有本體上部署，快速微調(diào)后用起來。

它還是一個多模態(tài)具身模型，輸入與輸出的數(shù)據(jù)，有語言、視頻、動作等多種形態(tài)，具備良好的因果推理、空間理解和反思能力。

我們調(diào)研了一圈發(fā)現(xiàn)，在4.2B參數(shù)規(guī)模下，融合了超大規(guī)模的高質(zhì)量真機數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練的WALL-OSS，是唯一一個具備語言、視覺、動作多模態(tài)端到端統(tǒng)一輸出能力的開源具身模型。

這一波操作，不香都難。

它憑什么這么能打？我們得從背后的團(tuán)隊說起。

用最近的流行梗來說，模型“基礎(chǔ)”，背后團(tuán)隊就不基礎(chǔ)——成立于2023年底的自變量機器人。

目前，分層架構(gòu)與端到端模型是兩條具身的主要技術(shù)路徑。從成立起自變量就全身心押注后者。去年11月，團(tuán)隊推出了WALL-A，全球最大規(guī)模的端到端統(tǒng)一具身大模型。

技術(shù)上屢有成果，資本市場也分外看好。

就在今天，這支隊伍剛剛宣布完成了近10億元A+輪融資。

阿里云、國科投資領(lǐng)投，國開金融、紅杉、渶策、美團(tuán)、聯(lián)想之星、君聯(lián)資本都在這一輪股東名單之列。

據(jù)了解，融來的這筆錢，大部分依舊投入全自研通用具身智能基礎(chǔ)模型的持續(xù)訓(xùn)練。

單卡訓(xùn)練+開放泛化，所有輪式機器人都能跑

僅需要RTX 4090級別的同等算力顯卡，開發(fā)者便能完成WALL-OSS從訓(xùn)練到推理部署的全過程。

更重要的是，WALL-OSS在保證低成本訓(xùn)練的同時，依舊實現(xiàn)了頂尖的泛化表現(xiàn)。

在嚴(yán)格的ID（分布內(nèi)）和OOD（分布外）評測中，WALL-OSS展現(xiàn)出領(lǐng)先π0等同類開源模型的性能優(yōu)勢。

首先在泛化性上，即使是在指令描述、動作動詞、物體方位等要素發(fā)生變化的OOD場景下，WALL-OSS依舊能保持高任務(wù)成功率和指令遵循度，展現(xiàn)出優(yōu)異的環(huán)境適應(yīng)性。

在需拆解細(xì)分指令的長程任務(wù)中，WALL-OSS也顯著優(yōu)于采用扁平化策略的基線模型（如π0-flat）。

在依賴CoT的推理類任務(wù)里，WALL-OSS更是優(yōu)于π0-flat和pi-gpt-prompt等強基線。

此外通過空間VQA、視覺定位、場景語言描述等多模態(tài)基準(zhǔn)測試驗證，WALL-OSS不僅可以完整保留VLM的核心功能，還在原有基礎(chǔ)上實現(xiàn)了能力強化。

這種對核心能力的扎實沉淀，讓它能同時兼顧推理規(guī)劃和動作執(zhí)行，可輸出語言和動作雙模態(tài)，一些視覺信息也能以語言形式傳遞。

值得注意的是，WALL-OSS采用統(tǒng)一的Transformer架構(gòu)，并通過專家分流機制實現(xiàn)語言、視覺、動作在統(tǒng)一框架下的生成與協(xié)同優(yōu)化。

這種真正意義上的端到端避免了多階段流程的誤差累計，極大提升了模型在長程和“推理+操作”復(fù)合任務(wù)上的穩(wěn)定性和成功率。

截至目前，WALL-OSS填補了此參數(shù)區(qū)間內(nèi)的高水平具身智能大模型的空白，成為業(yè)界唯一一個同尺寸下的面向物理世界交互、端到端路徑的具身智能統(tǒng)一模型。

更重要的是，WALL-OSS并不依賴特定場景優(yōu)化，且具備跨場景遷移與執(zhí)行能力——

從養(yǎng)老護(hù)理到工業(yè)裝配，從酒店服務(wù)再到物流分揀……一個真正意義上可以通用部署的具身大腦，展現(xiàn)出巨大的應(yīng)用潛能。

所以從現(xiàn)在起，無論是產(chǎn)業(yè)界做場景落地的團(tuán)隊還是高校實驗室，甚至是極客愛好者，都可以部署最前沿的具身智能大模型。

具體到硬件適配方面，WALL-OSS可以通過微調(diào)，快速適配到不同本體上，極大地降低了機器人應(yīng)用的落地。

4大創(chuàng)新，讓4.2B模型擊碎具身智能“不可能三角”

目前的具身智能界，存在著一個廣泛公認(rèn)的技術(shù)難題：

• 如何在模態(tài)統(tǒng)一、動作精度和能力泛化之間達(dá)成平衡？

這個“三難困境”，幾乎構(gòu)成了當(dāng)前具身智能模型的能力上探的絆腳石。市面上大多數(shù)模型通常只能做到一個，兩者兼顧已經(jīng)很難，更別提三者具備。

WALL-OSS是少數(shù)試圖正面破解這一結(jié)構(gòu)性難題的模型之一：它在各項指標(biāo)上均追求極限，并從架構(gòu)到訓(xùn)練范式，從數(shù)據(jù)構(gòu)建到推理機制，進(jìn)行了系統(tǒng)性重構(gòu)。

這讓模型在當(dāng)前4.2B參數(shù)的體量下，實現(xiàn)了模態(tài)統(tǒng)一、推理泛化與動作生成的能力閉環(huán)。

這背后的第一步，事關(guān)模型架構(gòu)設(shè)計。

WALL-OSS沒有采用傳統(tǒng)多模態(tài)拼圖式的堆疊結(jié)構(gòu)，而是首創(chuàng)了“共享注意力 + 專家分流（FFN）”這一新架構(gòu)。

簡單來說，它將語言、視覺、動作等信息都嵌入在同一個表示空間中處理，通過共享注意力機制實現(xiàn)模態(tài)間的信息交叉，同時再通過專家FFN高效處理不同任務(wù)。

這種設(shè)計有效避免了VLM知識遷移中的“災(zāi)難性遺忘”和“模態(tài)解耦”兩大難題，在融合度更高的同時，又能保留每一模態(tài)的獨特表達(dá)能力。

第二個關(guān)鍵點，是對數(shù)據(jù)質(zhì)量及訓(xùn)練策略的把控。

WALL-OSS背后，是大規(guī)模的VLA訓(xùn)練集的支撐，其中主要包括大量自采高質(zhì)量真機數(shù)據(jù)和具身多模態(tài)數(shù)據(jù)。

值得注意的一點是，真機數(shù)據(jù)高質(zhì)量、高精度，與真實世界高度貼合，是目前具身大模型中最好的數(shù)據(jù)源。

在有了規(guī)模夠大、多樣性豐富、質(zhì)量夠高的數(shù)據(jù)的基礎(chǔ)上，自變量團(tuán)隊精心設(shè)計了訓(xùn)練策略。

傳統(tǒng)端到端訓(xùn)練方式常常面臨一個問題：認(rèn)知能力強的模型不一定能輸出精準(zhǔn)動作，而擅長動作控制的模型則缺乏推理和規(guī)劃力。

為了解決這一問題，WALL-OSS設(shè)計了Inspiration Stage（啟發(fā)階段）和Integration Stage（融合階段）兩階段訓(xùn)練策略。

在Inspiration Stage階段，繼續(xù)使用原VLM的FFN結(jié)構(gòu)，加入多種預(yù)訓(xùn)練任務(wù)以增強空間+語義理解能力、引入Embodied VQA（具身視覺問答）任務(wù)，并引入離散動作學(xué)習(xí)。

其核心目標(biāo)是保持原始VLM能力不變的基礎(chǔ)上，增強其對空間結(jié)構(gòu)和動作的初步理解，為后續(xù)動作生成打下感知語義基礎(chǔ)，避免“災(zāi)難性遺忘”。

Integration Stage階段則分為兩個子步驟。

第一步，凍結(jié)VLM，僅訓(xùn)練動作模塊；第二步，解凍VLM，聯(lián)合優(yōu)化全模型。

如此這般，模型能從語言和視覺輸入中連續(xù)生成高頻物理動作，既保留了VLM的語言與視覺理解能力，又具備細(xì)粒度動作執(zhí)行力，建立統(tǒng)一、協(xié)同、緊耦合的跨模態(tài)表示空間。

研發(fā)團(tuán)隊發(fā)現(xiàn)，采用“先離散、后連續(xù)、再聯(lián)合”這一范式后，VLM強大的認(rèn)知能力，能穩(wěn)定、無損地遷移和擴(kuò)展到物理動作上。

而團(tuán)隊獨具匠心的第四個創(chuàng)新點，是讓W(xué)ALL-OSS有了內(nèi)生的高級推理能力。

具體來說，WALL-OSS的統(tǒng)一跨層級思維鏈將思維鏈推理的概念從傳統(tǒng)狹義CoT（大語言模型中逐步文本推理）推廣至涵蓋整個語義-感知運動頻譜的廣義CoT：

指令→推理（CoT）→子任務(wù)規(guī)劃→連續(xù)動作。

這種統(tǒng)一框架實現(xiàn)了跨層級抽象層面的前向任意映射，使模型能夠在單一可微分框架內(nèi)無縫切換高層決策與底層執(zhí)行。

自變量機器人CTO王昊表示：

• 這是WALL-OSS能夠勝任長程、復(fù)雜任務(wù)的關(guān)鍵。
  在面對未知環(huán)境、從未習(xí)得的任務(wù)時，模型也能自主拆解步驟，逐步思考，尋求解決辦法。

So，具身智能“不可能三角”不是真的牢不可破。

架構(gòu)、數(shù)據(jù)、訓(xùn)練、統(tǒng)一跨層級CoT四線齊發(fā)，讓W(xué)ALL-OSS在體量適中、硬件可負(fù)擔(dān)的前提下，建立了一個真正能通用執(zhí)行的具身智能能力底座。

真·開源通用模型，為具身智能“修路”

說完模型能力、技術(shù)突破，最后我們得說說它最破圈的一步：

WALL-OSS，它真·開源了。

在此前，具身行業(yè)里除了π0，開源界沒有完全開源又真能打、真能用的；但對開發(fā)者來說，π0又得花很長時間才能微調(diào)用起來。

那么WALL-OSS呢？

——沒有OpenAI那種長期吊胃口式的夸張性預(yù)告，不是只發(fā)paper那種程度的，開源的還不是幾百個數(shù)據(jù)樣本量的小模型。

這次自變量放出的，是一整套完整可復(fù)現(xiàn)的具身大模型方案。

包括預(yù)訓(xùn)練模型權(quán)重、訓(xùn)練代碼、數(shù)據(jù)集接口，甚至還附帶了詳細(xì)部署文檔，開發(fā)者可以在自己的機器人上直接跑通閉環(huán)流程。

這樣即使開發(fā)者沒什么訓(xùn)練經(jīng)驗，也能讓第三方機器人無門檻接入最先進(jìn)的具身智能基座，完成模型微調(diào)和復(fù)現(xiàn)任務(wù)。

不管你是研究機構(gòu)、機器人公司，還是獨立開發(fā)者，只要你有一個本體設(shè)備，哪怕不是自變量出品，也能把WALL-OSS跑起來。

這一步，直接把具身智能的進(jìn)入門檻拉低了好幾個臺階——實測反饋，外部團(tuán)隊最快一周內(nèi)就能完成適配。

（注：通常情況下，這一過程需要1~2個月）

當(dāng)然，如果用的是自變量本家的具身智能硬件，適配會更快，效果更絲滑。

為什么要開源？為什么要這么徹底地開源？

過去幾年，整個具身智能賽道看上去熱鬧，發(fā)布會一個接一個，但似乎陷入了一種“過擬合演示”怪圈。

Demo演示一次次驚呆眾人，但真正用起來，效果就是大打折扣。

自變量團(tuán)隊認(rèn)為根本原因還是模型基建的缺失。

具身智能特別就特別在它是“軟硬件一體”的，所以一旦基礎(chǔ)設(shè)施受限，想把模型用起來，就需要不斷適配、微調(diào)，就意味著高投入、高門檻、長時間。

與其每個團(tuán)隊每次都要花那么大功夫，為什么不索性直接徹底開源呢？

要知道，國內(nèi)不缺有想法、有實力的人才或團(tuán)隊，能在某一個環(huán)節(jié)上節(jié)約時間，都能加速推動研發(fā)進(jìn)度和實際場景落地。

至于數(shù)據(jù)和算力的問題，很多科研團(tuán)隊、中小企業(yè)都難以只靠自己克服。

所以，具身智能領(lǐng)域迫切需要一個低算力、能力強、還開源的基礎(chǔ)模型來打破僵局。

WALL-OSS，就是這么一個符合上述條件的具身大模型。

“我們想讓整個行業(yè)以最低的成本，獲得最先進(jìn)、最通用的能力基座?！弊宰兞緾TO王昊總結(jié)道，“因為沒有基礎(chǔ)模型，具身智能行業(yè)根本長不大?！?/p>

并且，自變量團(tuán)隊希望通過WALL-OSS乃至后面持續(xù)的開源，建立起開源的標(biāo)桿。

這個舉動， 能讓“只能在定制化場景中表現(xiàn)優(yōu)異”的機器人無處遁形，進(jìn)一步推動行業(yè)之間的公平，倒逼技術(shù)透明化發(fā)展。

也能讓更多的人才愿意加入具身智能行業(yè)，去一起攻破一些核心的技術(shù)難點。

在具身智能這場長跑里，終點一定不會只給某一家公司準(zhǔn)備鮮花和獎杯。但起點，至少該有一塊足夠穩(wěn)的起跑板。

自變量要做的，就是這塊起跑板。

GitHub：
https://github.com/X-Square-Robot/wall-x
項目主頁：
https://x2robot.com/en/research/68bc2cde8497d7f238dde690