“互聯(lián)網(wǎng)視頻數(shù)據(jù)是唯一可以 scale up 的道路。”

作者丨郭海惟

編輯丨陳彩嫻

作為一名具身大腦的創(chuàng)業(yè)者，盧宗青有著金光閃閃的履歷：

他是緊隨DeepMind之后，中國(guó)新生代的強(qiáng)化學(xué)習(xí)研究者。北京大學(xué)計(jì)算機(jī)學(xué)院長(zhǎng)聘副教授，擔(dān)任過(guò)智源研究院多模態(tài)交互研究中心負(fù)責(zé)人，負(fù)責(zé)過(guò)首個(gè)國(guó)家自然科學(xué)基金委原創(chuàng)探索計(jì)劃通用智能體項(xiàng)目，還同時(shí)在NeurIPS、ICLR、ICML等機(jī)器學(xué)習(xí)的國(guó)際頂級(jí)會(huì)議擔(dān)任領(lǐng)域主席。

早在2023年，他旗下團(tuán)隊(duì)便有利用多模態(tài)模型研究通用 Agent 的研究嘗試，讓 Agent 玩《荒野大鏢客2》和辦公，使其成為第一個(gè)從零開(kāi)始在AAA級(jí)游戲中完成具體任務(wù)的 LLM 智能體。相關(guān)論文幾經(jīng)波折，今年終于被 ICML 2025 錄用。不過(guò)他自述對(duì)那份研究其實(shí)不夠滿意，因?yàn)椤胺夯圆蛔恪薄?/p>

當(dāng)完成那些研究以后，盧宗青意識(shí)到“當(dāng)前的多模態(tài)模型缺乏與世界交互的能力”。因?yàn)槟Ｐ腿鄙賹W(xué)習(xí)物理交互的數(shù)據(jù)，所以我們看到的那些泛化的能力本質(zhì)都是“抽象”的，它終究無(wú)法理解動(dòng)作和世界的關(guān)系，自然也無(wú)法預(yù)測(cè)世界。

這如今成為他想在具身智能創(chuàng)業(yè)的起點(diǎn)：開(kāi)發(fā)一個(gè)通用的具身人工智能模型。

盧宗青微信頭像的氣質(zhì)是有些桀驁不馴的：一個(gè)戴著墨鏡的青年男人，留著冷峻的絡(luò)腮胡子，白色T恤上是一個(gè)墨色的蘋果。你下意識(shí)會(huì)以為，這是個(gè)隨時(shí)會(huì) solo 一段搖滾或者罵幾句臟話的文藝青年。不過(guò)當(dāng)你見(jiàn)到他，坐下來(lái)聊天的時(shí)候，你會(huì)發(fā)現(xiàn)他就是一個(gè)學(xué)者和老師的樣子，說(shuō)話溫文爾雅，笑起來(lái)也很溫和，即便遇到些蠢問(wèn)題也能忍住耐心講下去。然后直到你跟他聊技術(shù)的愿景，他又會(huì)變得桀驁有態(tài)度。

或許是因?yàn)椋胍臇|西實(shí)在是太大了。

在與 AI 科技評(píng)論的對(duì)談中，他反復(fù)傳達(dá)的事情是：他與其他人的立場(chǎng)出發(fā)點(diǎn)是不同的。其他人要的是落地、是應(yīng)用、大約是在現(xiàn)階段智能上限的基礎(chǔ)上修修補(bǔ)補(bǔ)。而他們的“taste”是去“追求更統(tǒng)一、更本質(zhì)的solution（解法）”。后者，大約可以理解為一個(gè)全新的、適用于通用具身智能的通用能力基座。

所以他會(huì)不斷說(shuō)“VLA沒(méi)錯(cuò)”、“遙操作和真機(jī)數(shù)據(jù)有價(jià)值”，然后轉(zhuǎn)而接一個(gè)“但是”。你會(huì)覺(jué)得他確實(shí)是不欣賞那些東西的，或許他的關(guān)注點(diǎn)已經(jīng)不在那里了。他說(shuō)“某些具身創(chuàng)業(yè)公司說(shuō)的世界模型是在搞笑”，究其本質(zhì)僅僅是在建圖，最多只能像自動(dòng)駕駛做導(dǎo)航。那個(gè)瞬間他會(huì)表現(xiàn)出明顯的不悅，好像有人正在冒犯他?；蛟S是因?yàn)橛行┏墒斓募夹g(shù)市場(chǎng)人確實(shí)刻意混淆了一些概念，讓當(dāng)下和未來(lái)的范式變得模糊。

他所表達(dá)的對(duì)技術(shù)的審美，和楊立昆是有點(diǎn)相似的：他們堅(jiān)持認(rèn)為現(xiàn)階段的語(yǔ)言模型無(wú)法抵達(dá)一種通用泛化的人工智能，而只有更多元的視覺(jué)信息，才能通向 AGI。要實(shí)現(xiàn)這一點(diǎn)，他們只能選擇一條路，即廣泛大量的互聯(lián)網(wǎng)視頻。

這其實(shí)就是盧宗青創(chuàng)立的公司「智在無(wú)界」BeingBeyond 正在的事情，他們通過(guò)標(biāo)注1500萬(wàn)條互聯(lián)網(wǎng)視頻中人類關(guān)節(jié)的動(dòng)作，讓模型去學(xué)習(xí)人類的運(yùn)動(dòng)模式。（https://beingbeyond.github.io/Being-M0/）

他們不會(huì)跟你講，互聯(lián)網(wǎng)視頻有多么難搞。他們只會(huì)說(shuō)，互聯(lián)網(wǎng)視頻數(shù)據(jù)是唯一可以scale up的道路。我們除了這條路，再?zèng)]有別的路可以選擇，再苦再難華山也只有這么一條路，但不能因此就不上了。

大概出于類似的原因，Being Beyond 是現(xiàn)在為數(shù)不多的，將其第一代模型以 0 為開(kāi)頭命名的團(tuán)隊(duì)（相比之下，一些公司直接將第一代產(chǎn)品序列命名為 3.5）。他甚至拒絕將第二代模型命名為 1，也拒絕透露他們接下來(lái)命名的數(shù)字規(guī)則。

所以在專訪的三天后，AI 科技評(píng)論在北京的一個(gè)知名大會(huì)上再次看到他時(shí)，你會(huì)不由自主覺(jué)得他其實(shí)很孤獨(dú)。因?yàn)樗腥硕荚诹腣LA，聊世界模型，聊各種各樣的遙操和真機(jī)數(shù)據(jù)的采集、改進(jìn)與合成、聊場(chǎng)景、聊操控。他口中那些“有價(jià)值”但“不本質(zhì)”的玩意兒，在那個(gè)會(huì)場(chǎng)里幾乎淹沒(méi)了他。

這不由讓人想起，他聊強(qiáng)化學(xué)習(xí)歷史時(shí)說(shuō)，中國(guó)強(qiáng)化學(xué)習(xí)起步相對(duì)晚一步，原因之一是 AlexNet 出來(lái)以后，大家都在搞CV。他聊融資時(shí)說(shuō)，“很多投資人都說(shuō)要投非共識(shí)，但投出來(lái)的全都是共識(shí)?！?/strong>或許這句話不僅僅只是投資，在很多方面都是適用的。所以那場(chǎng)面很難不讓人想起，過(guò)去那些年的 AI 四小龍，它們也是在媒體鑼鼓喧天的氛圍中代表了一種人類進(jìn)步主義的未來(lái)。直到DeepMind 和 OpenAI 再次改寫了歷史，CV 路線的 AI 就仿佛一夜之間淡出了人們的視線。

我們不知道 BeingBeyond 能否真的能代表未來(lái)，更不知道這家年僅5個(gè)月的公司，是否真的能成為一家穿越周期的代表時(shí)代的技術(shù)領(lǐng)導(dǎo)者。我們甚至不知道，他提出的技術(shù)路線是否如他所言，真的能抵達(dá)他口中的星辰大海。

不過(guò)其中的一些問(wèn)題，他可能也不全然知道答案。他很明白接下來(lái)的路有多難：當(dāng)他被問(wèn)到，這條路多久能跑通、能scale up？他明顯停頓了一下，咬咬牙說(shuō)兩三年吧?？蓛扇暌埠荛L(zhǎng)，變化會(huì)很多。他說(shuō)路上還有別的事情可以做。他聊起 OpenAI 的時(shí)候眼睛會(huì)發(fā)亮，說(shuō)他們?cè)缙谡娴母懔撕芏噘M(fèi)錢但沒(méi)有經(jīng)濟(jì)效益的事情。然后他又會(huì)拉回來(lái)，回到一個(gè)同樣反復(fù)出現(xiàn)的主題上：

如何在受限的情況下，把事情辦成了。

這是具身智能大腦的題中義：相比于大語(yǔ)言模型坐享人類文明幾千年的文字富礦，具身領(lǐng)域好用的視頻數(shù)據(jù)實(shí)在是窮得可憐。這當(dāng)然也是一個(gè)創(chuàng)業(yè)公司的題中義，絕非人人都能有 OpenAI 的金湯匙。BeingBeyond 剛宣布了聯(lián)想之星、星連資本“數(shù)千萬(wàn)人民幣”的天使輪融資，錢不算少，但也絕不算充裕。

不過(guò)或許正如盧宗青所說(shuō)，如果你站在一個(gè)終局解決方案的立場(chǎng)上來(lái)看，很多事情大概也就并不真的是個(gè)問(wèn)題了。

盧宗青和他的BeingBeyond

這是他創(chuàng)立 BeingBeyond 后接受的第一個(gè)專訪。我們簡(jiǎn)單地回顧了他的學(xué)術(shù)歷史，并探討了具身智能泛化路線和公司的愿景。以下是本次專訪的內(nèi)容，AI 科技評(píng)論作了不改原意的整理與編輯：

01

研究強(qiáng)化學(xué)習(xí)是因?yàn)?DeepMind

AI科技評(píng)論：今天接受采訪的身份是創(chuàng)業(yè)者，還是教授？

盧宗青：（笑）還是聊聊技術(shù)吧。

AI科技評(píng)論：我們看到你在研究具身之前，其實(shí)有非常大的學(xué)術(shù)方向變化。

盧宗青：對(duì)，我本科是材料，研究生轉(zhuǎn)去電子學(xué)院，一直做計(jì)算機(jī)系統(tǒng)的相關(guān)工作，切入點(diǎn)更多是做算法的優(yōu)化問(wèn)題，比如NP問(wèn)題。在南洋理工讀完博士后，去賓州州立大學(xué)做了兩年多博士后，也是類似的事情。

選擇做強(qiáng)化學(xué)習(xí)，是2017年回國(guó)后，加入北大后選擇的方向。一方面看到DeepMind跑Atari Game（雅達(dá)利游戲，知名復(fù)古游戲廠商）后發(fā)了一些成果，另一方面也看到強(qiáng)化學(xué)習(xí)確實(shí)在解決問(wèn)題，例如來(lái)解決NP問(wèn)題的案例。

AI科技評(píng)論：有什么印象特別深的例子嗎？

盧宗青：就還是David Silver（DeepMind首席科學(xué)家）吧，他們 2016 年在《Nature》上發(fā)的強(qiáng)化學(xué)習(xí)的論文（即《Mastering the game of Go with deep neural networks and tree search》，AlphaGo當(dāng)年憑借該論文中的呈現(xiàn)成果擊敗李世石）。

因?yàn)樵诖酥?，學(xué)術(shù)界還大多關(guān)注計(jì)算機(jī)感知層面的研究，而David Silver的團(tuán)隊(duì)在做決策層面的突破。而決策層的發(fā)展才能構(gòu)造更通用的智能。

AI科技評(píng)論：整個(gè)研究的愿景一下就大了。

盧宗青：對(duì)。其實(shí)我們現(xiàn)在研究的計(jì)算機(jī)系統(tǒng)領(lǐng)域的問(wèn)題，大部分都已經(jīng)是決策問(wèn)題了。比如最簡(jiǎn)單的控制Transmission Power（信號(hào)傳輸功率），不管是WiFi還是無(wú)線基站的控制，根本上就是一個(gè)決策問(wèn)題，而非感知問(wèn)題。

AI科技評(píng)論：那是如何從強(qiáng)化學(xué)習(xí)領(lǐng)域轉(zhuǎn)投具身智能領(lǐng)域的探索呢？

盧宗青：轉(zhuǎn)變主要是在智源研究院的時(shí)候。2022年我在智源設(shè)立了“多模態(tài)交互研究中心”，當(dāng)時(shí)ChatGPT剛出來(lái)，我們想去探索強(qiáng)化學(xué)習(xí)和大模型的結(jié)合。當(dāng)然，不是現(xiàn)在的RLHF或者RL和推理的結(jié)合。我們更多是想說(shuō)，把語(yǔ)言模型作為一個(gè)規(guī)劃者（Planner）的角色，如何跟下游的RL策略融合起來(lái)。

我們會(huì)基于開(kāi)源模型，去訓(xùn)練一些多模態(tài)的模型，也會(huì)根據(jù)一些閉源模型做探索。比如2023年我們有一個(gè)研究，用GPT-4V去操控電腦，讓它去讀屏幕然后操作鼠標(biāo)和鍵盤。

AI科技評(píng)論：現(xiàn)在有很多Agent創(chuàng)業(yè)團(tuán)隊(duì)在做類似交互的事情，但你們2023年就在做了。

盧宗青：對(duì)，我們其實(shí)很早已經(jīng)做過(guò)了。

除了這個(gè)，我們還跑了很多游戲的測(cè)試，像《RDR2》（荒野大鏢客2），相當(dāng)于一個(gè)比較早的agent，叫Cradle，那篇論文今年剛中了ICML。

其實(shí)《RDR2》這樣的3A游戲，已經(jīng)蠻像一個(gè)真實(shí)的物理世界的。但我們發(fā)現(xiàn)單純用互聯(lián)網(wǎng)信息訓(xùn)練出來(lái)的模型，決策能力非常差。它語(yǔ)義上做planning是可以的，但要和環(huán)境交互、預(yù)測(cè)事件的后果（比較難的）。

我們當(dāng)時(shí)為此做了很多工作，各種prompt engineering、In-context Learning、memory 機(jī)制。做完這些后我們認(rèn)為，當(dāng)前的多模態(tài)模型沒(méi)有和世界交互的能力。

（Cradle的論文正式發(fā)布于2024年3月，當(dāng)時(shí)它能夠在游戲《荒野大鏢客2》中完成長(zhǎng)達(dá)40分鐘的主線任務(wù)并探索開(kāi)放世界，可以獨(dú)立完成辦公、修圖、網(wǎng)頁(yè)瀏覽等任務(wù)。https://baai-agents.github.io/Cradle/）

02

人類視頻是機(jī)器人通用智能的捷徑

AI科技評(píng)論：但如果我們的模型在游戲里都很難實(shí)現(xiàn)交互，那么在物理世界里的難度應(yīng)該就更大了。

盧宗青：如果只針對(duì)一個(gè)游戲去做訓(xùn)練，其實(shí)已經(jīng)可以做到不錯(cuò)的效果了。說(shuō)它有不足，是因?yàn)楹茈y復(fù)用到其他的游戲中去，泛化能力很弱。

因?yàn)槟Ｐ推鋵?shí)沒(méi)有學(xué)習(xí)物理交互的數(shù)據(jù)。我們跟物理世界交互，往往動(dòng)作決定了世界的下一個(gè)狀態(tài)是什么樣子的。所以我們認(rèn)為，如果在物理世界中去訓(xùn)練，有真實(shí)的數(shù)據(jù)，那（訓(xùn)出來(lái)的模型）就是可以有通用性的。

所以我們?cè)?2024 年開(kāi)始去探索具身以后，其實(shí)也嘗試了很多技術(shù)手段去采集數(shù)據(jù)。比如遙操、Sim2Real，還有最近比較流行的 Real2Sim2Real。

這些方法的泛化性都比較差，別說(shuō)各式各樣的場(chǎng)景了，就是對(duì)簡(jiǎn)單的物理層面的泛化、對(duì) position 的泛化理解都很難。

2024年我們確定在智源研究院里去做這件事情后，內(nèi)部討論了很久，在各種限制條件下不同學(xué)習(xí)手段甚至范式，它們所能去觸摸到的 Upper-Bound（上限）到底是什么。

最終選擇的路線就是2024年初定下來(lái)的：利用人的運(yùn)動(dòng)信息去訓(xùn)練和驅(qū)動(dòng)模型。那里面用的數(shù)據(jù)，主要就是互聯(lián)網(wǎng)的視頻?；蛘哒f(shuō)，我們想用海量的互聯(lián)網(wǎng)中人的運(yùn)動(dòng)視頻，來(lái) scale up人形機(jī)器人的學(xué)習(xí)。當(dāng)然，這里主要是指預(yù)訓(xùn)練部分。

AI科技評(píng)論：現(xiàn)在用互聯(lián)網(wǎng)視頻去研究機(jī)器人學(xué)習(xí)的團(tuán)隊(duì)也挺多的。

盧宗青：首先，你現(xiàn)在看到的很多所謂「互聯(lián)網(wǎng)視頻學(xué)習(xí)」，他們做的事情，比如訓(xùn)練 reward function（獎(jiǎng)勵(lì)函數(shù)），如剛才所說(shuō)，我們2023年已經(jīng)做過(guò)類似的探索了，但我們認(rèn)為不直接。

所以，他們分析視頻，更多也focus（聚焦）在物體的運(yùn)動(dòng)軌跡上。比如說(shuō)，一個(gè)視頻演示的是人拿杯子。其他人更多關(guān)注的是杯子的軌跡。而我們考慮的是，人的手怎么動(dòng)。二十多個(gè)自由度，每一個(gè)自由度，每一個(gè)關(guān)節(jié)的位置是什么？

這樣的好處是，它有更直接的方法和更明確的學(xué)習(xí)目標(biāo)。

我們可以把人手的位置，都從這到那兒都標(biāo)出來(lái)。其實(shí)互聯(lián)網(wǎng)的人手的視頻，本身就記錄了非常復(fù)雜的操作：比如翻手機(jī)，這不是我們現(xiàn)在靈巧手能很好完成的事情，那么一個(gè)視頻里它就會(huì)記錄很多的信息。我們會(huì)直接把手這個(gè)姿態(tài)給標(biāo)出來(lái)，通過(guò)一些手部姿態(tài)3D模型來(lái)標(biāo)注，從而直接學(xué)習(xí)，也能知道對(duì)應(yīng)文本下如何去操作。

https://beingbeyond.github.io/MEgoHand/

最后，他們也沒(méi)有我們數(shù)據(jù)量大。他們可能對(duì)外宣傳說(shuō)用了互聯(lián)網(wǎng)數(shù)據(jù)，其實(shí)也只試了幾百條。而我們的目標(biāo)是要scale up，像我們的姿態(tài)生成模型，現(xiàn)在已經(jīng)拿到了1500萬(wàn)條數(shù)據(jù)。

AI科技評(píng)論：為什么其他人沒(méi)有走你們的技術(shù)路線？你們的優(yōu)勢(shì)和難點(diǎn)在哪里？

盧宗青：我只能猜測(cè)一下。他們可能很多人在用gripper（夾爪）。如果做夾爪，其實(shí)不太需要考慮人的形態(tài)如何。我們因?yàn)橹耙恢弊龃竽Ｐ拖嚓P(guān)的事情，所以我們的研究 taste 就會(huì)想如何去更統(tǒng)一、更本質(zhì)地解決這個(gè)事情。

包括遙操采數(shù)據(jù)或者真機(jī)數(shù)據(jù)，因?yàn)閿?shù)據(jù)量小，其實(shí)也只是面向應(yīng)用場(chǎng)景的解決方案、針對(duì)特定任務(wù)的優(yōu)化，這也不是我們終極想要做的事情。

我們相信，對(duì)于人形機(jī)器人和靈巧手來(lái)說(shuō)，（假如要實(shí)現(xiàn)通用泛化的智能能力），用大量人的運(yùn)動(dòng)視頻數(shù)據(jù)做預(yù)訓(xùn)練，會(huì)是一個(gè)更好的方式。因?yàn)槿绻皇窃?Simulator（仿真器）里去學(xué)操作或者全身運(yùn)動(dòng)的策略的話，它（學(xué)習(xí)的數(shù)據(jù)）是沒(méi)有任何先驗(yàn)的。

你用強(qiáng)化學(xué)習(xí)來(lái)學(xué)，最后只是為了滿足獎(jiǎng)勵(lì)函數(shù)而已。比如，我們?cè)趯?shí)際生活中抓一個(gè)杯子可能是這么抓（正手正常拿杯子），但你在 Simulator 里訓(xùn)練的結(jié)果可能是這么抓（反手?jǐn)Q手臂握杯子）。

但是我們?nèi)绻ㄟ^(guò)人的數(shù)據(jù)做預(yù)訓(xùn)練的話，其實(shí)是 Encode（編碼）人的先驗(yàn)的（成功）經(jīng)驗(yàn)。而先驗(yàn)的東西對(duì)于一個(gè)比較難的問(wèn)題，本身是有非常大的好處的。

AI科技評(píng)論：但有沒(méi)有可能機(jī)器人就是和人很不一樣。它可能到最后發(fā)現(xiàn)，最合適它自己的抓取方式就是這樣抓杯子的（反手?jǐn)Q手臂握杯子）。

盧宗青：（笑）強(qiáng)化學(xué)習(xí)的目標(biāo)就是將獎(jiǎng)勵(lì)最大化，一切取決于你的獎(jiǎng)勵(lì)是怎么定的。那有可能獎(jiǎng)勵(lì)定義出來(lái)的就是這個(gè)樣子。

但強(qiáng)化學(xué)習(xí)從理論上來(lái)說(shuō)，要讓每一個(gè)動(dòng)作都遍歷所有的 State-action space，然后才能學(xué)習(xí)到一個(gè)最大化的 Return 的策略。但是如果我們有一個(gè)先驗(yàn)的行為，那么就不需要把整個(gè) State-action space 去遍歷（Traversal）一遍。

AI科技評(píng)論：所以人的動(dòng)作雖然不一定是最完美的，但現(xiàn)階段是性價(jià)比最高、最容易scale up的方式，因?yàn)槲覀兛梢阅玫?/strong>的數(shù)據(jù)是最多的。

盧宗青：其實(shí)語(yǔ)言模型也不是讓模型學(xué)習(xí)如何用語(yǔ)言，而是在大量人已經(jīng)產(chǎn)生的數(shù)據(jù)集上面去學(xué)習(xí)。那么對(duì)于人形機(jī)器人，我們已經(jīng)有了人的行為和運(yùn)動(dòng)方式，為什么不去用呢？

而且人形有一個(gè)好處，即可以通過(guò)向下兼容。比如我們?nèi)丝梢钥刂埔粋€(gè)二指的夾爪去完成事情。那如果我們學(xué)會(huì)了人手的操作，模型可以（通過(guò)強(qiáng)化學(xué)習(xí)等后訓(xùn)練）去實(shí)現(xiàn)向下兼容。

包括雙足的機(jī)器人，我們做得好的話，也可以去向下兼容輪形移動(dòng)的機(jī)器人，后者控制比較簡(jiǎn)單。

AI科技評(píng)論：但是其他采用類似遙操采集、數(shù)據(jù)工廠的團(tuán)隊(duì)，他們對(duì)外也是說(shuō)，手上這些東西未來(lái)要服務(wù)通用人工智能。

盧宗青：我覺(jué)得他們目標(biāo)更單純，就是商業(yè)上的目標(biāo)，通過(guò)更好的軟件來(lái)賣出更多的本體。

我覺(jué)得一涉及到本體的話，容易把自己的技術(shù)路線帶偏，總是想著通過(guò)技術(shù)路線去更好地跟自己的本體去適配，來(lái)賣自己的本體。如果你要 overfit（過(guò)擬合）本體，遙操、真機(jī)肯定是有價(jià)值的。

但我覺(jué)得不是一個(gè)有效的途徑。因?yàn)楝F(xiàn)在的機(jī)器人的本體基本上都沒(méi)有收斂，數(shù)據(jù)很難復(fù)用。而且數(shù)據(jù)采集成本很高，也很難達(dá)到互聯(lián)網(wǎng)視頻的規(guī)模和多樣性。

而且現(xiàn)在真機(jī)采集數(shù)據(jù)更多是夾爪領(lǐng)域，大規(guī)模去遙操人形機(jī)器人是非常少的，只有一些科研方面的工作在做。如果你是說(shuō)輪式+gripper的話，那也不是我們focus的機(jī)器人形態(tài)。

AI科技評(píng)論：現(xiàn)在我們手上有了1500萬(wàn)數(shù)據(jù)，你覺(jué)得數(shù)據(jù)量夠嗎？

盧宗青：1500萬(wàn)主要是指全身運(yùn)動(dòng)控制，比如走路跑步這些?，F(xiàn)在正在積累手部操作數(shù)據(jù)，是第一人稱視頻。我們目前在逐步建立這方面的數(shù)據(jù)集，之前大概已經(jīng)有300萬(wàn)，最近蘋果又開(kāi)源了一個(gè)數(shù)據(jù)集，包括最近隨著智能眼鏡的普及，我相信這方面數(shù)據(jù)會(huì)越來(lái)越多。

至于數(shù)據(jù)量需求的問(wèn)題，我們可能要先驗(yàn)證整個(gè)的pipeline后才能知道。

比如你如果幾年前問(wèn)OpenAI需要多少語(yǔ)料，那么最終的答案是：他們用到了互聯(lián)網(wǎng)上所有的語(yǔ)料。我想具身也是同樣的。

AI科技評(píng)論：和海量文本數(shù)據(jù)量比，互聯(lián)網(wǎng)上能用的視頻內(nèi)容，是不是還有差距？

盧宗青：那看怎么比。如果從文件大小或者token來(lái)比的話，肯定（視頻）還是會(huì)大很多。

當(dāng)然，其實(shí)視頻和文字不一樣，文字是信息密度很高的信息形態(tài)，視頻相對(duì)沒(méi)那么高。

AI科技評(píng)論：所以我們還沒(méi)有進(jìn)入大模型公司那種大力出奇跡的階段。

盧宗青：對(duì)，（笑）需要一萬(wàn)張卡。現(xiàn)在還不到時(shí)候，去年在智源探索時(shí)用了大概六七百?gòu)埧ā?/p>

主要是姿態(tài)生成模型已經(jīng)基本定型了，而且我們現(xiàn)在正在驗(yàn)證pipeline，做一些后訓(xùn)練一些操作，所以肯定不需要這么多卡。

AI科技評(píng)論：但你剛才提到，我們的目標(biāo)還是要去做基座能力和智能泛化。

盧宗青：驗(yàn)證完pipeline之后肯定是需要更多的計(jì)算資源的。

最近Mary Meeker 有個(gè)報(bào)告，里面有提到，現(xiàn)在的訓(xùn)練代價(jià)是遠(yuǎn)遠(yuǎn)小于之前的語(yǔ)言模型的代價(jià)，她說(shuō)的可能也就是之前的百分之幾。

目前具身模型本質(zhì)也是一個(gè)語(yǔ)言模型，我們現(xiàn)在是基于語(yǔ)言模型的backbone去訓(xùn)練，這樣它可以更容易用語(yǔ)言去理解指令，只是我們加入了更多的模態(tài)信息。

當(dāng)然，這方面其實(shí)也需要更多的探索。我們是否真的需要一個(gè)語(yǔ)言模型來(lái)backbone，或者我們learning from scratch去訓(xùn)練一個(gè)專門針對(duì)具身的模型，我覺(jué)得這是后面需要回答的問(wèn)題。

或許未來(lái)我們可以探索出視頻信息進(jìn)行預(yù)訓(xùn)練為主的模型，但可能要以后才知道。但現(xiàn)在基于語(yǔ)言模型去訓(xùn)練，其實(shí)是最省錢的。

03

現(xiàn)階段世界模型還很遠(yuǎn)

AI科技評(píng)論：一些原來(lái)自動(dòng)駕駛的人轉(zhuǎn)去具身大腦創(chuàng)業(yè)后，都在說(shuō)世界模型這個(gè)概念。

盧宗青：世界模型不可能用。對(duì)機(jī)器人來(lái)說(shuō)，世界模型用不了。

我跟你說(shuō)什么樣的世界模型能用：要定義在action，手部的關(guān)節(jié)，也就是操作層面。如果僅僅是語(yǔ)義層面的話，沒(méi)有太多幫助。

除了像自動(dòng)駕駛做導(dǎo)航外，沒(méi)有什么幫助。

AI科技評(píng)論：所以你是覺(jué)得它現(xiàn)階段落不到操作層面？所以沒(méi)有意義？

盧宗青：對(duì)機(jī)器人沒(méi)有意義，對(duì)游戲可能有意義。

我覺(jué)得很多機(jī)器人的公司，說(shuō)把世界模型給具身用，不可能的。做機(jī)器人的公司要去做世界模型，簡(jiǎn)直就是在搞笑。

而且車廠說(shuō)的世界模型就是把整個(gè)環(huán)境構(gòu)圖建出來(lái)，如何去導(dǎo)航。那你可以理解它的世界模型（本質(zhì)）就是在建圖。

而我們說(shuō)的世界模型就是：我推一下，杯子倒了，要怎樣推，杯子才會(huì)怎樣倒？這涉及到動(dòng)作，沒(méi)有任何（先驗(yàn)的）數(shù)據(jù)可以給你的。

AI科技評(píng)論：所以你怎么定義世界模型這個(gè)概念？

盧宗青：（具身的）世界模型就是根據(jù)你當(dāng)前做的action，然后（預(yù)測(cè)）下一幀發(fā)生了什么樣的變化。杯子如果這樣放在這里（桌角），它就會(huì)掉到地上，一切要符合物理規(guī)律。

它要滿足兩個(gè)性質(zhì)，一個(gè)是我們很多pysical engine，比如Mujoco，要符合物理規(guī)律，在視覺(jué)層面也能跟我們現(xiàn)實(shí)中的物理世界是一致的。（現(xiàn)在）不可能做到這個(gè)程度的。

機(jī)器人的世界模型應(yīng)該要和人類相似，因?yàn)槲覀兪且谖锢硎澜缃换サ摹?/p>

AI科技評(píng)論：所以我們終究可以到那個(gè)地方，只是現(xiàn)階段因?yàn)閿?shù)據(jù)的原因，所以不能成立？

盧宗青：現(xiàn)在大家想象的世界模型，和他們要做的世界模型，其實(shí)是兩個(gè)東西。

之前MIT的研究說(shuō)語(yǔ)言模型已經(jīng)具備了world model的能力，但那個(gè)是abstract level層面的：

我做了什么事情，后面發(fā)生了什么？你是通過(guò)思考或者語(yǔ)言可以描述的，但是你不是去預(yù)測(cè)下一幀、下一個(gè)畫面是什么。而他們現(xiàn)在要做的世界模型是要預(yù)測(cè)下一個(gè)畫面是什么，不僅要做到這件事情，還要給機(jī)器人這樣的環(huán)境去訓(xùn)練。我認(rèn)為現(xiàn)階段的技術(shù)手段不足以做到這件事情。

AI科技評(píng)論：那你怎么看現(xiàn)在“不同版本不同名字”的VLA層出不窮？

盧宗青：如前面所說(shuō)，我覺(jué)得VLA本身沒(méi)有錯(cuò)。只是大家更多是在gripper做操作，沒(méi)有touch到最本質(zhì)的問(wèn)題。

AI科技評(píng)論：能再定義一下什么是最本質(zhì)的問(wèn)題嗎？

盧宗青：怎么來(lái)學(xué)，learning paradigm（學(xué)習(xí)范式）是什么。

我們到底是帶大量action數(shù)據(jù)去做預(yù)訓(xùn)練，還是說(shuō)我只是在VLM上加入action head。這是兩個(gè)不一樣的范式。

我個(gè)人是希望大規(guī)模把互聯(lián)網(wǎng)上的動(dòng)作數(shù)據(jù)，放到前面去學(xué)習(xí)，然后再去對(duì)齊。他們是說(shuō)，我現(xiàn)在有個(gè)VLM，訓(xùn)練完了以后，把真機(jī)數(shù)據(jù)堆在后面去訓(xùn)練。而且真機(jī)數(shù)據(jù)和互聯(lián)網(wǎng)數(shù)據(jù)也差了幾個(gè)量級(jí)的。

AI科技評(píng)論：所以你覺(jué)得未來(lái)范式的方向是前者。

盧宗青：是的，未來(lái)的范式會(huì)收斂到我們這一條路上：通過(guò)互聯(lián)網(wǎng)的視頻去學(xué)習(xí)人的行為。

當(dāng)然我說(shuō)的只是人形機(jī)器人和靈巧手，gripper的形態(tài)不在我們的考慮范圍內(nèi)。

04

短期沒(méi)有商業(yè)化考量，融資是雙向選擇

AI科技評(píng)論：我們想要解決更本質(zhì)可能就意味著實(shí)現(xiàn)難度更大、商業(yè)化能力沒(méi)那么快。那你是怎么考慮這個(gè)問(wèn)題？

盧宗青：我們盡可能把思路傳達(dá)給投資人，讓他們?nèi)uy in這樣一個(gè)技術(shù)路線，作為一個(gè)通用的解決方案，還是有一些投資人逐漸在認(rèn)可這樣的技術(shù)路線。

當(dāng)然我們一開(kāi)始就沒(méi)有動(dòng)用特別多的計(jì)算資源，也是在一個(gè)相對(duì)受限的情況下去辦這件事情。

AI科技評(píng)論：有商業(yè)化的嘗試嗎或者規(guī)劃嗎？

盧宗青：規(guī)劃不太能說(shuō)，但現(xiàn)在沒(méi)有商業(yè)化的嘗試。

AI科技評(píng)論：你現(xiàn)在有合伙人嗎？

盧宗青：沒(méi)有聯(lián)創(chuàng)這個(gè)級(jí)別的，正在培養(yǎng)團(tuán)隊(duì)成員，同時(shí)也在接觸中。

AI科技評(píng)論：你在跟投資人聊的時(shí)候，對(duì)于我們商業(yè)化落地方面的想法，投資人是完全沒(méi)有問(wèn)題的嗎？

盧宗青：有些投資人肯定會(huì)問(wèn)的，但這其實(shí)是個(gè)雙向選擇吧。有一些投資人聽(tīng)了這個(gè)技術(shù)路線以后，他們會(huì)非常excited。

我覺(jué)得未來(lái)我們需要商業(yè)化的時(shí)候肯定會(huì)去嘗試，但現(xiàn)在通用的solution，近期之內(nèi)是不大可能性的。（停頓）至少一年之內(nèi)不可能。但沿途我們?nèi)プ鲆恍┥虡I(yè)化落地也是可以的，我自己是不排斥的。

AI科技評(píng)論：這有點(diǎn)像OpenAI，早期是一個(gè)非營(yíng)利性的組織，有很多富人去支持，做了很多未來(lái)的嘗試。

盧宗青：對(duì)，我覺(jué)得現(xiàn)在環(huán)境會(huì)比之前好很多。包括Pi其實(shí)他們?cè)缙谝簿褪茄芯?，沒(méi)有任何產(chǎn)品。

AI科技評(píng)論：但坦率講，中國(guó)和美國(guó)的投資環(huán)境還是不太一樣的。國(guó)內(nèi)投資人可能嘴上很樂(lè)觀的，但心底對(duì)國(guó)內(nèi)的前沿探索是沒(méi)有那么自信的，還是偏好一些工程性的落地應(yīng)用的項(xiàng)目。

盧宗青：是的。確實(shí)就像你剛才說(shuō)的，技術(shù)的發(fā)展是有非常大的不確定性，但是一些投資人就喜歡看到確定性的東西，其實(shí)本質(zhì)是相悖的，所以好多投資人說(shuō)投什么非共識(shí)，最后投出來(lái)的項(xiàng)目全是共識(shí)。

但可能這幾年會(huì)變好一些。像DeepSeek和機(jī)器人硬件的成功是一種鼓勵(lì)，尤其是機(jī)器人的硬件體系主要是在國(guó)內(nèi)的。

AI科技評(píng)論：其實(shí)具身大模型和語(yǔ)言大模型還不太一樣。語(yǔ)言大模型在Day One的時(shí)候，投資人就有共識(shí)，認(rèn)為這是美國(guó)一套、中國(guó)一套的生意模型，所以才有了后面快速起來(lái)的六小虎。但具身應(yīng)該沒(méi)有語(yǔ)言模型的政策壁壘，所以你們似乎從第一天開(kāi)始就是全球競(jìng)爭(zhēng)的格局。

盧宗青：我覺(jué)得很好啊，這也是全球性的機(jī)會(huì)。本來(lái)也不該有壁壘，本來(lái)就是該全部一起競(jìng)爭(zhēng)的。

05

BeingBeyond 將分別是兩個(gè)模型的名字

AI科技評(píng)論：公司為什么叫BeingBeyond？模型也是叫Being-M0。

盧宗青：Being其實(shí)就是生成和存在，Human Being里的 Being。而且它既是名詞又是正在進(jìn)行時(shí)，所以我們后面加了一個(gè)Beyond。我們希望最后能做出Robot Being吧。

AI科技評(píng)論：所以這個(gè)名字里本來(lái)就暗含了實(shí)現(xiàn)AGI的愿景，因?yàn)橐俺酱嬖凇薄?/strong>

盧宗青：是的。我們是這樣安排的，我們的第一代模型基本會(huì)用 Being來(lái)開(kāi)頭，后面的模型會(huì)考慮用Beyond開(kāi)頭，但就不知道會(huì)是什么時(shí)候了。

AI科技評(píng)論：Beyond模型會(huì)側(cè)重什么呢?

盧宗青：如果發(fā)Beyond，那就代表我們真的是全球領(lǐng)先的模型了。

AI科技評(píng)論：其實(shí)我第一眼看到這個(gè)名字，我在想會(huì)不會(huì)是因?yàn)槟銈儾蛔觥氨倔w”機(jī)器人硬件，所以要超越本體。

盧宗青：是的，是一語(yǔ)雙關(guān)。而且如果在模型命名上，Being-0其實(shí)也代表正在進(jìn)行中的0號(hào)產(chǎn)品。

AI科技評(píng)論：這個(gè)命名也非常有意思，為什么是從0開(kāi)始發(fā)布產(chǎn)品？

盧宗青：因?yàn)?號(hào)是我們最初一個(gè)還不夠成熟的嘗試，它不代表我們最終要做的事情，而這條路會(huì)是一個(gè)不斷迭代的過(guò)程。

而且后面的話，應(yīng)該也不會(huì)命名1。要命名為1的話，我感覺(jué)應(yīng)該是一個(gè)（停頓）跨越式的模型吧。

但是 Motion 模型的話，可能會(huì)出1，因?yàn)樗俏覀儎偛盘岬降?500萬(wàn)條數(shù)據(jù)上已經(jīng)scale up的第一個(gè)東西。

AI科技評(píng)論：如果不用1的話，會(huì)怎么命名呢，0.1、0.5？

盧宗青：（笑）scale up了以后就會(huì)有1的。

AI科技評(píng)論：公司現(xiàn)在多少人？

盧宗青：全職員工其實(shí)就五個(gè)人，加上實(shí)習(xí)生大概二十來(lái)人。

AI科技評(píng)論：其實(shí)這個(gè)規(guī)模在創(chuàng)業(yè)公司里都算很精簡(jiǎn)的了吧。

盧宗青：是的，但他們每個(gè)人都做了很多年模型相關(guān)的研究了。

AI科技評(píng)論：那如果給你一大筆錢呢？你會(huì)去配置一點(diǎn)資源去嘗試硬件嗎？或者你會(huì)去多買點(diǎn)卡之類的。

盧宗青：現(xiàn)在不是做硬件的最佳的時(shí)刻，因?yàn)橛布螒B(tài)還沒(méi)有收斂，而未來(lái)具身的很多地方肯定都會(huì)標(biāo)準(zhǔn)化的。

買卡也暫時(shí)不太會(huì)。（即便有錢了）可能我們還是這么幾個(gè)人，在這樣一個(gè)辦公室里。因?yàn)槭聝哼€沒(méi)有到要scale up的時(shí)候，我們暫時(shí)還不需要那么多資源。

AI科技評(píng)論：多久以后可以scale up？

盧宗青：我覺(jué)得兩三年吧。

AI科技評(píng)論：那確實(shí)需要很好的耐心，因?yàn)閮扇昕赡軙?huì)發(fā)生很多事情。

盧宗青：兩三年是指scale up的時(shí)間，這個(gè)過(guò)程不是說(shuō)一直不做商業(yè)化，還是有一些公司對(duì)我們的技術(shù)路線有興趣的。

AI科技評(píng)論：你有特別喜歡的創(chuàng)業(yè)者或者公司嗎？

盧宗青：Steve Jobs。我認(rèn)為我們?nèi)绻袡C(jī)會(huì)的話，未來(lái)也可能有一天會(huì)做一個(gè)自己的機(jī)器人。因?yàn)樗械木呱砟Ｐ投际窃跈C(jī)器人上的，我們也很希望可以去直接面對(duì)客戶，只是不是今天而已。而且因?yàn)槲覀兊哪繕?biāo)是通用的，所以我們最終其實(shí)還是希望有2C的機(jī)器人。

AI科技評(píng)論：最后一個(gè)問(wèn)題。因?yàn)槲覀冏畲蟮臄?shù)據(jù)集是人類的，所以如果實(shí)現(xiàn)通用泛化，機(jī)器人就自然會(huì)以人類動(dòng)作為主要參考形態(tài)。換言之，人類自己的運(yùn)動(dòng)模式，最終決定了這個(gè)文明未來(lái)機(jī)器人的形態(tài)。對(duì)嗎？

盧宗青：對(duì)。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。