好飯不怕晚，原來2025 GTC還有精彩內(nèi)容有待發(fā)掘！

RoboX將一場主題為「人形機(jī)器人的崛起」的圓桌內(nèi)容進(jìn)行了翻譯和整理，供大家參考。此次的圓桌討論嘉賓包括：

• Aaron Saunders——波士頓動力CTO
• Bernt Bornich——1X創(chuàng)始人兼CEO
• Deepak Pathak——Skild AI的CEO兼聯(lián)合創(chuàng)始人
• Jim Fan——英偉達(dá)首席研究科學(xué)家/高級研究經(jīng)理
• Pras Velagapudi——Agility機(jī)器人 CTO

為何機(jī)器人開始突飛猛進(jìn)？

【Jim Fan】-英偉達(dá)：

機(jī)器人作為與AI一樣古老的領(lǐng)域，之所以在過去發(fā)展得如此艱難，是因?yàn)榉夏S克悖論。

該悖論表明，一些對人類來說簡單的事情，對機(jī)器而言卻非常困難，反之亦然。那么，現(xiàn)在究竟發(fā)生了哪些變化呢？

一是模型方面。由于大型基礎(chǔ)模型如LLM以及ChatGPT的出現(xiàn)，我們現(xiàn)在擁有了能夠進(jìn)行推理的模型，以及能理解計算機(jī)視覺、開放詞匯表及三維視覺世界的多模態(tài)模型。

在討論通用機(jī)器人之前，你需要先有一個優(yōu)秀的視覺系統(tǒng)。隨著其他模型變得越來越好，我們可以更系統(tǒng)地應(yīng)對機(jī)器人技術(shù)的問題。

二是數(shù)據(jù)方面。與LLM不同，就像Ilya Sutskever說的：“互聯(lián)網(wǎng)是AI的化石燃料”。

然而，機(jī)器人技術(shù)還沒有化石燃料，必須依靠生成數(shù)據(jù)，以及大規(guī)模收集數(shù)據(jù)。而仿真技術(shù)，尤其是GPU加速模擬技術(shù)的到來，真正讓這些問題變得更加可解——現(xiàn)在你可以在大約3小時的計算時間內(nèi)，生成相當(dāng)于10年的訓(xùn)練數(shù)據(jù)。

三是硬件方面。一些杰出的創(chuàng)始人帶來的先進(jìn)機(jī)器人硬件，不僅更優(yōu)秀，價格也更親民。比如今年，我們看到硬件的價格大概在4萬美元左右，這差不多是一輛車的價格。而在2001年，NASA建造的Robonaut，作為最早的主要人形機(jī)器人之一，造價高達(dá)150萬美元。

這些條件，讓我們超越了數(shù)據(jù)悖論。

（Jim Fan）

【Aaron Saunders】-波士頓動力：

我認(rèn)為仿真到現(xiàn)實(shí)的差距縮小，是一個重大進(jìn)展——我們現(xiàn)在能夠以高于實(shí)時的速度，表示真實(shí)世界的物理特性，這能夠加速探索仿真方案，以開發(fā)新的AI技術(shù)。

另外，許多組件的商品化，消費(fèi)電子行業(yè)的發(fā)展帶來了電池、攝像頭等技術(shù)的進(jìn)步，這些技術(shù)用于感知、觀察世界和計算。

回顧過去10到15年，大多數(shù)機(jī)器人都裝滿了印刷電路板和電線，電池容量很小?，F(xiàn)在這一切都改變了：我們可以放入大量的計算資源，安裝微小而高效的傳感器。

組件的商品化不僅僅是為了降低成本，更是將全球供應(yīng)鏈中的「部件拼圖」組合在一起。

【Deepak Pathak】-Skild AI：

AI的本質(zhì)就是為機(jī)器人而生的。如果你回顧圖靈最初的文獻(xiàn)，當(dāng)他談?wù)揂I時，實(shí)際就是指向機(jī)器人的。

他提到，可以將機(jī)器人放在「教室」里，隨著學(xué)習(xí)時間的推移，它會成長為「成年人」，這是一個令人著迷的想法。

到目前為止，機(jī)器人技術(shù)主要屬于控制論的領(lǐng)域。

在二戰(zhàn)期間，控制論因其在飛機(jī)、導(dǎo)彈等方面的應(yīng)用而大放異彩。后來由于圖靈的影響，機(jī)器人技術(shù)開始興起，人們開始思考工具有哪些。

但這與最初的精神并不一致，也不是孩子式的學(xué)習(xí)——在孩子學(xué)習(xí)走路時，你不會先教他們微積分，而是讓他們通過經(jīng)驗(yàn)來學(xué)習(xí)如何移動關(guān)節(jié)并學(xué)會行走。

因此，真正改變的是我們對待機(jī)器人的方式——從編程經(jīng)驗(yàn)轉(zhuǎn)向通過經(jīng)驗(yàn)學(xué)習(xí)

（Deepak Pathak）

【Bernt Bornich】-1X：

互聯(lián)網(wǎng)就像一個接近30年的「巨大人類實(shí)驗(yàn)」，全世界的人們都在貢獻(xiàn)數(shù)據(jù)，創(chuàng)建了巨大的數(shù)據(jù)源，以便訓(xùn)練AI。

現(xiàn)在我們要做的，是再次請求所有人，在接下來的30年里繼續(xù)貢獻(xiàn)，不過這次是讓你們自己變成機(jī)器人。

當(dāng)然這不是真的，但目前已有的數(shù)據(jù)是推動AI前進(jìn)的原因。而現(xiàn)在的問題是，我們?nèi)绾卫矛F(xiàn)有的數(shù)據(jù)來引導(dǎo)機(jī)器人進(jìn)步？因?yàn)橹挥羞_(dá)到一定水平，它們才能開始在現(xiàn)實(shí)世界中學(xué)習(xí)。

比如說，當(dāng)你要求機(jī)器人從冰箱里拿一瓶可樂，如果它能做到一半的成功率，那就有了可行的實(shí)現(xiàn)路徑。因?yàn)樵诖嘶A(chǔ)上，只要重復(fù)運(yùn)行足夠多次，最終它就能非常擅長這一任務(wù)。

各種多模態(tài)LLM雖然還不能完全解決機(jī)器人問題，但這種方法可以使系統(tǒng)變得足夠有用，從而創(chuàng)建一個高效的數(shù)據(jù)飛輪，而不需要你對機(jī)器人做的每一件事都進(jìn)行遠(yuǎn)程操作。這也許也能通往通用人工智能，我們拭目以待。

（Bernt Bornich）

【Pras Velagapudi】-Agility Robotics：

機(jī)器人的兩大挑戰(zhàn)是：第一，硬件很難；第二，世界是非結(jié)構(gòu)化的。

回顧AI和機(jī)器人技術(shù)的發(fā)展歷程，你會發(fā)現(xiàn)機(jī)器人技術(shù)的一大塊工作都是在解決硬件難題，包括微型化傳感器如MEMS、執(zhí)行器和驅(qū)動技術(shù)以及能量存儲技術(shù)等都需要被攻克。

從AI的角度來看，我們基本上是從解決結(jié)構(gòu)化問題，逐步過渡到解決非結(jié)構(gòu)化的難題。從處理Query到API，再到簡化世界模型，直至現(xiàn)在的非結(jié)構(gòu)化世界模型，每一個環(huán)節(jié)都在提升AI平臺，找到新的數(shù)據(jù)攝取方式。

目前，這些積累最終達(dá)到一個臨界點(diǎn)，我們可以著手解決與非結(jié)構(gòu)化方式與世界互動的完整問題了。

（Pras Velagapudi）

如何看待基礎(chǔ)模型的爆發(fā)式增長

【Jim Fan】- 英偉達(dá)：

如何構(gòu)建通用大腦呢？我認(rèn)為主要有兩個原則：

第一個原則：模型本身要盡可能簡單，盡可能端到端。

以自然語言處理（NLP）領(lǐng)域舉例，在ChatGPT出現(xiàn)之前，NLP領(lǐng)域有點(diǎn)混亂——文本摘要、機(jī)器翻譯、代碼生成等都要用完全不同的數(shù)據(jù)Pipeline、訓(xùn)練協(xié)議和模型架構(gòu)，有時還不僅僅是單一模型。

然后，ChatGPT徹底改變了這一切，因?yàn)樗芎唵巍?/p>

它將任何文本映射到任何其他文本，可以統(tǒng)一所有的數(shù)據(jù)、所有的問題到一個模型中，這是機(jī)器人技術(shù)應(yīng)該借鑒的地方。

第二個原則：數(shù)據(jù)Pipeline實(shí)際上會非常復(fù)雜。

數(shù)據(jù)是個大問題。對于GR00T而言，數(shù)據(jù)策略可以組織成一個金字塔。

頂端是真實(shí)世界中通過遠(yuǎn)程操作收集的真實(shí)機(jī)器人數(shù)據(jù)，這是最高質(zhì)量的數(shù)據(jù)。但這也相當(dāng)有限，可擴(kuò)展性不高。

金字塔中部是仿真的部分，類似ISSAC這樣的物理引擎可以生成大量數(shù)據(jù)。而在金字塔的底部，仍然是來自互聯(lián)網(wǎng)的所有多模態(tài)數(shù)據(jù)，但利用方式略有不同。

我們用它們來訓(xùn)練視覺語言模型，這些模型可以成為視覺語言動作模型的基礎(chǔ)。因此，金字塔的最后一層實(shí)際上是超越傳統(tǒng)圖形引擎的神經(jīng)模擬——你可以提示一個視頻生成模型，并要求它幻想出一個新的人形機(jī)器人軌跡。

視頻模型學(xué)習(xí)物理規(guī)律的能力非常強(qiáng)，以至于它能夠在像素層面給你提供物理上精確的軌跡。

【Aaron Saunders】-波士頓動力：

將產(chǎn)品交付給客戶時，我們需要確保系統(tǒng)和功能的安全性。

目前我們正處于構(gòu)建數(shù)據(jù)集非常早期的階段，在追求終極的強(qiáng)大狀態(tài)的同時，不能把工具箱都扔掉。

我們必須通過應(yīng)用工具來保障穩(wěn)定——機(jī)器人技術(shù)有一大套積累了70年的工具箱，其中一些工具仍適用于解決現(xiàn)實(shí)世界的問題，尤其面對有潛在風(fēng)險的機(jī)器人和功能時，一旦失去信任，就再也無法挽回了。

（Aaron Saunders）

【Bernt Bornich】-1X

通過早期和近期LLM的經(jīng)驗(yàn)教訓(xùn)，會發(fā)現(xiàn)「多樣性」被低估了。

在LLM發(fā)展的早期，有很多公司嘗試訓(xùn)練模型來創(chuàng)作詩歌。他們會用世界上最好的詩篇來訓(xùn)練模型，但這實(shí)際上并不奏效。因?yàn)槟阈枰诜浅６鄻踊臄?shù)據(jù)上進(jìn)行訓(xùn)練，而不僅僅是與寫詩相關(guān)的數(shù)據(jù)。

這一點(diǎn)對于機(jī)器人技術(shù)來說，顯然也是成立的。在處理小規(guī)模數(shù)據(jù)集時，限制我們更多是數(shù)據(jù)的多樣性，而非數(shù)據(jù)量。

因此，關(guān)鍵在于如何盡可能多地涵蓋不同環(huán)境中的各種任務(wù)。最好還能包含盡可能多的噪音和動態(tài)因素，這樣你就能理解實(shí)際任務(wù)的要求。

我最喜歡的例子是打開洗衣機(jī)：我們會看到洗衣機(jī)的圓形入口，知道要把衣服放進(jìn)去，然后嘗試打開它；如果打不開，可能會尋找卡扣，一切操作都很好理解。

而今天的機(jī)器人完全不具備這種能力，它們更像是在學(xué)習(xí)重復(fù)某種動作。這就是為什么要讓機(jī)器人廣泛應(yīng)用于實(shí)際環(huán)境中，并獲取多樣化數(shù)據(jù)。我們認(rèn)為這一切必須發(fā)生在人們中間，發(fā)生在家庭里——要在確保機(jī)器的能量不至于造成危險的前提下，考慮如何將這種方法與經(jīng)典工具箱結(jié)合起來。

【Deepak Pathak】-Skild AI

我們要部署不同種類、形態(tài)的機(jī)器人，它們的共享大腦是什么？這里有兩個關(guān)鍵點(diǎn)：

第一點(diǎn)、當(dāng)一個人類控制機(jī)器人時，他們不需要知道電機(jī)的具體細(xì)節(jié)。這可以證明，一個大腦可以使用來自任何地方的數(shù)據(jù)，來控制機(jī)器人。

第二點(diǎn)、現(xiàn)實(shí)中并沒有現(xiàn)成的數(shù)據(jù)，但人類有大量數(shù)據(jù)。我們就像是生物機(jī)器人，有運(yùn)動神經(jīng)元和感覺神經(jīng)元。感覺神經(jīng)元將信號從你的傳感器傳送到大腦，而運(yùn)動神經(jīng)元則將信號從大腦傳送到肌肉。

我們存在一個可以控制所有硬件的大腦，能夠生成機(jī)器人技術(shù)中非常關(guān)鍵的數(shù)據(jù)。關(guān)于人類肢體如何運(yùn)作的知識，這些都可以用來補(bǔ)充仿真。

【Bernt Bornich】-1X

這些數(shù)據(jù)的確極其有用，但它與其他數(shù)據(jù)并不是互相排斥的。

【Pras Velagapudi】-Agility Robotics

作為一名經(jīng)常遠(yuǎn)程操作機(jī)器人的人員，我可以肯定地說，人腦非常擅長遠(yuǎn)程操作各種平臺，但并非所有情況下都能達(dá)到相同的水平。

硬件確實(shí)可以造成差異，我曾遠(yuǎn)程操控過1X機(jī)器人，那是一次很棒的體驗(yàn)；另外我也操控過一些工業(yè)機(jī)器人，可體驗(yàn)并不好。

可見，硬件起著重要作用，并且確實(shí)定義了某些性能特征。

基于這些差異，我們需要投入一定的精力來構(gòu)建合適的硬件，使其易于控制，擁有合適的傳感能力，以及合適的慣性特性，使其在現(xiàn)實(shí)世界中能有效工作。

【Bernt Bornich】-1X

我們現(xiàn)在討論的主要是控制架構(gòu)「自上而下」的方式，但我認(rèn)為「自下而上」的學(xué)習(xí)方式也很有趣，比如學(xué)習(xí)靈巧性。

我們不知道如何建立一個快且好的遠(yuǎn)程操作系統(tǒng)，來提供觸覺反饋等，但是機(jī)器人本身卻能很好地學(xué)習(xí)這些技能。

你可以給它一堆物體讓它把玩，然后在遠(yuǎn)程操作界面上添加一個抽象層，指導(dǎo)機(jī)器完成任務(wù)，允許系統(tǒng)學(xué)習(xí)靈巧性。

【Aaron Saunders】-波士頓動力

當(dāng)我們試圖將大腦與硬件分離時，如要視任務(wù)而定：當(dāng)任務(wù)集只涉及質(zhì)量無關(guān)緊要的對象時，那么可以將大腦與身體的很多部分分離。

但現(xiàn)實(shí)情況是，如今機(jī)器人的目標(biāo)超出了這一范疇——如果希望機(jī)器人抬起大型、重型、復(fù)雜的物體，或者想要觸摸鋒利的金屬部件、處理高溫物體，甚至用機(jī)器人完全代替人類操作高危工作，那么大腦和硬件必須協(xié)同進(jìn)化。

要知道，執(zhí)行器的質(zhì)量，和內(nèi)部摩擦程度，對于在仿真中準(zhǔn)確運(yùn)行非常重要。

我認(rèn)為還需要更多時間，才能完全理解像GR00T這樣的模型如何在A型機(jī)器人和B型機(jī)器人上部署。因?yàn)槲疫€不認(rèn)為我們有足夠的數(shù)據(jù)點(diǎn)來讓一個模型在所有不同類型的機(jī)器人上部署，并且還不會造成行為差異。

【Deepak Pathak】-Skild AI

也可能反過來，一種硬件可以搭載許多大腦。（是的，當(dāng)然。）英偉達(dá)就是一個例子，一種硬件上有很多公司致力于構(gòu)建大腦。

【JimFan】-英偉達(dá)

我想談?wù)勔粋€非常有趣、也極具挑戰(zhàn)性的話題——跨實(shí)體化。對于模型而言，跨實(shí)體化意味著什么？

我們不妨先思考一下自己，實(shí)際上人類非常擅長跨實(shí)體化。

當(dāng)你開始玩一個游戲，其實(shí)就是在進(jìn)行跨實(shí)體化。比如你在游戲中駕駛一輛車或扮演某個奇怪的角色，有時甚至是非人類的角色，你會逐漸掌握如何在游戲中控制那個身體。所以人類的大腦非常擅長跨實(shí)體化。

我同意Aaron的觀點(diǎn)，目前討論完全零樣本跨實(shí)體化還為時過早。這意味著你帶一個機(jī)器人過來，模型就能神奇地工作。

我們現(xiàn)在還無法做到這一點(diǎn)，但終將到達(dá)那里。實(shí)現(xiàn)這一目標(biāo)的方法，就是擁有大量不同的機(jī)器人硬件，甚至更多的仿真機(jī)器人硬件。

以前，我們的研究小組做了一項非常有趣的工作——MetaMorph。我們在仿真中程序化生成了數(shù)千個簡單的機(jī)器人，它們有著不同的關(guān)節(jié)連接方式。有些看起來像蛇，有些像蜘蛛，非常奇特。然后我們對機(jī)器人的身體進(jìn)行標(biāo)記化，將其轉(zhuǎn)化為一系列整數(shù)。這樣就可以應(yīng)用Transformer和注意力機(jī)制，通過一千個實(shí)體生成第一千零一個實(shí)體。

但這只是一個非常初步的實(shí)驗(yàn)，不過我相信，如果我們能夠擁有一種通用描述語言，并且有各種不同類型的現(xiàn)實(shí)和仿真機(jī)器人，就可以對其進(jìn)行標(biāo)記化，從中獲取大量數(shù)據(jù)，從而形成一個實(shí)體宇宙和向量空間，也許新的機(jī)器人會在這個分布范圍內(nèi)誕生。

不過，即使在同一代機(jī)器人內(nèi)部，也存在跨實(shí)體化的問題，更不用說跨代際、跨公司了。所以這正在成為一個真正的難題，我們才剛剛觸及表面。

【Aaron Saunders】-波士頓動力

老實(shí)說，目前數(shù)據(jù)的多樣性還不足。如果你看看類人機(jī)器人領(lǐng)域，它們基本上都在處理相似的東西，也就是對人類身體的復(fù)制。而在波士頓動力，我們決定只為抓手設(shè)計三根手指。

這與完全仿人手的趨勢背道而馳，因?yàn)槲覀儼l(fā)現(xiàn)人類非常擅于將自己映射到三根手指上——你可以讓一名遠(yuǎn)程操作員操作三指抓手，在經(jīng)過幾小時的訓(xùn)練后，他們幾乎能完成用五根手指所能做的所有事情。因此，我認(rèn)為在這方面還有很大的探索空間。

由于大家都在努力打基礎(chǔ)，現(xiàn)在還不夠大膽。一旦這些模型開始展示出泛化能力，人們就會開始突破，這可能是好事也可能是壞事——我們可能會得到一些看起來讓人感到害怕的機(jī)器人。

但我認(rèn)為，光是操作臂就存在如此豐富的機(jī)會，未來幾年的發(fā)展著實(shí)令人興奮。

【Jim Fan】- 英偉達(dá)

是的，Aaron，給我一千個不同的Atlas，我會為你解決這個問題。（好的，成交。）

（待續(xù)）

下半場的議題包括「當(dāng)前硬件的最大挑戰(zhàn)」、「對2-5年內(nèi)的發(fā)展預(yù)判」等，各位嘉賓的討論也會更加激烈。敬請關(guān)注RoboX，留意下期內(nèi)容。