老黃看好機(jī)器人，還真不是嘴上說說！

這不，就在正在舉辦的SIGGRAPH（計算機(jī)圖形學(xué)）大會上，英偉達(dá)為機(jī)器人帶來了全新升級的Cosmos世界模型。

Cosmos主要被用來生成符合現(xiàn)實世界物理規(guī)律的合成數(shù)據(jù)，自發(fā)布以來，已被Figure、Agility Robotics、通用汽車等一眾知名機(jī)器人和自動駕駛公司采用。

這次升級重點聚焦在規(guī)劃能力和生成速度兩大方面：

• 推出Cosmos Reason：一款70億參數(shù)、具備推理能力的視覺語言模型，可幫助機(jī)器人進(jìn)行任務(wù)規(guī)劃；
• 新增Cosmos Transfer-2&精簡版：加速將虛擬場景轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)，并提供更快的輕量化版本。

除了軟件更新，英偉達(dá)還幾乎全面升級了機(jī)器人開發(fā)配套技術(shù)與硬件——包括全新的Omniverse庫、RTX PRO Blackwell服務(wù)器，以及DGX Cloud云平臺等。

英偉達(dá)人工智能研究副總裁Sanja Fidler表示：

• AI正在提升我們的模擬能力，而模擬能力也在推動AI系統(tǒng)的發(fā)展。
  這兩個領(lǐng)域之間存在著真實而強(qiáng)大的結(jié)合，這種結(jié)合很少有人能做到。

如今，英偉達(dá)正憑借一整套機(jī)器人開發(fā)基礎(chǔ)設(shè)施，全力沖擊這一融合新高地。

軟硬件都更新了

還是先來看看具體都有哪些更新。

軟件層面，僅7B大小的Cosmos Reason尤為值得一提。

官方表示，這個模型不僅具備扎實的物理理解能力，還能運用常識進(jìn)行多步推理，能用作機(jī)器人的“大腦”。

• 通過記憶和推理，它可以作為一個規(guī)劃模型，推理實體Agent下一步可能采取的步驟。

同時，英偉達(dá)還推出了加速合成數(shù)據(jù)生成的Cosmos Transfer-2及其更輕量的精簡版，以此大幅縮短從虛擬場景或空間控制信息到訓(xùn)練數(shù)據(jù)的轉(zhuǎn)換時間。

這當(dāng)中的精簡版，主要是將70步蒸餾過程簡化為了1步，從而能在RTX PRO服務(wù)器上更高速地運行。

而為了配合這些模型，英偉達(dá)還發(fā)布了功能更強(qiáng)大的Omniverse新庫與SDK，支持機(jī)器人開發(fā)者更便捷地進(jìn)行三維重建、仿真及跨平臺數(shù)據(jù)互通。具體則包括下面這些：

1、實現(xiàn)了MuJoCo和OpenUSD這兩種機(jī)器人仿真格式的數(shù)據(jù)兼容，讓大量開發(fā)者可以更方便地在不同平臺之間進(jìn)行機(jī)器人模擬。

2、引入Omniverse RTX光線追蹤和3D高斯渲染技術(shù)，使開發(fā)者能夠利用傳感器數(shù)據(jù)以三維形式捕捉、重建并模擬現(xiàn)實世界。

3、在GitHub開源機(jī)器人仿真和學(xué)習(xí)工具Isaac Sim 5.0與Isaac Lab 2.2，結(jié)合了新渲染技術(shù)和統(tǒng)一的數(shù)據(jù)格式，幫助機(jī)器人開發(fā)者更好地縮小虛擬仿真和現(xiàn)實環(huán)境之間的差距。

總之，Cosmos+Omniverse作為一對黃金搭檔（前者負(fù)責(zé)構(gòu)建逼真、高效的三維仿真和數(shù)字孿生環(huán)境，后者則專注于提供強(qiáng)大的物理AI模型和智能推理能力），當(dāng)二者一結(jié)合，最終就能為機(jī)器人訓(xùn)練生成更精確、更大規(guī)模的數(shù)據(jù)。

搞定數(shù)據(jù)之后，接下來還有硬件問題。

對此，英偉達(dá)也專門推出了RTX PRO Blackwell服務(wù)器，覆蓋訓(xùn)練、合成數(shù)據(jù)生成、機(jī)器人學(xué)習(xí)與仿真等工作負(fù)載。

而且借助DGX Cloud，開發(fā)者可以隨時隨地通過云端高效運行Omniverse和Cosmos相關(guān)應(yīng)用，輕松實現(xiàn)大規(guī)模仿真與訓(xùn)練任務(wù)，極大降低了硬件門檻和運維成本。（目前DGX Cloud已經(jīng)上線微軟云市場）

英偉達(dá)全力押注機(jī)器人領(lǐng)域

以上動作不難看出，英偉達(dá)正在大力布局機(jī)器人研發(fā)領(lǐng)域。

至于背后考量，官方以一篇最新博客進(jìn)行了詳細(xì)介紹，總結(jié)起來就是：

• 計算機(jī)圖形與AI正在融合，將從根本上改變機(jī)器人領(lǐng)域

沒錯，以圖形學(xué)發(fā)家的英偉達(dá)，正是由于看到了圖形學(xué)和AI融合的趨勢以及這種趨勢對機(jī)器人領(lǐng)域的重要影響，才選擇將機(jī)器人作為下一個關(guān)注重點。

舉個例子，傳統(tǒng)機(jī)器人訓(xùn)練依賴現(xiàn)實數(shù)據(jù)，獲取成本高且受限，而計算機(jī)圖形技術(shù)可以打造逼真的虛擬環(huán)境，結(jié)合AI實現(xiàn)物理精確的仿真。

如此一來，機(jī)器人學(xué)習(xí)各種技能的門檻和成本就被打下來了，從而更有可能加速機(jī)器人落地應(yīng)用。

按照英偉達(dá)研究副總裁Ming-Yu Liu的觀點，英偉達(dá)的目標(biāo)是構(gòu)建一個完整、逼真且可擴(kuò)展的“虛擬平行宇宙”，讓機(jī)器人能在其中安全反復(fù)試驗、不斷進(jìn)化。

• 物理AI需要一個逼真的虛擬環(huán)境，讓機(jī)器人能夠在這個安全的平行世界中反復(fù)試驗、不斷學(xué)習(xí)。
• 要打造這樣一個虛擬世界，我們必須結(jié)合實時渲染、計算機(jī)視覺、物理運動模擬，以及2D和3D生成式AI與AI推理技術(shù)。這些正是英偉達(dá)研究團(tuán)隊過去二十年持續(xù)專注和不斷打磨的核心領(lǐng)域。

顯而易見，一旦這個“機(jī)器人虛擬世界”構(gòu)建成功，英偉達(dá)也能將這套基礎(chǔ)設(shè)施賦能給更多開發(fā)者和企業(yè)，幫他們更快地搞出各種機(jī)器人和AI應(yīng)用。

這樣一來，英偉達(dá)不僅能進(jìn)一步穩(wěn)固自己在圖形領(lǐng)域的頭把交椅，還能在具身智能時代繼續(xù)擔(dān)任“賣鏟人”的角色。

嗯，多么熟悉的“套路”（doge）~

而且從老黃最近的一系列公開動作來看，他對咱們中國機(jī)器人屬實尤為偏愛了。

不僅在各種場合夸夸，近來更是像曾經(jīng)對待OpenAI那樣（早期給OpenAI送超算），將首批Jetson Thor芯片送到了國產(chǎn)玩家銀河通用手里。

此外，英偉達(dá)還正在和阿里云、北京人形機(jī)器人創(chuàng)新中心、傅利葉、加速進(jìn)化、優(yōu)必選、智元機(jī)器人等企業(yè)達(dá)成深度合作。阿里云更是宣布，英偉達(dá)全棧機(jī)器人及物理AI組件已通過其云端服務(wù)開放使用。

該說不說，英偉達(dá)在國內(nèi)賣機(jī)器人鏟子的生意算是逐漸打開局面了。

Cosmos開源地址：
https://github.com/nvidia-cosmos