AI 不靠腳本、不靠規(guī)則，光看畫面就能玩轉(zhuǎn)《茶杯頭》《艾爾登法環(huán)》甚至《GTA》？

不是“自動掛機”，而是真·手眼協(xié)調(diào)、反應(yīng)如電。

這事兒，英偉達剛干成了。

現(xiàn)在的AI，連游戲手柄都能“握”得比你穩(wěn)。

說句實在話，周叔第一次看到 NitroGen 的演示視頻時，還以為是某個技術(shù)大神錄的實況。

角色在《茶杯頭》里閃避、跳躍、踩魂一氣呵成，節(jié)奏精準得像開了慢動作回放。

可結(jié)果呢？全程無人操控，純靠 AI 自主決策。

這個叫NitroGen的模型，由英偉達聯(lián)合斯坦福、加州理工等機構(gòu)推出。

但它不是針對某一款游戲的“外掛”，而是一個能通吃上千款游戲的通用智能體。

它只干一件事：看畫面，出操作。

輸入是游戲?qū)崟r幀（256×256像素），輸出是標準手柄信號——16個按鍵+雙搖桿，覆蓋市面上幾乎所有支持手柄的商業(yè)游戲。

更關(guān)鍵的是，它不需要每款游戲單獨訓(xùn)練。

通過在 4 萬小時、超 1000 款游戲的互聯(lián)網(wǎng)視頻上做行為克隆預(yù)訓(xùn)練，NitroGen 學(xué)會了“玩家直覺”。

面對從未見過的新游戲，只需少量微調(diào)，就能快速上手。

實驗顯示，在某些任務(wù)上，它的成功率比從零訓(xùn)練的模型高出 52%，這可不是小數(shù)點后的優(yōu)化，是質(zhì)的飛躍。

咱們可能不知道，但很多游戲主播為了展示操作細節(jié)，會在直播畫面角落疊加一個“手柄輸入顯示器”。

英偉達團隊就盯上了這個“免費教學(xué)素材”。

他們爬取了 7.1 萬小時帶手柄疊加層的公開視頻，用 SIFT 和 XFeat 算法定位控制器位置，再訓(xùn)練一個 SegFormer 分割模型，從圖像中反推玩家的真實操作。

最終清洗出 4 萬小時高質(zhì)量視頻-動作對，覆蓋 846 款游戲超 1 小時數(shù)據(jù)，15 款游戲甚至超 1000 小時。

有意思的是，為了防止模型“作弊”，他們在訓(xùn)練前會把視頻里的控制器區(qū)域全部打碼遮擋。

也就是說，模型必須真正理解“畫面發(fā)生了什么”，才能決定“該按哪個鍵”。

從另一個角度看，這其實是把全網(wǎng)玩家的集體經(jīng)驗，轉(zhuǎn)化成了 AI 的肌肉記憶。

Action-RPG 占 34.9%，平臺跳躍占 18.4%，說明數(shù)據(jù)天然偏向快節(jié)奏、高操作要求的游戲。

這也解釋了為什么 NitroGen 在《空洞騎士》這類游戲中表現(xiàn)尤為驚艷。

周叔得提醒大家一句：NitroGen 的野心，從來不在游戲圈。

它的底層架構(gòu)源自英偉達為機器人開發(fā)的 GR00T N1.5 模型，只是去掉了語言模塊，專注視覺到動作的映射。

研究團隊明確表示，這只是“系統(tǒng)1”式的快速反應(yīng)模型，未來要疊加語言理解、長期規(guī)劃，才能成為真正的通用具身智能體。

項目負責(zé)人之一、英偉達機器人總監(jiān)Jim Fan此前在 MineDojo 項目中就提出：游戲是現(xiàn)實世界的低成本模擬沙盒。

在這里，AI 可以安全地試錯、學(xué)習(xí)物理交互、理解目標導(dǎo)向行為。

一旦打通跨環(huán)境泛化能力，遷移到真實機器人只是時間問題。

目前，NitroGen 已全面開源：代碼、模型權(quán)重、數(shù)據(jù)集、評測套件全部公開。

這意味著全球研究者都能在此基礎(chǔ)上構(gòu)建自己的“游戲AI”或“機器人策略”。

NitroGen 的出現(xiàn)，不只是讓 AI 學(xué)會了打游戲，更是證明了通過海量真實人類行為數(shù)據(jù)，機器可以習(xí)得超越單一任務(wù)的通用技能。

當 AI 能在千變?nèi)f化的虛擬世界中自如行動，離它走進廚房、工廠、甚至手術(shù)室，或許就不遠了。

這場從像素到動作的革命，才剛剛按下開始鍵。