《山羊模擬器 3》（Goat Simulator 3）這款以混亂、荒誕著稱的游戲，其物理引擎的不可預(yù)測性曾讓無數(shù)玩家啼笑皆非。如今，谷歌成功讓這款游戲成為了他們最新 AI Agent 泛化能力的試驗場。

11 月 13 日，DeepMind 正式發(fā)布 SIMA 2（Scalable Instructable Multiworld Agent，可擴展的可指令多世界智能體），這個集成了 Gemini 大語言模型的新一代智能體，不僅能在《無人深空》的浩瀚星際中導(dǎo)航，也能在《山羊模擬器 3》的混亂世界里完成任務(wù)。這種跨越虛擬環(huán)境的能力，被 DeepMind 稱為“邁向通用人工智能的重要一步”。

2024 年 3 月，DeepMind 首次發(fā)布了 SIMA 的初代版本。當(dāng)時的 SIMA 1 已經(jīng)算是一個突破——它能夠跨越《無人深空》《山羊模擬器 3》等八款商業(yè)游戲執(zhí)行基本指令，僅通過觀察屏幕像素和使用虛擬鍵鼠操作，無需訪問游戲的底層代碼。但其 31% 的復(fù)雜任務(wù)完成率暴露了根本性的瓶頸：這個系統(tǒng)更像一個執(zhí)行器而非思考者，面對“找到營火”這樣簡單的目標(biāo)時，它只能機械地嘗試各種操作，缺乏真正的理解和規(guī)劃能力。

SIMA 2 的核心改變是整合了 Gemini 2.5 flash-lite 模型作為推理引擎。Gemini 的語言理解和推理能力與 SIMA 的 embodied skills（具身技能）深度融合，使得 Agent 能夠理解高層目標(biāo)、制定多步計劃，并在執(zhí)行過程中與用戶對話解釋自己的思路。在新的基準(zhǔn)測試中，SIMA 2 在訓(xùn)練過的游戲環(huán)境中達到了 65% 的成功率，幾乎是前代的兩倍，與人類玩家 75% 的基準(zhǔn)線已經(jīng)相當(dāng)接近。

這種性能提升的背后是架構(gòu)層面的重新設(shè)計。SIMA 2 的訓(xùn)練數(shù)據(jù)不再完全依賴人類游戲演示錄像，而是混合了人類標(biāo)注和 Gemini 生成的任務(wù)描述。當(dāng)智能體觀察到游戲畫面中的某個場景時，Gemini 模型會同時生成對該場景的語義理解和可能的行動方案。這種訓(xùn)練方式的一個直接結(jié)果是，SIMA 2 現(xiàn)在能夠用自然語言描述它的意圖和推理過程。在《無人深空》的演示中，當(dāng)被要求“前往看起來像成熟番茄的房子”時，智能體會明確說明：“成熟的番茄是紅色的，所以我應(yīng)該去紅色的房子”——這種顯式推理正是 Gemini 帶來的質(zhì)變。

多模態(tài)交互能力也有提升。SIMA 2 可以理解文字、語音、手繪草圖，甚至 emoji。當(dāng)用戶發(fā)送斧頭和樹木的 emoji 時，智能體能理解這意味著“砍樹”。這種能力來自 Gemini 的多模態(tài)架構(gòu)，但關(guān)鍵是 DeepMind 找到了將抽象符號與游戲動作連接的方法，系統(tǒng)理解斧頭是工具、樹木是可交互對象、兩者組合意味著特定行動序列。

SIMA 2 最重要的創(chuàng)新之一是其自我改進機制。與 SIMA 1 完全依賴人類游戲數(shù)據(jù)不同，SIMA 2 在獲得初始的人類演示基線后，能夠轉(zhuǎn)向自主學(xué)習(xí)。當(dāng)團隊將智能體放入新環(huán)境時，系統(tǒng)會調(diào)用另一個 Gemini 模型來生成新任務(wù)，并使用單獨的獎勵模型對智能體的嘗試進行評分。

通過這些自生成的經(jīng)驗作為訓(xùn)練數(shù)據(jù)，智能體能從自己的錯誤中學(xué)習(xí)，逐步提升性能，本質(zhì)上是在 AI 反饋而非人類反饋的引導(dǎo)下，像人類一樣通過試錯來教會自己新行為。這種自我改進循環(huán)在與 Genie 3（DeepMind 的世界生成模型）結(jié)合時能發(fā)揮更大的作用：在 Genie 3 實時生成的全新 3D 環(huán)境中，SIMA 2 展現(xiàn)出了前所未有的適應(yīng)能力，能夠在從未見過的世界中理解用戶指令并采取有意義的行動。

在從未訓(xùn)練過的 MineDojo（Minecraft 的研究實現(xiàn)版本）和 ASKA 游戲中，SIMA 2 的成功率相較第一代分別提升了 13% 和 12%。雖然仍然只有不到 15% 的水平，但考慮到智能體此前從未見過這些游戲的任何畫面或機制，這個表現(xiàn)已經(jīng)相對可觀。

（來源：Google）

更重要的是，它展示了概念遷移的能力——在《無人深空》中學(xué)到的“采集資源”概念可以遷移到 MineDojo 中的“挖礦”，在《英靈神殿》中學(xué)到的“使用工具”可以應(yīng)用到 ASKA 的“裝備武器”。這種跨環(huán)境的知識遷移，對于提升 AI 的真正智能來說至關(guān)重要。

DeepMind 在游戲 AI 上有長期積累，從 AlphaGo 到 AlphaStar，每一步都在推進 AI 的邊界。不過，讓單一系統(tǒng)掌握多種游戲一直是個難題。紐約大學(xué)的 AI 研究員 Julian Togelius 提到，之前的嘗試效果不太理想，因為僅通過觀看屏幕來實時控制多個游戲本身就很困難。他特別指出 DeepMind 之前的 GATO 系統(tǒng)，當(dāng)時宣傳力度很大，但實際上未能在足夠多的虛擬環(huán)境中轉(zhuǎn)移技能。

現(xiàn)在的問題是，SIMA 2 能否避免重蹈覆轍？目前來看，它仍有幾個比較明顯的限制。它在需要多步驟和長時間的復(fù)雜任務(wù)上仍有困難。為了提高響應(yīng)速度，團隊削減了長期記憶，它只記得最近的交互。在使用鼠標(biāo)鍵盤方面，它還是遠不如人類。阿爾伯塔大學(xué)的 Matthew Guzdial 向《麻省理工科技評論》表示：大多數(shù)游戲的鍵鼠控制很相似，學(xué)會一個就學(xué)會了全部，“如果給它一個輸入方式怪異的游戲，我認為它表現(xiàn)不會好?！彼€質(zhì)疑這些技能能否遷移到機器人上——游戲視覺是為人類設(shè)計的、易于解析，真實世界的攝像頭輸入要復(fù)雜得多。

這觸及了具身智能（Embodied AI）領(lǐng)域的核心難題：模擬到現(xiàn)實的鴻溝（sim-to-real gap）。虛擬環(huán)境提供了安全、可控、低成本的訓(xùn)練場所，但它與現(xiàn)實世界有本質(zhì)差異。Togelius 對此持更開放的看法。他認為真實世界既更難也更容易。更難是因為物理交互的復(fù)雜性——你不能按個鍵就開門。但同時，真實世界的機器人清楚知道自己身體的能力邊界，而游戲里每個虛擬世界的規(guī)則都不同。

DeepMind 的研究工程師 Frederic Besse 在新聞發(fā)布會上給出了他們的思路：將機器人系統(tǒng)分為兩層：上層是 SIMA 2 這樣的“認知層”，負責(zé)理解任務(wù)、推理和規(guī)劃；下層是專門的運動控制系統(tǒng)，負責(zé)關(guān)節(jié)運動、力控制等底層執(zhí)行。這種分層架構(gòu)在工業(yè)界已有先例，如 NVIDIA 的 Isaac 機器人平臺就采用類似設(shè)計。理論上，SIMA 2 學(xué)到的“找到紅色物體”“使用工具”“導(dǎo)航到目標(biāo)”等高層技能是跨越虛擬和現(xiàn)實的，而關(guān)鍵是如何將這些抽象能力映射到物理動作上。對此，我們尚保持謹慎的樂觀。

但無論如何，SIMA 2 所展示的研究方向還是非常具有價值的：用多樣化的虛擬環(huán)境訓(xùn)練、用大語言模型增強推理、用自我改進減少對人類數(shù)據(jù)的依賴。這個方向的可行性和上限值得期待，但也還需要更多研究來驗證。它是具身 AI 領(lǐng)域的一個重要節(jié)點，但不是終點。虛擬世界與真實世界之間的鴻溝，在可預(yù)見的未來仍然存在。

目前，SIMA 2 僅作為“有限研究預(yù)覽”發(fā)布，只向小范圍的學(xué)術(shù)機構(gòu)和游戲開發(fā)者開放訪問。

參考資料：

1.https://deepmind.google/blog/sima-2-an-agent-that-plays-reasons-and-learns-with-you-in-virtual-3d-worlds/

2.https://www.technologyreview.com/2025/11/13/1127921/google-deepmind-is-using-gemini-to-train-agents-inside-goat-simulator-3/

運營/排版：何晨龍