當(dāng)你在《我的世界》中辛苦搭建建筑，卻被一個智能體輕松超越；當(dāng)你還在《神廟逃亡》中為避開障礙手忙腳亂，某個AI已經(jīng)實現(xiàn)無限連跳；當(dāng)一款全新的3D網(wǎng)頁游戲剛上線，無需任何適配，就有智能體直接零樣本上手——你或許會疑惑，游戲AI已經(jīng)進(jìn)化到這種程度了？答案是肯定的。字節(jié)跳動Seed團隊打造的通用型游戲智能體Game-TARS，打破了傳統(tǒng)游戲AI的局限，以“人類自然交互”為核心，用鍵盤和鼠標(biāo)真正“玩”轉(zhuǎn)各類游戲，甚至在多個任務(wù)中超越了GPT-5、Gemini-2.5-Pro等頂尖大模型。它的出現(xiàn)，不僅重新定義了游戲智能體的發(fā)展方向，更讓通用人工智能在交互層面邁出了關(guān)鍵一步。

顛覆傳統(tǒng)：從“調(diào)用函數(shù)”到“親手操作”的革命

傳統(tǒng)游戲智能體的“短板”早已顯而易見：它們更像“規(guī)則執(zhí)行者”，而非“游戲玩家”。為了適配不同游戲，開發(fā)者需要為AI定制專屬動作集——在代碼層面，它們可以直接調(diào)用“搜索”“拾取”等函數(shù)，跳過實際操作步驟；在圖形界面層面，也只能執(zhí)行“雙擊”“熱鍵觸發(fā)”等封裝好的固定動作。這種“開掛式”的操作邏輯雖然高效，卻極度缺乏通用性。一旦換個操作系統(tǒng)、換款游戲，甚至只是調(diào)整了按鍵設(shè)置，這些AI就會瞬間“失靈”，淪為只能在特定環(huán)境中工作的“專用工具”。

Game-TARS的核心創(chuàng)新，就是徹底拋棄了這種定制化思路，讓AI像人一樣通過最底層的鍵盤和鼠標(biāo)動作與游戲交互。它的動作指令集只有三類：鼠標(biāo)相對移動（mouseMove）、鼠標(biāo)點擊（mouseClick）和鍵盤按鍵（keyPress），涵蓋了人類操作電腦的所有基礎(chǔ)動作——從《星露谷》中精準(zhǔn)點擊作物澆水，到FPS游戲中快速轉(zhuǎn)身瞄準(zhǔn)，再到《神廟逃亡》里的左右滑動與跳躍，全靠這些基礎(chǔ)動作組合完成。

這種設(shè)計實現(xiàn)了關(guān)鍵的“人類自然交互”（Human-NativeInteraction）：AI的操作方式與具體游戲、操作系統(tǒng)完全解耦，就像一個熟悉鍵鼠的玩家，無論面對什么新環(huán)境，都能憑借基礎(chǔ)操作快速適應(yīng)。正是這種與人類物理交互方式的直接對齊，讓Game-TARS擺脫了“專屬工具”的定位，成為真正的“通用玩家”。

硬核技術(shù)：5000億數(shù)據(jù)+創(chuàng)新算法，撐起跨域泛化能力

Game-TARS的通用性并非憑空而來，背后是字節(jié)Seed團隊在數(shù)據(jù)、模型和算法上的三重發(fā)力。作為一款通用智能體，它的訓(xùn)練基礎(chǔ)是超5000億標(biāo)注量級的多模態(tài)數(shù)據(jù)，涵蓋了操作系統(tǒng)、網(wǎng)頁和各類模擬環(huán)境，相當(dāng)于讓AI“浸泡”在海量的交互場景中學(xué)習(xí)。但海量數(shù)據(jù)只是基礎(chǔ)，要實現(xiàn)高效學(xué)習(xí)和跨域泛化，還需要創(chuàng)新算法的支撐。

稀疏推理：像人一樣“關(guān)鍵時刻深思考”

人類玩游戲時，不會每一個動作都反復(fù)糾結(jié)，而是會在關(guān)鍵節(jié)點集中注意力思考——比如FPS游戲中發(fā)現(xiàn)敵人時，會快速判斷射擊角度和時機；《我的世界》中遇到危險時，會立刻規(guī)劃逃跑路線。Game-TARS借鑒了這種認(rèn)知模式，提出了“稀疏推理”（Sparse-Thinking）機制：AI只在關(guān)鍵決策點交錯進(jìn)行推理和行動，而非全程高頻思考。

為了實現(xiàn)這一機制，團隊采用了“離線思維鏈+在線邊做邊說”的訓(xùn)練方式：標(biāo)注者在執(zhí)行游戲任務(wù)時，通過音頻實時表達(dá)思考過程，系統(tǒng)同步錄制屏幕幀、鍵鼠操作和音頻，再通過語音轉(zhuǎn)文字和大模型優(yōu)化，生成原生的推理-動作序列。同時，以鼠標(biāo)光標(biāo)為視覺錨點，精準(zhǔn)對齊每個動作與執(zhí)行幀，確保推理和動作的因果一致性。這種訓(xùn)練讓AI學(xué)會了“該省則省、該精則精”，既提高了決策效率，又讓動作更符合人類邏輯。

衰減持續(xù)損失：打破“行為慣性”困局

傳統(tǒng)AI訓(xùn)練中，容易出現(xiàn)“行為慣性”問題——比如在《神廟逃亡》中一直向左滑動，或者在開放世界游戲中反復(fù)繞圈，難以主動嘗試新動作。為了解決這一問題，Game-TARS引入了“衰減持續(xù)損失”（decayingcontinualloss）算法：對連續(xù)重復(fù)的動作按指數(shù)降低權(quán)重，讓模型更關(guān)注高熵的動作轉(zhuǎn)變。

這一設(shè)計模擬了人類的探索本能：就像玩家不會一直重復(fù)無效動作，AI也會主動嘗試新的操作組合，從而學(xué)習(xí)到更穩(wěn)健、泛化能力更強的策略。搭配統(tǒng)一的鍵鼠動作空間，這種算法讓Game-TARS在面對未見過的3D網(wǎng)頁游戲時，能快速探索有效操作，實現(xiàn)零樣本遷移。

兩階段訓(xùn)練：從“廣泛學(xué)習(xí)”到“精準(zhǔn)提升”

Game-TARS的訓(xùn)練分為持續(xù)預(yù)訓(xùn)練和后訓(xùn)練兩個階段。預(yù)訓(xùn)練階段在2萬小時的游戲數(shù)據(jù)上完成，讓AI掌握基礎(chǔ)的交互能力和稀疏推理邏輯；后訓(xùn)練階段則重點提升三大核心能力：指令遵循（即使按鍵綁定被隨機替換，也能通過提示理解動作語義）、稀疏思維強化（在關(guān)鍵步驟深化推理）和長期記憶（通過雙層記憶機制保存關(guān)鍵信息）。

更重要的是，后訓(xùn)練還引入了代碼生成、GUI自動化等跨領(lǐng)域數(shù)據(jù)，讓Game-TARS從“游戲玩家”升級為“多功能通用計算機用戶”——這意味著它的能力不僅限于游戲，未來還能應(yīng)用于更多需要鍵鼠交互的場景。

實力驗證：跨類型游戲碾壓頂尖模型，泛化能力拉滿

衡量一款通用游戲智能體的核心標(biāo)準(zhǔn)，是跨類型、跨環(huán)境的表現(xiàn)。Game-TARS在多項測試中交出了亮眼答卷：在《我的世界》中，它能與普通玩家同臺競技，完成建筑搭建、資源采集等復(fù)雜任務(wù)，表現(xiàn)比此前最先進(jìn)的專家模型提升約2倍；在《神廟逃亡》《星露谷》等不同類型的游戲中，無需定制適配，就能快速上手并達(dá)到熟練玩家水平；在未見過的3D網(wǎng)頁游戲中，更是實現(xiàn)了零樣本遷移，直接通過鍵鼠操作完成游戲目標(biāo)。

在FPS、開放世界、WEB游戲等主流任務(wù)中，Game-TARS的表現(xiàn)超越了GPT-5、Gemini-2.5-Pro、Claude-4-Sonnet等頂尖大模型。這一結(jié)果證明：基于統(tǒng)一鍵鼠動作空間的訓(xùn)練思路，不僅能實現(xiàn)通用性，還能在專項任務(wù)中達(dá)到甚至超越專用模型的水平。更重要的是，它在訓(xùn)練和推理過程中都展現(xiàn)出了優(yōu)秀的可擴展性——隨著數(shù)據(jù)量的增加和場景的豐富，其性能還在持續(xù)提升。

未來可期：從游戲玩家到通用智能體的無限可能

Game-TARS的意義，遠(yuǎn)不止于“讓AI會玩更多游戲”。它所確立的“人類自然交互”范式，為通用人工智能的發(fā)展提供了重要參考：未來的AI無需依賴定制化接口，只需通過人類最熟悉的交互方式（鍵鼠、語音、手勢等），就能適配各類場景。

從應(yīng)用場景來看，Game-TARS已經(jīng)展現(xiàn)出了多元潛力：除了游戲領(lǐng)域，它還能應(yīng)用于軟件自動化測試（模擬用戶操作檢測bug）、遠(yuǎn)程辦公輔助（自動完成重復(fù)鍵鼠操作）、無障礙輔助（為特殊人群提供智能操作支持）等多個領(lǐng)域。而其核心技術(shù)——稀疏推理、多模態(tài)數(shù)據(jù)融合、跨域泛化能力，也將為更多通用智能體的研發(fā)提供借鑒。

值得一提的是，這款硬核智能體的第一作者是北京大學(xué)人工智能研究院的博士生王子豪，他在字節(jié)跳動Seed團隊擔(dān)任研究實習(xí)生期間，主導(dǎo)了核心技術(shù)的研發(fā)。這一成果既是產(chǎn)學(xué)研結(jié)合的典范，也展現(xiàn)了年輕研究者在通用人工智能領(lǐng)域的創(chuàng)新實力。

隨著技術(shù)的持續(xù)迭代，未來的Game-TARS或許能像人類玩家一樣，在游戲中展現(xiàn)出創(chuàng)造力和策略性——比如在《我的世界》中搭建出獨一無二的建筑，在開放世界游戲中探索未知的隱藏劇情。而更長遠(yuǎn)來看，這種“像人一樣交互”的通用智能體，終將突破游戲的邊界，成為人類在數(shù)字世界中的得力助手，推動通用人工智能走向更貼近生活的新階段。