“原神，啟動！”這句玩家圈耳熟能詳?shù)墓＃缃癖灰粋€AI給實現(xiàn)了，字節(jié)跳動Seed團隊最近推出的Lumine智能體，還別說，我覺得真有點厲害。

它不光能在《原神》里自主完成長達五個小時的主線劇情，還會戰(zhàn)斗、解謎、開寶箱、和NPC聊天，甚至能連續(xù)玩七個小時的《崩壞：星穹鐵道》都不在話下。

更驚人的是，你不僅能清楚看到它的“思路”是如何推演的，還能直觀的看見它對鼠標與鍵盤進行一系列抽象化、可解釋的操作過程，完全模仿了人類玩家的行為。

這就讓人有點好奇了：現(xiàn)在的AI已經(jīng)發(fā)展到這個水平了？

▌游戲高手

作為一個AI，Lumine在《原神》里的表現(xiàn)確實可圈可點，它不僅能在蒙德地區(qū)完成了五小時的主線劇情，還能在完全沒訓(xùn)練過的璃月區(qū)域自主探索，甚至成功抵達了璃月港并拜訪深山中的仙人居所。

說實話，對于一個AI來說，能在這么復(fù)雜開放的世界里不迷路就已經(jīng)很不容易了。

戰(zhàn)斗方面，Lumine也展現(xiàn)出了超乎預(yù)期的能力，它能夠動態(tài)的追蹤敵人位置，用弓箭精準射擊遠處的目標，流暢切換角色進行連招攻擊，甚至在戰(zhàn)斗后，還能記得去尋找并開啟寶箱。

面對BOSS戰(zhàn)的時候，它也不只是無腦的輸出，而是真的能理解并應(yīng)對特定機制，比如躲避風(fēng)魔龍的攻擊、抓住時機，攻擊弱點。

我印象最深的是，它處理游戲里那些令人頭疼的解謎能力，比如演示中的它，能夠沿著風(fēng)場的方向收集風(fēng)神瞳，切換角色為凱亞，不斷釋放E技能凍結(jié)水面來收集浮在水面上的風(fēng)神瞳；

這種操作需要精確的空間感知和時機把握，感覺很多真人玩家都未必能一次就成功。

▌跨游戲打工

如果說Lumine只會在《原神》里折騰，那可能還只算是個“專才”。但它真正厲害的地方在于強大的跨游戲泛化能力——說白了，就是它還能用同一套大腦玩轉(zhuǎn)多款不同的游戲。

在《崩壞：星穹鐵道》里，Lumine通關(guān)了黑塔空間站第一章全部主線任務(wù)，大概花了7小時左右。

雖然比人類玩家的平均速度慢了2.3小時，但考慮到這也是它第一次玩，而且《崩鐵》是和《原神》完全是不同類型的回合制游戲，這個表現(xiàn)已經(jīng)的相當驚人了。

而在另一款開放世界游戲《鳴潮》中，Lumine完成了約100分鐘的主線劇情，有趣的是，由于基礎(chǔ)模型的知識庫截止時間，早于《鳴潮》上線，它在推理的時候還會借用《原神》的術(shù)語來描述《鳴潮》的內(nèi)容。

更讓人意想不到的是，團隊居然還對Lumine在《黑神話：悟空》里的表現(xiàn)進行了測試，盡管沒有能夠完成整個挑戰(zhàn)，不過它在新手教程以及第一章的前半部分堅持了2.1小時，完成的比例達到了85.7%。

考慮到這款游戲的高難度和寫實畫風(fēng)對AI視覺識別的干擾，能取得這個成績也已經(jīng)相當不容易了。

▌技術(shù)揭秘

那么，Lumine是怎么做到這些的呢？我認為關(guān)鍵可能在于它模仿了人類玩家的學(xué)習(xí)方式。

Lumine采用了三階段訓(xùn)練的流程：首先用1731小時的人類游戲數(shù)據(jù)預(yù)訓(xùn)練，學(xué)會根據(jù)游戲的畫面輸出鍵鼠操作；然后用200個小時的指令跟隨數(shù)據(jù)，將語言和操作對應(yīng)；

最后再用15個小時的推理數(shù)據(jù)，讓模型具備靈活思考的能力。

這種訓(xùn)練的方式實際上就跟我們?nèi)祟悓W(xué)玩游戲差不多：先是把基本的操作給熟悉了，接著學(xué)會按照指示去完成任務(wù)，最后能夠自己動腦子去解決那些復(fù)雜的問題。

值得一提的是，Lumine的效率也很高，它以5Hz的頻率處理原始圖像（也就是每秒處理5幀），同時還能以30Hz的頻率生成精確的鍵盤鼠標操作。

關(guān)鍵就是，它不是始終處在“思考”這種狀態(tài)里，而是只有在有需求的時候，才會去進行復(fù)雜的推理。這樣的話，既可以節(jié)省計算所需要的資源，又能夠保證行動的流暢性。

▌背后的代價

當然，培養(yǎng)這么一個AI游戲高手的代價也是相當高昂的，根據(jù)公開的資料，訓(xùn)練整個Agent模型需要64塊H100顯卡，成本至少1500萬元。

要是再把AI領(lǐng)域那高昂的人力成本算進去，那么整個項目推進下來，最少也得耗費好幾千萬。

單單是用于推理的主機，就搭載了4塊H20顯卡，價格超過30萬人民幣，所以這些可不是普通玩家或者小團隊就能負擔得起的投入。

那么，花這么大代價搞一個會玩游戲的AI，字節(jié)游戲到底圖什么呢？在我看來，游戲可能是訓(xùn)練通用AI的最佳試驗場。

當一個智能體能夠在《原神》這樣的復(fù)雜世界中看屏幕、按鍵鼠完成數(shù)小時任務(wù)的時候，它本質(zhì)上已經(jīng)掌握了“屏幕智能”或者說“UI智能”的能力。

《原神》

而這種能力也完全可以遷移到其他的軟件上——比如說網(wǎng)頁瀏覽、辦公軟件操作、3D建模工具使用等等，想象一下，如果未來的AI能夠像玩《原神》那樣熟練地使用Photoshop、Excel或者編程的軟件，那對我們的工作效率會是多大的提升。

再從更實際的角度來看，Lumine這類技術(shù)至少可以在兩個領(lǐng)域立即發(fā)揮作用：自動化游戲測試和反推游戲的設(shè)計。

傳統(tǒng)的游戲測試比較依賴人力，而AI可以24小時不間斷的工作，模擬真實玩家的復(fù)雜操作，高效地發(fā)現(xiàn)極端情況下的BUG，同時，再通過分析AI玩游戲的數(shù)據(jù)，設(shè)計師也能更好地了解玩家的行為，優(yōu)化游戲的體驗。

*每天推送游戲資訊、新游推薦、游戲雜談等，帶你了解不一樣的游戲世界。