以下文章來源于騰訊游戲?qū)W堂，作者騰訊游戲?qū)W堂

2024年11月，騰訊游戲光子工作室群在研Future項(xiàng)目制作人賀志強(qiáng)走進(jìn)中國美術(shù)學(xué)院，分享AI如何賦能游戲。本文系騰訊游戲高校公開課制作人宣講-中國美術(shù)學(xué)院專場內(nèi)容摘錄。

近兩三年AI在整個(gè)社會(huì)的影響力非常大，涉及方方面面。很多人都體驗(yàn)過AI的內(nèi)容，甚至用AI工具在協(xié)助工作生產(chǎn)。在游戲里面，我們希望用AI去賦能游戲。所以在目前在研的項(xiàng)目中，我們用AI來輔助完善研發(fā)，包括AI生成舞蹈、視頻AI動(dòng)捕、故事引擎、AI繪畫、AI建造以及AI捏臉。

視頻AI動(dòng)捕

先介紹AI的視頻動(dòng)捕。動(dòng)作資源是我們做游戲用得非常多的一個(gè)資源。動(dòng)作的制作過往主流的方式有兩種，第一種是手K ，第二種是用動(dòng)捕室物理設(shè)備進(jìn)行動(dòng)捕。這兩種方式都會(huì)有一些缺點(diǎn)和門檻，第一個(gè)是制作周期非常長，第二個(gè)是成本非常貴。所以我們在想有沒有可能用更低成本、更高效的方式來制作動(dòng)捕？為此我們自研了一個(gè)技術(shù)，叫 AI 視頻動(dòng)捕。它的使用非常簡單，就是用普通的手機(jī)，找一個(gè)干凈的環(huán)境，大概用五到九臺(tái)手機(jī)去做一個(gè)視頻動(dòng)作的拍攝。拍攝完了以后，導(dǎo)入到工具，它就可以生成我們的視頻動(dòng)畫。再通過視頻動(dòng)畫給游戲角色做匹配，落地到項(xiàng)目中使用。這個(gè)工具非常好用，尤其在快速驗(yàn)證一些相關(guān)玩法的時(shí)候，這個(gè)生產(chǎn)工具非常有效。那么 AI 起什么作用呢？AI把視頻里的動(dòng)作幀提取出來，同時(shí)多個(gè)攝像機(jī)能夠用 AI 的方式在3D 空間進(jìn)行還原，進(jìn)行世界坐標(biāo)系的重構(gòu)。

視頻AI動(dòng)捕功能完成之后，我們希望把技術(shù)加以最大化，能夠應(yīng)用到更廣泛的領(lǐng)域，產(chǎn)生更多的價(jià)值。我們跟NBA合作，把NBA的線下球賽搬到游戲里。球賽直播的觀看區(qū)別于電視，它是360度無死角的觀看，其次可以用游戲化的方式來表達(dá)線下比賽的內(nèi)容。我們在NBA的比賽現(xiàn)場，搭建了九個(gè)普通的攝像機(jī)，通過視頻AI動(dòng)捕的能力，把比賽放到游戲世界里。

我們組織了一場線上年會(huì)，組織大家一起觀看NBA比賽直播，并且圍繞NBA比賽做了游戲化處理，大家進(jìn)行現(xiàn)場競猜。不同地區(qū)的人可以在一個(gè)場地觀看比賽和互動(dòng)，突破了距離限制。而且同一場比賽可以做出不同的風(fēng)格呈現(xiàn)，比如說有人喜歡二次元，球員可以二次元化；有人喜歡科幻風(fēng)，球員可以用科幻的方式呈現(xiàn)。同一場比賽，它的過程結(jié)果一模一樣，但是它呈現(xiàn)出來的效果不一樣。

AI生成舞蹈

我們在游戲里利用AI去豐富娛樂化的內(nèi)容，比如說在房子里面要舉辦一場生日party，想要有一些舞蹈的環(huán)節(jié)，但這些舞蹈的環(huán)節(jié)很難去實(shí)現(xiàn)，因?yàn)閯?dòng)作多，實(shí)現(xiàn)成本也非常高。有沒有可能用 AI 的方式生成舞蹈呢？我們做了AI舞蹈生成。它的過程很簡單，就是選擇任意的歌曲，通過 AI 技術(shù)將這些音樂轉(zhuǎn)換成與其風(fēng)格和節(jié)奏相匹配的舞蹈動(dòng)畫。整個(gè)過程非?？?，上傳加AI 處理的時(shí)長在幾分鐘內(nèi)。

那么在家園里搞生日party，能不能邀請某個(gè)喜愛的明星出席？AI生成舞蹈也支持把舞蹈角色變成我們指定的角色，進(jìn)行風(fēng)格化處理，還可以落地在動(dòng)物上或者生成舞蹈走位。

AI捏臉

前面介紹的是視頻AI動(dòng)捕和AI生成舞蹈，游戲里面經(jīng)常用的還有AI捏臉。之前在捏臉的時(shí)候發(fā)現(xiàn)有很多用戶反饋，非常喜歡某一種風(fēng)格或者某一種類型的臉型或者外觀，但是當(dāng)動(dòng)手去捏的時(shí)候，很難把它還原。所以基于 AI 的方式，我們希望能夠讓用戶更便捷地實(shí)現(xiàn)。那么這種方式是什么呢？就是你通過用自然語言來表達(dá)想捏一個(gè)什么樣的風(fēng)格、帶有什么性格的關(guān)鍵詞給到 AI，AI自動(dòng)化地幫用戶去生成類似的臉型外觀以及配飾等，通過這種自然語言交互的方式生成初版的樣貌，再基于樣貌進(jìn)行微調(diào)。

AI Agent

接著是AI Agent。因?yàn)锳IGC的蓬勃發(fā)展，發(fā)現(xiàn)它越來越智能，所以我們在想它和我們的游戲能怎么結(jié)合呢？能不能讓我們的NPC變得更智能？原先我們的NPC是給它一些輸入，NPC給反饋，但這些反饋的基本上是寫死的代碼，能做的事是有限的。那能不能讓這個(gè)事情變得更加擬人化，有更大的功能和更廣泛的使用？所以我們想用 AI Agent來實(shí)現(xiàn)我們的智能NPC。這里需要有自然語言處理能力，有記憶能力（記得住玩家聊過的事情、說話的風(fēng)格和用戶的性格）。其次我們希望NPC去驅(qū)動(dòng)劇情發(fā)展，所以需要有行動(dòng)能力，能識別指令，做對應(yīng)的動(dòng)作。所以我們做了類似的技術(shù)架構(gòu)，把AI能力做封裝，提供調(diào)用平臺(tái)，做相關(guān)的技術(shù)框架封裝以后給用戶體驗(yàn)使用。

舉一些例子來說明，前面提到了玩家和 NPC 之間，不管以前還是現(xiàn)在，它的訪問方式很簡單，就是玩家給輸入，NPC給反饋，但有了智能NPC之后，我們希望NPC不是一個(gè)工具人，玩家和NPC之間的溝通是基于一個(gè)自然語言，或者文字或者語音。我們的故事引擎是一個(gè)大語言模型的解釋器，能把這個(gè)語言轉(zhuǎn)換成相應(yīng)的指令，能驅(qū)動(dòng)NPC 做更加豐富的表情,更多的動(dòng)作反饋和更穩(wěn)定的人設(shè)風(fēng)格，比如律師說出來的話像律師，醫(yī)生說出來的話像醫(yī)生。這里涉及到表情、動(dòng)作、人設(shè)、行為邏輯，這些內(nèi)容都是在下面封裝了一層解釋器，這些解釋器各自做不同的內(nèi)容進(jìn)行組合以后，NPC就能夠有比較強(qiáng)的智能語感。這是我們這個(gè)故事里面運(yùn)用的邏輯說明。

那怎么使用呢？為了提供一個(gè)工具和平臺(tái)讓用戶的想法能夠更快速落地，我們把故事引擎做了工具化的處理。以前面提到的生日party為例，生日party需要有主題、有故事背景，并且基于故事背景設(shè)置任務(wù)，圍繞任務(wù)做相關(guān)的互動(dòng)和游戲的行為。類似這個(gè)過程放在以往制作成本很高，所以我們做了AI的故事引擎能力。玩家輸入故事，就能自動(dòng)生成任務(wù)框架，包括任務(wù)對應(yīng)的完成的條件和對應(yīng)的獎(jiǎng)勵(lì)都會(huì)自動(dòng)生成。如果對生成的內(nèi)容不滿意可以重新生成。生成完再點(diǎn)下一步，它會(huì)自動(dòng)匹配對應(yīng)的NPC角色。AI NPC的狀態(tài)屬性也可以做自動(dòng)化設(shè)置，比如說身份、任務(wù)條件以及行為。生成后把NPC放在生日party現(xiàn)場它就成為一個(gè)任務(wù)NPC。玩家可以用自然語言和NPC 對話來觸發(fā)任務(wù)和執(zhí)行完成任務(wù)，完成任務(wù)以后再去找NPC來去交付任務(wù)和獲取獎(jiǎng)勵(lì)。

NPC不是一個(gè)靜態(tài)的個(gè)體，它有運(yùn)動(dòng)軌跡，有交互行為。我們希望這個(gè)故事引擎能夠根據(jù)世界中的偶然事件、基礎(chǔ)背景設(shè)定，系統(tǒng)自動(dòng)生成任務(wù)和NPC交互行為。比如NPC在行走過程中被車撞了，撞到后AI會(huì)自動(dòng)生成一個(gè)任務(wù)，讓玩家去追蹤到肇事者，并且給肇事者一點(diǎn)教訓(xùn)，玩家可以通過自然語言對話和接收任務(wù)，在完成任務(wù)后找到NPC獲得獎(jiǎng)勵(lì)。整個(gè)過程是AI生成無人為干涉的。

AI在游戲里面改變玩家需求體驗(yàn)，給我們提供更豐富的內(nèi)容。但到現(xiàn)在為止，還沒有出現(xiàn)殺手級應(yīng)用，現(xiàn)在的AI有什么問題？第一，成本。算力成本非常高。第二，性能。如果大量用戶用 AI 的行為去溝通，性能是扛不住。第三，時(shí)延。NPC回復(fù)慢，不是很好的體驗(yàn)，對于交互是一個(gè)很大的挑戰(zhàn)。最主要的是不可控，即便是一樣的輸入，輸出也可能不一致，會(huì)存在細(xì)微的差別。另外AI角色的人設(shè)在游戲運(yùn)行中會(huì)丟失，存在不穩(wěn)定。但這些問題相信不久的將來都能解決。