傳統(tǒng) video dubbing 技術(shù)長(zhǎng)期受限于其固有的 “口型僵局”，即僅能編輯嘴部區(qū)域，導(dǎo)致配音所傳遞的情感與人物的面部、肢體表達(dá)嚴(yán)重脫節(jié)，削弱了觀眾的沉浸感?，F(xiàn)有新興的音頻驅(qū)動(dòng)視頻生成模型，在應(yīng)對(duì)長(zhǎng)視頻序列時(shí)也暴露出身份漂移和片段過(guò)渡生硬等問(wèn)題。為解決這些痛點(diǎn)，Infinitetalk 引入 “稀疏幀 video dubbing”。

這一新范式從根本上重新定義了 video dubbing，將其從簡(jiǎn)單的 “嘴部區(qū)域修復(fù)” 轉(zhuǎn)變?yōu)?“以稀疏關(guān)鍵幀為引導(dǎo)的全身視頻生成”。該模型不僅能夠?qū)崿F(xiàn)口型與配音的精準(zhǔn)同步，更實(shí)現(xiàn)了面部表情、頭部轉(zhuǎn)動(dòng)和肢體語(yǔ)言與音頻所表達(dá)情感的自然對(duì)齊，消除長(zhǎng)視頻生成中的累積誤差和突兀過(guò)渡。

InfiniteTalk 是由美團(tuán)視覺(jué)智能部主導(dǎo)研發(fā)的新型虛擬人驅(qū)動(dòng)技術(shù)，技術(shù)論文、代碼、權(quán)重已開(kāi)源。 美團(tuán)視覺(jué)智能部能圍繞豐富的本地生活電商場(chǎng)景，建設(shè)從基礎(chǔ)通用到細(xì)分領(lǐng)域的視覺(jué)技術(shù)能力，包括視覺(jué)生成大模型、多模交互虛擬人，助力營(yíng)銷創(chuàng)意生產(chǎn)和商家低成本直播；文檔、商品、安全多模態(tài)大模型，助力商家開(kāi)店經(jīng)營(yíng)、平臺(tái)商品治理和違規(guī)賬號(hào)治理；人臉識(shí)別、文字識(shí)別、細(xì)粒度圖像分析、高性能檢測(cè)分割、街景理解成為公司基礎(chǔ)設(shè)施能力。

• 項(xiàng)目主頁(yè)：https://meigen-ai.github.io/InfiniteTalk/
• 開(kāi)源代碼：https://github.com/MeiGen-AI/InfiniteTalk
• 技術(shù)報(bào)告：https://arxiv.org/abs/2508.14033

我們先看示例：

一、引言 ——video dubbing 的一個(gè)長(zhǎng)期痛點(diǎn)

長(zhǎng)期以來(lái)，video dubbing 一直面臨一個(gè)核心的 “僵局”—— 其編輯范圍的局限性。傳統(tǒng)的 video dubbing 技術(shù)，例如 MuseTalk 和 LatentSync，通常專注于對(duì)嘴部區(qū)域進(jìn)行 “修復(fù)式” 編輯，以實(shí)現(xiàn)口型與新音頻的同步。這種方法的主要局限在于，它幾乎不觸及人物的面部表情、頭部轉(zhuǎn)動(dòng)和肢體動(dòng)作。

這種 “局部編輯” 的策略導(dǎo)致了一個(gè)嚴(yán)重的矛盾：當(dāng)配音表達(dá)出強(qiáng)烈的情感（例如激動(dòng)、憤怒或喜悅）時(shí)，視頻中人物的身體姿態(tài)卻保持著僵硬或靜止?fàn)顟B(tài)。例如，一段充滿激情的對(duì)話，人物卻只是面部肌肉輕微抽動(dòng)，身體保持紋絲不動(dòng)。這種視聽(tīng)信息的不一致性會(huì)嚴(yán)重破壞觀眾的沉浸感，使生成的視頻顯得不自然，缺乏說(shuō)服力。這種矛盾感的存在，從根本上制約了配音視頻的質(zhì)量，并成為內(nèi)容創(chuàng)作者亟待解決的難題。如圖 1 所示。

隨著人工智能技術(shù)的發(fā)展，一些音頻驅(qū)動(dòng)的視頻生成模型應(yīng)運(yùn)而生，試圖解決這一問(wèn)題。然而，直接將這些模型應(yīng)用于長(zhǎng) video dubbing 任務(wù)，同樣暴露出新的、且同樣關(guān)鍵的挑戰(zhàn)。

首先是基于圖像轉(zhuǎn)視頻（Image-to-Video, I2V）的方法。這類模型通常以視頻的首幀圖像作為初始參考，然后根據(jù)音頻生成后續(xù)的視頻序列。雖然這種方法在理論上提供了更大的動(dòng)作自由度，但它存在嚴(yán)重的 “累積誤差” 問(wèn)題，如圖 2 (left)。由于模型缺乏持續(xù)的原始關(guān)鍵幀作為錨定，在生成較長(zhǎng)的視頻序列時(shí)，人物的身份特征（如面部細(xì)節(jié)、發(fā)型等）會(huì)逐漸偏離源視頻，甚至背景的色調(diào)也可能發(fā)生不可控的偏移，導(dǎo)致視頻質(zhì)量隨時(shí)間推移而下降。

其次是基于首末幀轉(zhuǎn)視頻（First-Last-frame-to-Video, FL2V）的方法。該方法試圖通過(guò)同時(shí)使用視頻片段的起始幀和終止幀作為參考來(lái)解決累積誤差。然而，這種策略帶來(lái)了另一個(gè)問(wèn)題：過(guò)渡生硬， 如圖 2（right）。FL2V 模型生成過(guò)程缺乏從前一片段向后一片段傳遞的 “動(dòng)量信息”，不同視頻片段之間的動(dòng)作銜接會(huì)顯得突兀和不自然，打破了視頻流的連續(xù)性。與此同時(shí)，其過(guò)于嚴(yán)格地遵循固定的參考幀，強(qiáng)制生成的視頻在片段（chunk）的邊界上精確復(fù)制參考幀的姿態(tài)，即使這種姿態(tài)與新音頻的情感或節(jié)奏相悖。

這兩種主流 AI 方案的局限性揭示了一個(gè)核心矛盾：即 “局部編輯的僵硬” 與 “全局生成的失控”。傳統(tǒng)方法因編輯范圍狹窄而僵硬，而新興的 AI 生成模型則在長(zhǎng)視頻的連貫性上遭遇了挑戰(zhàn)。

二、新的范式：稀疏幀 video dubbing

為了從根本上解決上述挑戰(zhàn)，Infinitetalk 引入了一個(gè)全新的技術(shù)范式 ——“稀疏幀 video dubbing”。這一范式徹底改變了 video dubbing 的技術(shù)哲學(xué)：它不再將任務(wù)定義為對(duì)嘴部區(qū)域的 “修復(fù)”（inpainting），而是將其重構(gòu)為一場(chǎng) “以稀疏關(guān)鍵幀為引導(dǎo)的全身視頻生成”。其核心理念在于，不是逐幀地、僵硬地復(fù)制源視頻，而是策略性地僅保留和利用源視頻中的少數(shù)關(guān)鍵幀（sparse keyframes）作為核心參考。這些關(guān)鍵幀如同 “視覺(jué)錨點(diǎn)”，在生成過(guò)程中發(fā)揮著至關(guān)重要的作用。

為了應(yīng)對(duì)無(wú)限長(zhǎng)度的視頻序列生成任務(wù)，InfiniteTalk 采用了流式（streaming）生成架構(gòu)，整體網(wǎng)絡(luò)框架如圖 4 所示。其工作原理是將一個(gè)超長(zhǎng)視頻分解為多個(gè)小的、可管理的視頻片段（chunks），然后逐一進(jìn)行生成。然而，與簡(jiǎn)單的分段生成不同，InfiniteTalk 的核心在于其精巧設(shè)計(jì)的 “上下文幀”（context frames）機(jī)制。

當(dāng)模型生成一個(gè)新片段時(shí)，它不僅僅依賴于源視頻的參考幀，還會(huì)利用上一段已生成視頻的末尾幀作為下一段生成的 “動(dòng)量信息”。這些上下文幀為新片段的生成提供了必要的 “時(shí)間上下文”，使其能夠承接前一片段的運(yùn)動(dòng)趨勢(shì)和動(dòng)態(tài)，確保動(dòng)作的連續(xù)性和流暢性。這一機(jī)制如同接力賽中的接力棒，將前一棒的沖刺動(dòng)量無(wú)縫傳遞給下一棒，從而徹底解決了傳統(tǒng) FL2V 模型中因缺乏動(dòng)量信息而導(dǎo)致的片段間突兀過(guò)渡問(wèn)題。通過(guò)流式架構(gòu)和上下文幀機(jī)制的結(jié)合，InfiniteTalk 成功地將 “片段生成” 任務(wù)提升為 “連續(xù)流生成”，這是其實(shí)現(xiàn) “無(wú)限長(zhǎng)度” 生成能力的技術(shù)基石。

在 “稀疏幀 video dubbing” 范式下，一個(gè)關(guān)鍵的挑戰(zhàn)是如何在 “自由表達(dá)” 與 “跟隨參考” 之間找到微妙的平衡。過(guò)于嚴(yán)格地復(fù)制參考幀（如 M1 策略）會(huì)導(dǎo)致生成的動(dòng)作僵硬，而如果控制過(guò)于松散（如 M2 策略），則又會(huì)面臨身份和背景失真等問(wèn)題。InfiniteTalk 的核心策略是采用一種 “軟條件”（soft conditioning）控制機(jī)制 。該機(jī)制的核心發(fā)現(xiàn)是，模型的控制強(qiáng)度并非固定不變，而是由 “視頻上下文和參考圖像的相似度” 所決定 ?；谶@一發(fā)現(xiàn)，Infinitetalk 設(shè)計(jì)了一種獨(dú)特的采樣策略，通過(guò) “細(xì)粒度的參考幀定位”（fine-grained reference frame positioning）來(lái)動(dòng)態(tài)調(diào)整控制強(qiáng)度，從而在動(dòng)作自然度與參考幀的保真度之間取得平衡。

如表 3 所示，M0 策略因隨機(jī)采樣而控制強(qiáng)度過(guò)高，導(dǎo)致模型不恰當(dāng)?shù)貜?fù)制參考動(dòng)作，削弱了同步性。M1 策略雖然在視覺(jué)質(zhì)量上表現(xiàn)尚可，但在同步性上表現(xiàn)較差，因?yàn)樗^(guò)于嚴(yán)格地復(fù)制了邊界幀。M2 策略因參考幀與上下文幀的時(shí)間距離過(guò)遠(yuǎn)，導(dǎo)致模型對(duì)身份和背景的控制力不足，最終在視覺(jué)質(zhì)量（FID、FVD）上表現(xiàn)最差。

最終被采納的 M3 策略，通過(guò)在訓(xùn)練中從鄰近分塊（adjacent chunks）中采樣參考幀，找到了一個(gè) “最優(yōu)平衡點(diǎn)”（optimal equilibrium）。這種策略既能確保模型在視覺(jué)上遵循源視頻的風(fēng)格，又能賦予模型根據(jù)音頻動(dòng)態(tài)生成全身動(dòng)作的自由。

此外，該模型還能通過(guò)集成 SDEdit 或 Uni3C 等插件，實(shí)現(xiàn)對(duì)源視頻中微妙的鏡頭運(yùn)動(dòng)（camera movement）的精確保留。這一點(diǎn)至關(guān)重要，因?yàn)樗_保了生成的視頻不僅人物動(dòng)作自然，連畫(huà)面的構(gòu)圖和運(yùn)鏡都與源視頻保持一致，進(jìn)一步提升了視頻的真實(shí)感和連貫性。

三、實(shí)驗(yàn)數(shù)據(jù)與視覺(jué)實(shí)證

為了全面驗(yàn)證 InfiniteTalk 的性能，將其與多個(gè)方法進(jìn)行了對(duì)比。

不同相機(jī)控制方法的對(duì)比：

四、結(jié)語(yǔ)與展望

InfiniteTalk 成功解決了 “僵硬” 與 “斷裂” 兩大痛點(diǎn)。其核心技術(shù) —— 流式生成架構(gòu)、軟條件控制以及全方位同步能力，共同為高質(zhì)量、長(zhǎng)序列的視頻內(nèi)容生成提供了新的解決方案。在短視頻創(chuàng)作、虛擬偶像、在線教育以及沉浸式體驗(yàn)等領(lǐng)域，這項(xiàng)技術(shù)可以為創(chuàng)作者提供強(qiáng)大的工具，以更低的成本、更高的效率生成富有表現(xiàn)力的動(dòng)態(tài)內(nèi)容，徹底打破現(xiàn)有制作流程的瓶頸。