本文第一作者是中國人民大學(xué)高瓴人工智能學(xué)院 2021 級博士生王希華（導(dǎo)師宋睿華），他的主要研究興趣方向是多模態(tài)生成。本文通訊作者是宋睿華長聘副教授，她的 AIMind 團(tuán)隊(duì)主要研究方向是多模態(tài)感知、交互與生成。

背景：從「噪聲到聲音」到「視頻到聲音」

在多模態(tài)生成領(lǐng)域，由視頻生成音頻（Video-to-Audio，V2A）的任務(wù)要求模型理解視頻語義，還要在時(shí)間維度上精準(zhǔn)對齊聲音與動態(tài)。早期的 V2A 方法采用自回歸（Auto-Regressive）的方式將視頻特征作為前綴來逐個(gè)生成音頻 token，或者以掩碼預(yù)測（Mask-Prediction）的方式并行地預(yù)測音頻 token，逐步生成完整音頻。

這兩種方法都依賴于音頻的離散化表示，而離散化處理往往由于信息損失會限制音質(zhì)上限。

最近主流方法大多采用擴(kuò)散模型或流匹配架構(gòu)，通過「從噪聲生成音頻」的方式來實(shí)現(xiàn)視頻驅(qū)動的聲音合成。這種方式不依賴離散 token 表征，直接在連續(xù)的隱空間進(jìn)行建模。通過采樣隨機(jī)噪聲，并將視頻信息作為條件，模型從噪聲中逐步去噪，最終生成音頻。但是這樣的范式仍然存在兩個(gè)天然瓶頸：

1. 同一視頻條件下的多對一映射：在訓(xùn)練階段，模型被訓(xùn)練從不同的采樣噪聲中預(yù)測同一個(gè)音頻，多對一的映射關(guān)系增加了訓(xùn)練難度；推理階段，由于不同噪聲樣本通過 ODE 求解得到的推理結(jié)果差異較大，生成的音頻質(zhì)量難以保持一致，甚至出現(xiàn)「抽獎」現(xiàn)象。
2. 不同視頻條件下的一對多映射：在訓(xùn)練和推理階段，模型被要求從相同的采樣噪聲出發(fā)只根據(jù)不同視頻條件生成不同的音頻，這要求模型具備極強(qiáng)的條件處理能力。

主流擴(kuò)散模型或流匹配架構(gòu)的挑戰(zhàn)

因此，模型需要從隨機(jī)噪聲中逐步「聽懂」視頻，這一過程依賴復(fù)雜的條件機(jī)制，導(dǎo)致路徑復(fù)雜、訓(xùn)練低效且生成結(jié)果不穩(wěn)定。

在這一背景下，中國人民大學(xué)宋睿華帶領(lǐng)的 AIMind 團(tuán)隊(duì)與值得買科技 AI 團(tuán)隊(duì)提出了一個(gè)全新的框架 —— VAFlow。研究者提出：既然從噪聲到聲音依賴復(fù)雜的視頻條件機(jī)制并且有上述局限，為什么不直接從視頻出發(fā)生成聲音？

基于這一思路，團(tuán)隊(duì)設(shè)計(jì)了一個(gè)直接建?！敢曨l→音頻」映射的跨模態(tài)流匹配框架 VAFlow。它擺脫了對高斯噪聲先驗(yàn)的依賴，首次實(shí)現(xiàn)了從視頻分布直接生成音頻的范式轉(zhuǎn)變，并在生成質(zhì)量、語義對齊與同步精度上取得了顯著突破。該研究已正式發(fā)表于 ICCV 2025。

不同生成范式對比

• 論文鏈接：https://openaccess.thecvf.com/content/ICCV2025/papers/Wang_VAFlow_Video-to-Audio_Generation_with_Cross-Modality_Flow_Matching_ICCV_2025_paper.pdf
• 主頁地址：https://vaflow.github.io/demo/

VAFlow：讓視頻直接「流」向聲音

流匹配（Flow Matching）作為多媒體領(lǐng)域主流的生成算法，它學(xué)習(xí)一條從起點(diǎn)分布到目標(biāo)分布的最優(yōu)傳輸線路，模型沿著路線一步步把原始分布映射到目標(biāo)分布。主流的流匹配方法中，模型往往將隨機(jī)采樣的高斯噪聲作為起點(diǎn)，以視頻為條件輸入，逐步將噪聲映射到音頻分布，這種范式對模型的條件建模能力提出了很大的挑戰(zhàn)。而 VAFlow 的核心思想簡單又直觀：不再從噪聲出發(fā)，而是直接從視頻出發(fā)，首次實(shí)現(xiàn)了視頻分布到音頻分布的直接映射。

這意味著模型不再從噪聲中解讀視頻條件「猜測」聲音，而是順著視頻的信息流自然生成聲音，讓視覺與聽覺真正合而為一。

VAFlow 框架圖

VAFlow 的框架由兩個(gè)關(guān)鍵模塊組成：

• 跨模態(tài)對齊自編碼器（Alignment VAE）：流匹配模型要求路徑兩端的分布形狀相同，而視頻和音頻之間的時(shí)序和特征維度都存在差異。因此 VAFlow 借助跨模態(tài)對齊的變分自編碼器調(diào)整視頻特征以匹配音頻特征，解決了視頻與音頻在時(shí)間長度和特征維度上的不匹配問題。
• 視頻驅(qū)動的流匹配生成器（Video-Conditioned Flow Matching Estimator）：VAFlow 采用 Diffusion transformer (DiT) 架構(gòu)，直接在視頻分布與音頻分布之間學(xué)習(xí)最優(yōu)傳輸路徑，避免了傳統(tǒng)噪聲先驗(yàn)帶來的不穩(wěn)定效果。

除此之外，VAFlow 保留了 DiT 結(jié)構(gòu)中的交叉注意力層，讓模型能夠在流匹配采樣過程中持續(xù)融合原始視頻特征，同時(shí)支持推理過程中的無分類器引導(dǎo)。

先驗(yàn)分析：為什么「視頻先驗(yàn)」（V-Prior）更優(yōu)？

為了驗(yàn)證「以視頻為先驗(yàn)」的合理性，團(tuán)隊(duì)對比分析了高斯先驗(yàn) (Gaussian Prior) 與視頻先驗(yàn) (V-Prior)的表現(xiàn)，從統(tǒng)計(jì)特性、可視化結(jié)構(gòu)和生成質(zhì)量三方面展開實(shí)驗(yàn)。

統(tǒng)計(jì)對齊性分析

研究者計(jì)算了先驗(yàn)與音頻潛向量之間的 均方誤差（MSE） 和 中心核對齊度（CKA），并在有條件（Cond.）與無條件（Uncond.）兩種設(shè)置下訓(xùn)練模型。結(jié)果如下表：

可以看出，V-Prior 與音頻潛空間的對齊度顯著更高（MSE 更低、CKA 更高），同時(shí)生成音質(zhì)（FD）也更優(yōu)。

這說明：視頻先驗(yàn)本身攜帶了更貼近音頻的結(jié)構(gòu)信息，能天然作為更合理的生成起點(diǎn)。

團(tuán)隊(duì)進(jìn)一步利用 t-SNE 將兩種先驗(yàn)與目標(biāo)音頻潛空間進(jìn)行可視化。

不同先驗(yàn)空間及生成過程可視化對比

結(jié)果顯示：

• 高斯先驗(yàn)分布隨機(jī)且離散，其到音頻空間的映射路徑交叉密集；
• 視頻先驗(yàn)分布則與音頻潛空間結(jié)構(gòu)更一致，流動路徑平滑，語義結(jié)構(gòu)更清晰。

這說明視頻先驗(yàn)在空間結(jié)構(gòu)上更貼合目標(biāo)模態(tài)，能有效減少跨模態(tài)傳輸中的「彎路」，實(shí)現(xiàn)更穩(wěn)定、更高效的生成。

性能對比：更快、更穩(wěn)、更強(qiáng)、可規(guī)?；嵘?/p>

Diffusion vs Flow vs VAFlow

作者在相同配置下（視覺特征、網(wǎng)絡(luò)結(jié)構(gòu)、初始化與超參數(shù)完全一致）對比了三種不同的生成范式以探究它們的性能差異。分別為：擴(kuò)散模型（標(biāo)準(zhǔn) DDPM）、主流流匹配模型（高斯噪聲先驗(yàn)）以及 VAFlow（以視頻特征為原始分布）。

結(jié)果表明：兩種流匹配模型在收斂速度與 FD 指標(biāo)上均優(yōu)于擴(kuò)散模型，驗(yàn)證了流匹配在訓(xùn)練效率上的天然優(yōu)勢；而 VAFlow 雖在早期收斂略慢，但最終經(jīng)過聯(lián)合訓(xùn)練階段取得了最低 FD。這種提升得益于它直接建模了更具結(jié)構(gòu)性的視頻 - 音頻傳輸路徑，避免了高斯噪聲先驗(yàn)下的模糊映射。

Scaling Analysis

本文作者發(fā)現(xiàn)，VAFlow 隨模型規(guī)模增大仍保持持續(xù)性能提升，這意味著VAFlow 不僅在小模型上高效，參數(shù)量增加時(shí)同樣穩(wěn)定可拓展，這為未來構(gòu)建更強(qiáng)大的多模態(tài)生成模型奠定了基礎(chǔ)。

Benchmark 結(jié)果：超越現(xiàn)有 SOTA

研究團(tuán)隊(duì)在 V2A 領(lǐng)域常用的數(shù)據(jù)集 VGGSound 上對 VAFlow 和其他基線模型進(jìn)行了對比測試。

實(shí)驗(yàn)結(jié)果顯示，VAFlow 在音頻生成質(zhì)量（Quality）相關(guān)指標(biāo)上全面超越了現(xiàn)有 SOTA，獲得了最佳分?jǐn)?shù)。盡管沒有設(shè)計(jì)復(fù)雜的視頻條件模塊，在音視頻的時(shí)序同步（Sync）和語義相關(guān)性（Semantic）方面，也達(dá)到了與 SOTA 相當(dāng)?shù)男Ч?/p>

值得一提的是，與經(jīng)過文本 - 音頻數(shù)據(jù)增強(qiáng)的 V2A 模型（表格中的灰色行）相比，VAFlow 在沒有任何文本標(biāo)注數(shù)據(jù)的前提下，語義相關(guān)性方面的表現(xiàn)仍能更優(yōu)或相當(dāng)。

真實(shí)效果

作者展示了一個(gè)沙灘場景視頻的例子，該視頻包括背景中的海浪聲和來自不同角色的聲音（人群的嘈雜聲、女人說話）?？梢暬Y(jié)果對比了真值和不同方法生成的音頻的梅爾譜圖。從圖中可以觀察到，VAFlow 不僅能精準(zhǔn)理解復(fù)雜場景并生成所有必要的聲音，而且還能與視覺時(shí)序保持同步。模型的其他生成結(jié)果可在主頁試聽。

總結(jié)與展望

VAFlow 為 V2A 開辟了一條從視頻直接映射到音頻的全新流匹配生成范式，也為構(gòu)建通用跨模態(tài)生成基礎(chǔ)模型提供了新思路。未來，團(tuán)隊(duì)將繼續(xù)探索 VAFlow 在語音、音樂等更廣泛音頻領(lǐng)域的應(yīng)用。