作者張書海是華南理工大學(xué)博士四年級(jí)學(xué)生，主要研究方向?yàn)?AI 生成檢測(cè)、對(duì)抗防御、模型加速等，在人工智能國(guó)際頂級(jí)會(huì)議 NeurIPS、ICML、ICLR、CVPR 和 IJCAI、ICCV 以及領(lǐng)域權(quán)威期刊 IEEE TIP、TCSVT 和 Neural Networks 發(fā)表論文共 15 篇。

隨著生成式 AI（如 Sora）的發(fā)展，合成視頻幾乎可以以假亂真，帶來(lái)了深度偽造與虛假信息傳播的風(fēng)險(xiǎn)?，F(xiàn)有檢測(cè)方法多依賴表層偽影或數(shù)據(jù)驅(qū)動(dòng)學(xué)習(xí)，難以在高質(zhì)量生成視頻中保持較好的泛化能力。其根本原因在于，這些方法大都未能充分利用自然視頻所遵循的物理規(guī)律，挖掘自然視頻的更本質(zhì)的特征。

真實(shí)世界的視覺現(xiàn)象受物理過程支配，而生成模型難以完美遵循這些規(guī)律。因此，基于物理時(shí)空一致性的生成視頻檢測(cè)范式更具普適性和可解釋性。然而，高維時(shí)空物理規(guī)律通常由復(fù)雜偏微分方程刻畫，直接建模這些規(guī)律極具挑戰(zhàn)性，如何構(gòu)建有效的物理驅(qū)動(dòng)的統(tǒng)計(jì)量，仍是核心難題。

本文介紹發(fā)表于 NeurIPS 2025 的文章《Physics-Driven Spatiotemporal Modeling for AI-Generated Video Detection》。

文章從第一性原理出發(fā)，提出了歸一化時(shí)空梯度（NSG）統(tǒng)計(jì)量，通過概率流守恒原理量化視頻空間概率梯度與時(shí)間密度變化的比值，揭示生成視頻中的物理不一致性；理論分析了生成視頻與真實(shí)視頻的NSG 分布差異，證明了生成視頻與真實(shí)視頻在該統(tǒng)計(jì)量的 MMD 距離大于真實(shí)視頻之間的距離；基于該統(tǒng)計(jì)量提出了通用的視頻檢測(cè)方法NSG-VD，該方法對(duì)自然視頻的分布進(jìn)行建模，不依賴特定生成模型，對(duì)未知生成范式（如 Sora）和遷移場(chǎng)景具有較強(qiáng)的檢測(cè)效果。

• 論文鏈接： https://arxiv.org/abs/2510.08073v1
• 代碼鏈接： https://github.com/ZSHsh98/NSG-VD

實(shí)驗(yàn)表明 NSG-VD 方法在 Recall 和 F1-score 指標(biāo)分別超越已有最新方法 16.00% 和 10.75%。

研究背景：

AI 視頻檢測(cè)的困境

盡管生成式 AI 技術(shù)在視頻合成領(lǐng)域取得了突破性進(jìn)展，但檢測(cè)領(lǐng)域的研究卻面臨著新的瓶頸。與圖像不同，視頻同時(shí)包含空間結(jié)構(gòu)與時(shí)間動(dòng)態(tài)兩類復(fù)雜依賴關(guān)系，其真實(shí)演化過程往往受到多種物理約束（如運(yùn)動(dòng)連續(xù)性、能量守恒等）共同支配。要準(zhǔn)確識(shí)別生成視頻，檢測(cè)模型不僅需要理解空間紋理的統(tǒng)計(jì)特征，還必須捕捉時(shí)間維度上連貫且可解釋的變化模式。

然而，現(xiàn)有大多數(shù)檢測(cè)方法仍主要聚焦于表層信號(hào)的不一致性，如局部光流異常或視覺紋理偽影。這些特征在早期生成模型中較為明顯，但在如今高質(zhì)量的視頻生成中已被顯著削弱。另一方面，依賴大規(guī)模標(biāo)注數(shù)據(jù)的深度學(xué)習(xí)方法雖然在特定數(shù)據(jù)集上取得了優(yōu)異表現(xiàn)，卻難以泛化至未見過的生成范式，特別是在新興模型（如 Sora）出現(xiàn)后，檢測(cè)性能會(huì)急劇退化。

因此，當(dāng)前 AI 視頻檢測(cè)的核心困境在于：如何超越表面特征層面的統(tǒng)計(jì)差異，從自然視頻的物理演化規(guī)律出發(fā)，構(gòu)建一種具有普適性性且對(duì)未知生成模型穩(wěn)健的檢測(cè)框架。

基于這一思考，作者提出一個(gè)關(guān)鍵問題：

如何從視頻本身的物理層面刻畫自然視頻的時(shí)空演化規(guī)律，從而揭示生成視頻中極其細(xì)微且潛在的物理異常？

事實(shí)上，真實(shí)世界中物體的運(yùn)動(dòng)遵循著明確的物理約束，例如一輛車從左向右行駛時(shí)，其像素的亮度與位置變化應(yīng)當(dāng)是連續(xù)且符合運(yùn)動(dòng)規(guī)律的。換言之，我們可將視頻的演化過程視為一種「概率流體」的時(shí)空流 —— 真實(shí)視頻中的動(dòng)態(tài)如同穩(wěn)定、連續(xù)的流，而許多 AI 生成的視頻則可能在流上表現(xiàn)出斷裂、抖動(dòng)或其他違反物理一致性的異常。

因此，作者將視頻的演化過程形式化為一種概率流的時(shí)空流動(dòng)，并通過歸一化時(shí)空梯度（NSG）統(tǒng)計(jì)量來(lái)量化這種流的物理一致性。

物理一致性建模：

從概率流守恒到時(shí)空梯度

首先將視頻幀序列建模為高維空間中的概率分布演化過程。設(shè) x 表示視頻幀在空間中的像素表示，t 表示時(shí)間，p (x,t) 為視頻在時(shí)刻 t 的概率密度函數(shù)。類比于流體力學(xué)中的質(zhì)量流動(dòng) [1]，定義概率流密度（probability flow density）：

其中 v (x,t) 表示概率流速度場(chǎng)，描述了概率密度在時(shí)空中的演化方向與速率。

概率質(zhì)量守恒要求系統(tǒng)滿足連續(xù)性方程（continuity equation）[2]，這是物理學(xué)中描述守恒量傳輸?shù)幕痉匠蹋?/p>

將 J (x,t) 代入上式，并對(duì) logp (x,t) 應(yīng)用鏈?zhǔn)椒▌t，整理可得：

該式揭示了速度場(chǎng) v (x,t) 如何同時(shí)編碼概率分布的時(shí)間演化與空間梯度。

歸一化時(shí)空梯度（NSG）統(tǒng)計(jì)量

式（5）表明，真實(shí)視頻會(huì)保持速度場(chǎng)與空間概率梯度對(duì)時(shí)間密度變化比值的乘積恒定?；诖?，定義歸一化時(shí)空梯度（NSG）統(tǒng)計(jì)量：

從物理直覺上看，真實(shí)視頻的 NSG 呈現(xiàn)平滑連續(xù)的「流線」結(jié)構(gòu)，反映出自然運(yùn)動(dòng)的連貫性；而 AI 生成視頻在此過程中出現(xiàn)斷層、抖動(dòng)等非物理現(xiàn)象，即違反了連續(xù)性方程。具體而言：

兩者結(jié)合后，NSG 為不同視頻場(chǎng)景提供了統(tǒng)一的一致性度量特征，可穩(wěn)健揭示生成視頻中的物理異常。

NSG 的計(jì)算近似

• 空間梯度估計(jì)：用擴(kuò)散模型建模梯度特征

現(xiàn)代擴(kuò)散模型（或更廣義的 score-based 模型）本質(zhì)上學(xué)習(xí)的是數(shù)據(jù)分布的 score 函數(shù) [5]：

即概率密度對(duì)輸入的梯度。這意味著，擴(kuò)散模型實(shí)際上隱式捕獲了真實(shí)數(shù)據(jù)在高維空間中的概率流結(jié)構(gòu)。因此，可以用一個(gè)預(yù)訓(xùn)練的 score 網(wǎng)絡(luò) s_θ，來(lái)近似計(jì)算視頻幀的空間概率梯度：

式（8）實(shí)現(xiàn)了從生成模型到判別器的轉(zhuǎn)換，作者不再利用擴(kuò)散模型生成視頻，而是讓它「感知」視頻幀是否符合自然分布的空間結(jié)構(gòu)。

• 時(shí)間導(dǎo)數(shù)估計(jì)：基于亮度不變假設(shè)

• 總的估計(jì)表達(dá)式

將上式與 score 估計(jì)結(jié)合，可得到 NSG 的可計(jì)算近似式：

該公式僅需一次 diffusion 模型前向計(jì)算（用于獲取 s_θ(x_t)）與幀間差分，即可在無(wú)需顯式光流估計(jì)或復(fù)雜運(yùn)動(dòng)分解的情況下，求得視頻的 NSG 分布。

NSG-VD：基于物理一致性的時(shí)空視頻檢測(cè)框架

在獲得 NSG 特征后，作者提出檢測(cè)算法NSG-VD。

核心思想：通過計(jì)算待測(cè)視頻與真實(shí)視頻參考集在 NSG 特征空間中的分布差異，利用最大均值差異（MMD）作為檢測(cè)指標(biāo)，從而揭示生成視頻在物理一致性上的異常特征。

檢測(cè)流程

首先，構(gòu)建一組真實(shí)視頻參考集：

并為每個(gè)視頻 x 提取其在 T 幀上的 NSG 特征序列：

隨后，定義檢測(cè)函數(shù)：

其中 I (?) 為指示函數(shù)，τ 為判定閾值。根據(jù)函數(shù)輸出進(jìn)行視頻真?zhèn)畏诸悾?/p>

為增強(qiáng)判別能力，作者采用可學(xué)習(xí)的深度核 [9] 并在訓(xùn)練集數(shù)據(jù)上對(duì)其參數(shù)進(jìn)行訓(xùn)練。

理論保障

該定理表明，真實(shí)視頻和生成視頻的 NSG 特征距離上界與分布偏移程度 μ 有關(guān)。分布偏移越小，兩者特征距離上界越小；偏移越大，分離越明顯。這也意味著真實(shí)數(shù)據(jù)間的 NSG 特征的 MMD 比真實(shí)與生成數(shù)據(jù)間的更小，據(jù)此可用 NSG 特征區(qū)分真實(shí)和生成視頻。

實(shí)驗(yàn)驗(yàn)證：

跨生成模型與數(shù)據(jù)場(chǎng)景的性能分析

作者在大型基準(zhǔn) GenVideo 上進(jìn)行了全面評(píng)估，包含 10 個(gè)不同的生成模型，涵蓋開源和閉源系統(tǒng)。實(shí)驗(yàn)表明，NSG-VD 在多個(gè)標(biāo)準(zhǔn)評(píng)測(cè)中顯著優(yōu)于現(xiàn)有基線方法：

標(biāo)準(zhǔn)評(píng)測(cè)設(shè)置下的卓越性能

NSG-VD 在 Kinetics-400（真實(shí)視頻） 與 Pika（生成視頻） 的混合數(shù)據(jù)訓(xùn)練后，展現(xiàn)出出色的泛化能力。在十類 AI 生成視頻上的平均檢測(cè)性能達(dá)到 Recall 88.02%、F1 90.87%，已全面超越此前的最佳方法 DeMamba。特別是在 Sora 等閉源生成模型檢測(cè)上，NSG-VD 取得了 78.57% 的 Recall，相比 DeMamba 的 48.21% 提升超過 30 個(gè)百分點(diǎn)，展現(xiàn)出顯著的性能優(yōu)勢(shì)。

數(shù)據(jù)不平衡場(chǎng)景下的魯棒性

在實(shí)際應(yīng)用中，獲取大規(guī)模 AI 生成視頻 的訓(xùn)練數(shù)據(jù)往往具有較高成本與難度。為評(píng)估模型在更貼近真實(shí)場(chǎng)景下的表現(xiàn)，作者在訓(xùn)練集僅包含 1,000 條 SEINE 的生成數(shù)據(jù)上進(jìn)行了實(shí)驗(yàn)。

結(jié)果表明，即使在僅使用 1,000 條 AI 生成視頻 進(jìn)行訓(xùn)練的條件下，NSG-VD 仍展現(xiàn)出顯著的穩(wěn)健性與泛化能力：其在 Sora 上的召回率（Recall）高達(dá) 82.14%，遠(yuǎn)超 DeMamba (33.93%) 與 NPR (10.71%) 等基線模型。這充分驗(yàn)證了 NSG-VD 的高數(shù)據(jù)效率，其性能提升并非依賴于大規(guī)模訓(xùn)練數(shù)據(jù)，而源于基于物理一致性的第一性原理建模的有效性。

消融研究：驗(yàn)證物理建模的有效性

為進(jìn)一步驗(yàn)證 NSG 各組成模塊的作用，作者進(jìn)行了系統(tǒng)性的消融實(shí)驗(yàn)。

實(shí)驗(yàn)結(jié)果表明，當(dāng)僅使用空間概率梯度時(shí)，模型的 Recall 為 87.99%；僅使用時(shí)間密度變化時(shí)，Recall 降至 60.35%。將兩者進(jìn)行物理一致性融合后，NSG-VD 的 Recall 提升至 88.02%，F(xiàn)1 值進(jìn)一步達(dá)到 90.87%。這一結(jié)果充分說(shuō)明，基于物理公式的時(shí)空聯(lián)合建模能夠有效捕捉視頻生成過程中的細(xì)微差異，不僅驗(yàn)證了該建模范式的必要性，也凸顯了其顯著的性能優(yōu)勢(shì)。

決策閾值魯棒性分析

在實(shí)際部署中，方法的超參數(shù)敏感性至關(guān)重要。對(duì)此，作者分析了決策閾值 τ 的影響：

結(jié)果表明，在 τ∈[0.7,1.1] 的閾值范圍內(nèi)，NSG-VD 的各項(xiàng)指標(biāo)（Recall、Accuracy、F1）穩(wěn)定性，證實(shí)了 NSG 特征對(duì)真?zhèn)我曨l的強(qiáng)大判別能力。該方法的核心在于物理驅(qū)動(dòng)的時(shí)空梯度建模，而非依賴生成器特定偽影，因而能夠穩(wěn)健地檢測(cè)來(lái)源多樣的生成內(nèi)容。

總結(jié)與展望

本文提出了基于物理守恒的時(shí)空建模視頻檢測(cè)框架 NSG-VD，通過歸一化時(shí)空梯度（NSG）統(tǒng)計(jì)量量化視頻在空間和時(shí)間維度上的物理一致性，實(shí)現(xiàn)對(duì) AI 生成視頻的通用檢測(cè)。實(shí)驗(yàn)表明，NSG-VD 在多種生成模型、數(shù)據(jù)不平衡場(chǎng)景及遷移測(cè)試中均表現(xiàn)出卓越的泛化能力和穩(wěn)健性，顯著優(yōu)于現(xiàn)有方法。

NSG-VD 的核心創(chuàng)新在于將物理一致性約束引入檢測(cè)任務(wù)，通過 NSG 特征捕捉生成視頻中潛在的物理規(guī)律違例。這種物理驅(qū)動(dòng)范式無(wú)需依賴特定生成模式的數(shù)據(jù)，在面對(duì)多樣化生成內(nèi)容時(shí)展現(xiàn)出強(qiáng)魯棒性，即便在數(shù)據(jù)不平衡場(chǎng)景下也能保持穩(wěn)定性能。

在當(dāng)前「真假難辨」的生成時(shí)代，NSG-VD 引領(lǐng)我們從「圖像的真實(shí)」走向「物理的真實(shí)」—— 不關(guān)注視頻有多逼真，而關(guān)注其是否遵守物理規(guī)律。盡管該方法仍依賴一定的物理假設(shè)并存在計(jì)算開銷，未來(lái)工作將著力于開發(fā)更精細(xì)的物理模型、優(yōu)化輕量化計(jì)算方案，并探索實(shí)時(shí)檢測(cè)應(yīng)用場(chǎng)景的可行性。

參考文獻(xiàn)

[1] Hodge, W. B., S. V. Migirditch, and William C. Kerr. "Electron spin and probability current density in quantum mechanics." American Journal of Physics 82.7 (2014): 681-690.

[2] Batchelor, George Keith. An introduction to fluid dynamics. Cambridge university press, 2000.

[3] Panton, Ronald L. Incompressible flow. John Wiley & Sons, 2024.

[4] B?hm, Arno. Quantum mechanics: foundations and applications. Springer Science & Business Media, 2013.

[5] Song, Yang, and Stefano Ermon. "Generative modeling by estimating gradients of the data distribution." Advances in neural information processing systems 32 (2019).

[6] Horn, Berthold KP, and Brian G. Schunck. "Determining optical flow." Artificial intelligence 17.1-3 (1981): 185-203.

[7] Zhang, Shuhai, et al. "Detecting Machine-Generated Texts by Multi-Population Aware Optimization for Maximum Mean Discrepancy." The Twelfth International Conference on Learning Representations.

[8] Zhang, Shuhai, et al. "Detecting adversarial data by probing multiple perturbations using expected perturbation score." International conference on machine learning. PMLR, 2023.

[9] Liu, Feng, et al. "Learning deep kernels for non-parametric two-sample tests." International conference on machine learning. PMLR, 2020.