機(jī)器之心報(bào)道

編輯：楊文

自 Sora 2 發(fā)布以來(lái)，各大科技廠商迎來(lái)新一輪視頻生成模型「軍備競(jìng)賽」，紛紛趕在年底前推出更強(qiáng)的迭代版本。

谷歌推出 Veo 3.1，通過(guò)首尾幀控制和多圖參考解決了以往視頻生成「抽卡」隨機(jī)性太強(qiáng)的問(wèn)題；Runway 拿出 Gen-4.5，強(qiáng)化了物理模擬和表情動(dòng)作遷移；快手祭出 Kling 2.6，實(shí)現(xiàn)了原生音畫同步……

各家都在炫技，但一個(gè)更本質(zhì)的問(wèn)題卻常被忽略：這些模型距離真正的生產(chǎn)力工具，究竟還有多遠(yuǎn)？

12 月 15 日，商湯科技產(chǎn)品發(fā)布周正式開啟，第一天就重磅上線了全新的Seko 2.0 版本，讓 AI 短劇創(chuàng)作真正實(shí)現(xiàn)「一人劇組」。

比如只需輸入一句簡(jiǎn)單的提示詞，它立馬就能策劃劇本大綱，生成分鏡和視頻，整個(gè)過(guò)程相當(dāng)麻溜。

視頻來(lái)自 Seko 官網(wǎng)，創(chuàng)作者：小銘AI百寶箱

無(wú)論是 1 分半鐘的 3D 藝術(shù)風(fēng)格的動(dòng)畫短片：

視頻來(lái)自 Seko 官網(wǎng)，創(chuàng)作者：噪維 AIGC

還是唇形同步精準(zhǔn)的數(shù)字人音樂(lè) MV，Seko 2.0 也都能在最短時(shí)間內(nèi)信手拈來(lái)。

視頻來(lái)自 Seko 官網(wǎng)，創(chuàng)作者：AI制片人Webb

作為行業(yè)首個(gè)創(chuàng)編一體、多劇集生成智能體，Seko 已經(jīng)服務(wù)上百家短劇工作室，大量 AI 短劇成功上線。

用商湯 Seko 創(chuàng)作的《婉心計(jì)》登頂抖音 AI 短劇榜第一

而此次 2.0 版本的升級(jí)，背后是商湯在視頻生成底層技術(shù)上的深度突破。從開源推理框架 LightX2V 到產(chǎn)品化落地，再到國(guó)產(chǎn)芯片的全面適配，商湯正在構(gòu)建一條完整的 AI 視頻生產(chǎn)鏈路。

視頻生成的「不可能三角」

盡管賽道火熱，但當(dāng) AI 視頻生成模型步入短劇制作等實(shí)戰(zhàn)場(chǎng)景時(shí)，往往會(huì)撞上由效率、成本、質(zhì)量構(gòu)成的「不可能三角」。

目前即便如 Sora 2 級(jí)別的產(chǎn)品，生成 10 秒視頻往往需要數(shù)分鐘乃至十分鐘。這種漫長(zhǎng)的等待時(shí)間，讓創(chuàng)作者難以進(jìn)行快速迭代和實(shí)時(shí)反饋，嚴(yán)重制約了創(chuàng)作效率，更無(wú)法支撐工業(yè)化生產(chǎn)。

有數(shù)據(jù)表明，開源模型生成一段 5s 視頻通常超過(guò)十分鐘，商用閉源模型生成 5s 的視頻通常也需 1 至 10 分鐘不等。這意味著生成與實(shí)時(shí)播放之間存在著很長(zhǎng)的時(shí)間差距，距離真正的「強(qiáng)實(shí)時(shí)生成」，即生成 5 秒視頻所需時(shí)間小于 5 秒，還有遙遠(yuǎn)的距離。

實(shí)時(shí)性問(wèn)題的背后，是更為本質(zhì)的計(jì)算成本困境。如果要投入如此高昂的算力成本，任何試圖用 AI 大規(guī)模生產(chǎn)視頻內(nèi)容的商業(yè)計(jì)劃，都會(huì)在財(cái)務(wù)模型上遭遇滑鐵盧。

對(duì)于 AI 短劇和漫劇創(chuàng)作而言，這個(gè)問(wèn)題更加尖銳。短劇制作的本質(zhì)是多劇集、多場(chǎng)景、多分鏡的復(fù)雜工程，這直接導(dǎo)致了計(jì)算量的指數(shù)級(jí)增長(zhǎng)。一個(gè)僅 5 秒的視頻片段就需要生成接近 10 萬(wàn) token，而在實(shí)際創(chuàng)作流程中，一鍵生成通常會(huì)產(chǎn)生 10 到 20 個(gè)分鏡，這意味著單次操作的 token 消耗量就達(dá)到 100 萬(wàn)到 200 萬(wàn)級(jí)別。

按照傳統(tǒng)視頻生成模型的成本結(jié)構(gòu)，制作一集 10 分鐘的 AI 短劇，所需的計(jì)算資源和時(shí)間成本將達(dá)到令人咋舌的地步。沒(méi)有哪家內(nèi)容制作公司能夠承受每生成一分鐘內(nèi)容就要支付數(shù)小時(shí)高端 GPU 算力的成本。在這種場(chǎng)景下，效率與成本直接決定了項(xiàng)目的生死。

當(dāng)行業(yè)試圖通過(guò)降低推理步數(shù)、壓縮模型參數(shù)等方式提升速度、降低成本時(shí)，又往往會(huì)遭遇生成質(zhì)量下降的挑戰(zhàn)。視頻的一致性、動(dòng)態(tài)性、畫面清晰度都可能在優(yōu)化過(guò)程中受損，而對(duì)于商業(yè)應(yīng)用而言，質(zhì)量是不可妥協(xié)的底線。

如此看來(lái)，現(xiàn)有的視頻生成技術(shù)架構(gòu)似乎陷入了一個(gè)「不可能三角」，要么犧牲質(zhì)量換取速度，要么保證質(zhì)量但付出巨大的時(shí)間和算力代價(jià)，要么在兩者之間艱難平衡卻難以真正滿足商業(yè)應(yīng)用需求。這個(gè)困局讓無(wú)數(shù)技術(shù)團(tuán)隊(duì)在實(shí)驗(yàn)室里的驚艷演示，最終折戟于真實(shí)商業(yè)場(chǎng)景的嚴(yán)苛考驗(yàn)。

打破這個(gè)困局，需要的不僅僅是單點(diǎn)技術(shù)的突破，更需要從算法、架構(gòu)到系統(tǒng)工程的全方位創(chuàng)新。

商湯悄悄開源的 AI 視頻生成框架

速度快 10 倍

今年上半年，一個(gè)名為 LightX2V 的開源項(xiàng)目及其推出的圖像和視頻生成 4 步蒸餾模型，在 ComfyUI 社區(qū)走紅，還在 Reddit 上引發(fā)熱烈討論。截至目前，該項(xiàng)目上傳的模型累計(jì)下載量已突破 350 萬(wàn)次

這個(gè)備受矚目的項(xiàng)目背后的研發(fā)團(tuán)隊(duì)一度頗為神秘，如今答案揭曉，LightX2V 是由商湯科技與北航聯(lián)合研發(fā)的成果，也是業(yè)界首個(gè)開源的實(shí)時(shí)視頻生成推理框架

LightX2V 的核心價(jià)值在于真正做到了實(shí)時(shí)視頻生成。

它通過(guò)一系列創(chuàng)新技術(shù)的組合應(yīng)用，在消費(fèi)級(jí)顯卡上實(shí)現(xiàn)了強(qiáng)實(shí)時(shí)生成，生成 5 秒視頻所需時(shí)間小于 5 秒，速度達(dá)到現(xiàn)在行業(yè)主流的數(shù)倍甚至十倍以上。

算法創(chuàng)新：實(shí)時(shí)生成的基礎(chǔ)

LightX2V 的性能突破首先源于其深層的算法創(chuàng)新。

商湯原創(chuàng)設(shè)計(jì)的 Phased DMD 步數(shù)蒸餾技術(shù)，讓視頻生成在 4 步推理下就能實(shí)現(xiàn)高質(zhì)量的一致性和動(dòng)態(tài)性。這套技術(shù)產(chǎn)出的 Wan2.1、Qwen-Image 等多步模型，登上 HuggingFace 趨勢(shì)榜前 10，累計(jì)下載量超過(guò) 358 萬(wàn)次。

傳統(tǒng)的分布匹配蒸餾（DMD）方法雖然可以將分?jǐn)?shù)匹配生成模型壓縮成高效的多步生成器，但在直接擴(kuò)展到多步蒸餾時(shí)，會(huì)面臨生成多樣性顯著降低、訓(xùn)練不穩(wěn)定以及難以有效處理復(fù)雜分布的局限性。

為了解決這些難題，研究者提出了 Phased DMD。這是一個(gè)結(jié)合了階段式蒸餾和專家混合思想的多步蒸餾框架，旨在降低學(xué)習(xí)難度并增強(qiáng)模型能力。

圖 1：(a) 多步 DMD、(b) 采用隨機(jī)梯度截?cái)嗖呗缘亩嗖?DMD、(c) Phased DMD 和 (d) 采用 SGTS 的 Phased DMD 的示意圖。

Phased DMD 建立在兩個(gè)核心理念之上：

• 漸進(jìn)式分布匹配：該方法將信噪比（SNR）范圍劃分成多個(gè)子區(qū)間，通過(guò)這種劃分，模型可以漸進(jìn)式地將自身精度優(yōu)化到更高的 SNR 級(jí)別，從而更好地捕獲復(fù)雜分布，并提高訓(xùn)練的穩(wěn)定性和生成性能。在去噪過(guò)程中，低 SNR 階段聚焦于全局結(jié)構(gòu)，而高 SNR 階段則關(guān)注精細(xì)細(xì)節(jié)。
• 子區(qū)間內(nèi)分?jǐn)?shù)匹配：由于要對(duì)齊子區(qū)間的分布，研究者通過(guò)嚴(yán)格的推導(dǎo)，得到一個(gè)具有理論保證的訓(xùn)練目標(biāo)。這個(gè)目標(biāo)能夠正確估計(jì)子區(qū)間內(nèi)的分?jǐn)?shù)，確保階段式訓(xùn)練的理論正確性。

Phased DMD 的結(jié)構(gòu)設(shè)計(jì)是一個(gè)天然的 Mixture-of-Experts 架構(gòu)，允許模型中的不同專家專門學(xué)習(xí)處理不同的 SNR 階段，而不會(huì)引入額外的推理成本。Phased DMD 不僅原生支持 MoE 模型，而且對(duì)于非 MoE 的教師模型，該技術(shù)也可以將之蒸餾為 MoE 學(xué)生模型。

實(shí)驗(yàn)結(jié)果表明，Phased DMD 相較于傳統(tǒng) DMD 方法，能更好地保持基模型的動(dòng)態(tài)效果和多樣性。Phased DMD 通過(guò)蒸餾 Qwen-Image (20B 參數(shù)) 和 Wan2.2 (28B 參數(shù)) 等先進(jìn)的模型得到了充分驗(yàn)證，開源的部分模型也受到開源社區(qū)的討論和好評(píng)。

來(lái)自 Wan2.1-T2V-14B 基礎(chǔ)模型（40 步、CFG=4）及其蒸餾變體（4 步、CFG=1）的樣本（隨機(jī)種子 0–3）：(a) 基礎(chǔ)模型，(b) DMD，(c) 帶 SGTS 的 DMD，(d) Phased DMD。與基礎(chǔ)模型和 Phased DMD 相比，DMD 與 SGTS 展現(xiàn)出更弱的運(yùn)動(dòng)動(dòng)態(tài)。類似地，帶 SGTS 的 DMD 傾向于生成特寫視角，而 Phased DMD 和基礎(chǔ)模型更好地遵循提示中的相機(jī)指令。

通過(guò) Phased DMD 蒸餾生成的 Qwen-Image 示例。

在高效視頻生成領(lǐng)域，自編碼器（VAE）模型是不可或缺的關(guān)鍵組件。它負(fù)責(zé)將像素空間壓縮到更小的潛在空間，以實(shí)現(xiàn)更快處理。然而，傳統(tǒng)的官方 VAE 模型往往內(nèi)存占用大、推理速度慢，嚴(yán)重制約了視頻生成效率。

針對(duì)這一行業(yè)痛點(diǎn)，LightX2V 團(tuán)隊(duì)發(fā)布了LightVAE、LightTAE 系列高效視頻自編碼器模型集合，旨在通過(guò)深度優(yōu)化和蒸餾技術(shù)，在最大限度保持高清畫質(zhì)的同時(shí)，實(shí)現(xiàn)高達(dá) 10 倍以上的性能提升，為實(shí)時(shí)生成奠定了堅(jiān)實(shí)的算法基礎(chǔ)。

LightVAE 系列被定位為「最佳平衡解決方案」，通過(guò)對(duì)官方 VAE 架構(gòu)進(jìn)行剪枝和蒸餾，例如對(duì) Wan2.1 VAE 剪枝 75%，成功將顯存占用減少了約 50%（降至約 4-5 GB），同時(shí)將推理速度提升了 2 到 3 倍。LightVAE 保持了接近官方模型的優(yōu)異質(zhì)量，使其成為日常生產(chǎn)和高性能需求的理想選擇。

對(duì)于追求極致速度和最小內(nèi)存占用的場(chǎng)景，團(tuán)隊(duì)則推出了 LightTAE 系列，采用更輕量級(jí)的 2D 卷積架構(gòu)，將顯存占用降至極低的約 0.4 GB，并實(shí)現(xiàn)了極快的推理速度。盡管其基礎(chǔ)架構(gòu)與開源的 TAE 相似，但 LightTAE 經(jīng)過(guò)團(tuán)隊(duì)的蒸餾優(yōu)化，其生成質(zhì)量顯著超越了普通的開源 TAE，達(dá)到了接近官方 VAE 的水平，非常適合開發(fā)測(cè)試和快速迭代等對(duì)效率有高要求的場(chǎng)景。

實(shí)際測(cè)試結(jié)果表明，LightX2V 的優(yōu)化效果是顯著的。例如，在處理一段 5 秒 81 幀的視頻時(shí)，官方 Wan2.1 VAE 的解碼時(shí)間約為 5.46 秒，顯存需求超過(guò) 10 GB。相比之下，LightVAE 將解碼時(shí)間縮短到約 2.07 秒，顯存降至 5.57 GB 左右。而 LightTAE 則表現(xiàn)出驚人的速度，解碼時(shí)間僅需約 0.25 秒，且顯存幾乎可以忽略不計(jì)。

工程創(chuàng)新：全棧優(yōu)化實(shí)現(xiàn)「強(qiáng)實(shí)時(shí)」

真正讓實(shí)時(shí)生成視頻變?yōu)榭赡艿?，?LightX2V 在工程層面的全棧優(yōu)化。

LightX2V 構(gòu)建了一個(gè)面向低成本、強(qiáng)實(shí)時(shí)的視頻生成推理完整方案，覆蓋了模型、調(diào)度、計(jì)算、存儲(chǔ)和通信五個(gè)維度，通過(guò)低比特量化、稀疏注意力、特征緩存、高效 Offloading 和多卡通信優(yōu)化等技術(shù)，形成了清晰且高效的五層體系結(jié)構(gòu)。

在框架的最底層是算子實(shí)現(xiàn)層，它是所有性能優(yōu)化的根基，集成了多種高度定制和優(yōu)化的低級(jí)計(jì)算操作，特別是針對(duì)計(jì)算密集型的注意力機(jī)制。通過(guò)引入 Flash Attention V3、Sage Attention V1/V2/V3、Radial Attention 和 Ring Attention 等創(chuàng)新算子，LightX2V 為上層提供了強(qiáng)大的計(jì)算加速能力，從硬件層面保證了推理的高效運(yùn)行。

緊接著是內(nèi)核庫(kù)層，它負(fù)責(zé)封裝底層算子的復(fù)雜性，并為上層模型提供穩(wěn)定、高性能的調(diào)用接口和運(yùn)行時(shí)環(huán)境。

再向上，框架的核心執(zhí)行環(huán)境位于模型模塊層。該層以并行推理為核心機(jī)制，最大化了計(jì)算資源的利用。它包含一個(gè)負(fù)責(zé)任務(wù)順序和時(shí)間步管理的調(diào)度器，以及一個(gè)支持主流視頻生成模型如 Hunyuan、Cogvideo 和 Wan 系列的模型組件，還集成了 Offload（用于顯存卸載管理）和 Weight（權(quán)重管理）等模塊，確保了在有限硬件資源下依然能夠高效運(yùn)行大型模型。

在模型模塊之上，是 LightX2V 的優(yōu)化算法層，這一層匯聚了框架的關(guān)鍵加速策略。它通過(guò)量化技術(shù)來(lái)壓縮模型體積并加速計(jì)算；利用特征緩存來(lái)避免中間結(jié)果的重復(fù)計(jì)算；并結(jié)合底層的優(yōu)化算子實(shí)現(xiàn)高效注意力機(jī)制，共同將模型的推理效率推向極致。

最后，位于頂層的是用戶入口層，它體現(xiàn)了 LightX2V 的易用性。為適應(yīng)不同場(chǎng)景，框架提供了多樣化的接入方式，包括集成到流行的節(jié)點(diǎn)式工具 ComfyUI Workflow 中、通過(guò) Gradio Web 快速部署在線演示服務(wù)、支持本地服務(wù)器部署，以及提供用于穩(wěn)定生產(chǎn)環(huán)境的靜態(tài)推理接口。

這種全棧優(yōu)化帶來(lái)的直接效果就是顯存門檻降至 8GB 以下，入門級(jí)消費(fèi)卡即可流暢運(yùn)行；在 RTX 5090 等消費(fèi)級(jí)顯卡上，已經(jīng)實(shí)現(xiàn)了 1:1 的實(shí)時(shí)生成效果

從技術(shù)架構(gòu)來(lái)看，不是簡(jiǎn)單優(yōu)化某個(gè)環(huán)節(jié)，而是構(gòu)建了一套面向低成本、強(qiáng)實(shí)時(shí)的視頻生成推理完整方案，這也是為什么它能在開源社區(qū)獲得如此廣泛關(guān)注的原因。它不僅是一個(gè)模型，更是一個(gè)可落地、可復(fù)用的技術(shù)框架。

國(guó)產(chǎn)化芯片適配

商業(yè)化的最后一塊拼圖

技術(shù)突破之外，商湯在 Seko 2.0 中還實(shí)現(xiàn)了另一個(gè)關(guān)鍵布局 —— 全面適配國(guó)產(chǎn)化芯片。

借助 LightX2V 框架，Seko 已成功支持多款國(guó)產(chǎn) AI 芯片，真正實(shí)現(xiàn)了視頻生成模型的全國(guó)產(chǎn)化部署能力。

從實(shí)際效果來(lái)看，在國(guó)產(chǎn)芯片與英偉達(dá)芯片上生成的視頻，質(zhì)量差距并不明顯。雖然國(guó)產(chǎn)芯片的生成速度略慢，但其性價(jià)比優(yōu)勢(shì)突出。未來(lái)商湯計(jì)劃給創(chuàng)作者提供國(guó)產(chǎn)化和非國(guó)產(chǎn)化兩套方案，使用國(guó)產(chǎn)化方案的用戶將獲得更優(yōu)惠的價(jià)格政策。

英偉達(dá)芯片（左）和國(guó)產(chǎn)芯片（右）生成視頻對(duì)比

這不僅僅是成本優(yōu)化的技術(shù)選擇，更是對(duì)國(guó)產(chǎn) AI 生態(tài)的戰(zhàn)略性支持。在視頻生成這一 AI 應(yīng)用的關(guān)鍵場(chǎng)景中，打通從算法框架到硬件芯片的全鏈路國(guó)產(chǎn)化能力，意味著中國(guó) AI 產(chǎn)業(yè)在核心技術(shù)上邁出了實(shí)質(zhì)性的一步。

當(dāng)視頻生成真正做到實(shí)時(shí)、低成本、可規(guī)模化，AI 短劇乃至更廣泛的視頻內(nèi)容創(chuàng)作，或許將迎來(lái)真正的生產(chǎn)力革命。而這場(chǎng)革命的起點(diǎn)，正是像 LightX2V 這樣從底層技術(shù)開始的系統(tǒng)性創(chuàng)新。

文中視頻鏈接：https://mp.weixin.qq.com/s/JkH_x_aajxyzG8_EzLQ8Tw