衡宇 鷺羽 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

還在用Sora2做惡搞視頻或表情包玩兒？快醒醒，國內(nèi)AI視頻玩家已實(shí)現(xiàn)彎道超車了——

開卷實(shí)時流式生成！

就是那種模型推理到哪兒，畫面就生成到哪兒；想改劇情，直接暫停、改指令、視頻重新走向。

換言之，Sora2能做的，它能做；Sora2做不到的，它還能做。

而這，才是和AI視頻一起“創(chuàng)作”的未來式答卷——來自百度蒸汽機(jī)（文心專精版）。

百度蒸汽機(jī)相信大家都已經(jīng)不陌生了，5月份以黑馬之姿闖入AI生視頻賽道，初登場就拿下VBench-I2V全球榜一，全球首個實(shí)現(xiàn)中文音視頻一體化的視頻生成模型，首次實(shí)現(xiàn)多人有聲視頻生成……

而這一次升級的背后，是百度對AI視頻生成領(lǐng)域的重新再定義。

當(dāng)同行還卡在“生成10s穩(wěn)定、連續(xù)的視頻畫面”時，百度已經(jīng)率先實(shí)現(xiàn)“生成迅速、實(shí)時交互、無限續(xù)寫”三件套：

• 只需一張圖+一個Prompt，生成過程更流暢自然，短時間、低成本還能保持高質(zhì)量。
• 支持實(shí)時交互，可隨時打斷視頻生成進(jìn)展，任意位置都能進(jìn)行提示詞改寫。
• 打破視頻生成時長限制，上傳任意視頻，就能續(xù)寫成長篇影視級大作，還能實(shí)時預(yù)覽視頻內(nèi)容。

此外，在百度蒸汽機(jī)，還能告別以往單向輸出的數(shù)字人，定制1V1專屬數(shù)字人，沉浸式體驗數(shù)字分身互動；任意生成、創(chuàng)造全場景開放世界，無論是開拓新的游戲地圖，還是爽玩全球旅游景點(diǎn)，百度這次，全都有。

正如蒸汽機(jī)曾經(jīng)帶來的技術(shù)革命，百度蒸汽機(jī)模型的此次更新也將標(biāo)志著AI視頻正式從短片段走向長篇敘事，從創(chuàng)意工具走向創(chuàng)意伙伴。

從“圖生視頻”到“邊看邊生”：行業(yè)首次流式生成體驗

不過，當(dāng)前主流的AI視頻生成模型還處在Level 1，即使是最近風(fēng)頭最盛的Sora2，也普遍只能生成5～10秒。

坊間為此還出現(xiàn)了邪修鑒AI大法：遇事不決看時長！

而且要得到結(jié)果，短則30秒長則幾分鐘的生成階段，必須老老實(shí)實(shí)等待。

期間做成啥樣一概不知，生成完整視頻后，無論是細(xì)節(jié)修改還是整支視頻大調(diào)，都沒法實(shí)時調(diào)整，只能重來一遍，更談不上有什么“交互感”。

這個過程不僅耗時長，而且成本驚人，想要實(shí)時交互修改基本上是不可能的。

這對短視頻生成而言，還算夠用，但放到長視頻顯然不夠看，即使勉強(qiáng)用首尾幀技術(shù)拼接拉時長，但視頻質(zhì)量低下、細(xì)節(jié)粗糙，缺乏連貫性。

百度蒸汽機(jī)的出現(xiàn)，則填補(bǔ)了這一領(lǐng)域的空白，讓AI視頻提前進(jìn)入了邊看邊生、實(shí)時共創(chuàng)的全新階段。

不僅生成速度快人一步，生成質(zhì)量也快到飛起。

首先是生成模式上，既能I2V圖生視頻，又能V2V視頻生視頻，雙線齊發(fā)力。

圖生視頻將操作門檻降到最低，摒棄傳統(tǒng)的多圖+多指令模式，只需最基礎(chǔ)的一張圖和一個簡單指令，就能生成長視頻。

比如說我們先進(jìn)入百度繪想平臺，選擇“長視頻”功能入口，上傳一張愛因斯坦的形象照，輸入Prompt：

• 愛因斯坦在舞臺上說物理學(xué)脫口秀，同時鏡頭跟隨人物變化。

注意這里還要選擇10-60秒的時長，一般默認(rèn)20秒。

視頻開始生成后，可以在旁邊的任務(wù)結(jié)果區(qū)實(shí)時看到當(dāng)前生成進(jìn)展。

一旦發(fā)現(xiàn)不滿意，立馬點(diǎn)擊“續(xù)改”按鈕中斷生成，將視頻幀拖至目標(biāo)位置，重新下達(dá)新的指令，例如這里我們將讓愛因斯坦的動作更豐富一些，讓他一邊說一邊還會比劃動作。

一個小tips：

每12秒，生成任務(wù)會自動暫停一次，此時需要用戶自己手動選擇繼續(xù)生成or就此結(jié)束嗷～

下面請欣賞一段新鮮出爐的愛因斯坦的默劇版脫口秀。

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

BTW，如果你不想要看無聲短片，可以選擇蒸汽機(jī)2.0有聲版。

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

不過相對應(yīng)的，最長時長就需要打一丟丟折扣（5～10s）。

好好好，教科書里的人物都能活過來講脫口秀了，物理學(xué)原來可以這么有趣！

要是我讀書的時候有它，也不至于回回物理考零昏（doge）

而百度蒸汽機(jī)的視頻生視頻，本次更新端上來的全新玩法：

同樣是在長視頻入口進(jìn)入，首先需要上傳一個時長在2秒到60秒的視頻，我們這里使用的是上次沒做完的哈利波特的太極拳文藝匯演視頻。（咳咳）

原視頻be like：

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

期間依舊是可以實(shí)時查看或修改視頻內(nèi)容，不過需要注意的是，有且僅有2個視頻可以同時生成。

最終續(xù)寫下來，效果也是縱享絲滑～

（這下麻麻再也不用擔(dān)心以后小組作業(yè)隊友做一半跑路了555）

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

另外，蒸汽機(jī)在開放世界上也表現(xiàn)優(yōu)異，例如我們讓它來生成一段月球漫步。

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

還可通過WASD+鼠標(biāo)控制視角，在月球上自由探索。

Nice！下次旅游旺季，不用出遠(yuǎn)門人擠人，在家就能環(huán)游世界，計劃通?

不過言歸正傳，蒸汽機(jī)到底為啥一下就Next level了？還得是背后的技術(shù)升級立大功。

“邊生成邊互動”的AI視頻體驗，如何煉成？

當(dāng)下，包括Sora 2在內(nèi)的AI視頻工具，都在朝更長、更穩(wěn)、更真實(shí)、更清晰突破。

但有一點(diǎn)似乎被大多數(shù)玩家忽視了：

目前，“生成→等待→反饋”的生產(chǎn)流程，其實(shí)一直停留在AI單向輸出的階段。

背后原因主要還是歸結(jié)于行業(yè)主流方案是采用基于Transformer架構(gòu)的擴(kuò)散模型。

受限于Transformer架構(gòu)的二次計算復(fù)雜度，主流AI視頻生成模型計算開銷隨生成時長呈平方級增長。也就是說，需要生成的視頻時長越長，對GPU顯存與計算效率的要求就更高。

一方面成本直接拉爆，另一方面推理效率也難以達(dá)到較高水準(zhǔn)，所以難以實(shí)現(xiàn)實(shí)時生成與交互能力。

而迭代后的百度蒸汽機(jī)，已經(jīng)實(shí)現(xiàn)了“用戶被動接收”向“AI與用戶共同創(chuàng)造”的轉(zhuǎn)變。

在蒸汽機(jī)這里，AI視頻生成過程本身就是開放的——

視頻不是一口氣生成完畢，而是流式呈現(xiàn)。

模型推理是什么進(jìn)度，用戶就能看到對應(yīng)時長的畫面。

生成過程可隨時打斷。

生成中途，用戶要是靈感突發(fā)想改點(diǎn)什么，一句新的prompt就能實(shí)時生效。

不滿意前一段內(nèi)容？還可以拉回修改，重新接上。

視頻鏈接：https://mp.weixin.qq.com/s/s-L7EslLvuN31GT9Olt7sg

一句話總結(jié)，百度蒸汽機(jī)生成AI視頻，已經(jīng)進(jìn)入能配合你反悔的Next Level，一切都不必從頭再來。

整個過程像是創(chuàng)作者在電腦前觀摩AI創(chuàng)排導(dǎo)演一支視頻短片，隨時可以以“導(dǎo)演”的身份喊卡，調(diào)整細(xì)節(jié)，修改劇本。

從這個角度來看，百度蒸汽機(jī)突破的不只是長視頻生成的技術(shù)瓶頸，而是AI視頻的整個創(chuàng)作范式，是一次對AI生成流程的重新定義——

AI視頻生成，終于進(jìn)入“你說我做，隨時可改”的時代。

為了讓模型學(xué)會邊輸出邊協(xié)作，百度蒸汽機(jī)在模型層面，從架構(gòu)到底層推理流程，幾乎做了一次徹底重構(gòu)。

首先是模型架構(gòu)層面，百度蒸汽機(jī)通過引入自回歸擴(kuò)散模型（Autoregressive Diffusion Models），采用基于流式滑窗的自回歸擴(kuò)散架構(gòu)，來實(shí)現(xiàn)低成本無限外推和實(shí)時生成。

不僅有階梯獨(dú)立噪聲構(gòu)造，還進(jìn)行動態(tài)緩沖區(qū)管理，讓模型能同時處理模糊草圖、半完成幀及高精度畫面，最終實(shí)現(xiàn)“邊生成邊調(diào)整”的實(shí)時交互生成流程。

其次，為了解決訓(xùn)推過程中累積誤差和衰減問題，百度蒸汽機(jī)引入了噪聲重注入和歷史幀擾動增強(qiáng)機(jī)制，讓它不僅聽得懂指令，還能應(yīng)對突發(fā)調(diào)整。

所謂噪聲重注入，就是在訓(xùn)練時故意加入真實(shí)工作中可能遇到的“噪聲”或偏差，讓模型在模擬真實(shí)復(fù)雜環(huán)境的過程中學(xué)會更穩(wěn)、更準(zhǔn)地生成結(jié)果。

歷史幀擾動增強(qiáng)，則是讓模型學(xué)著自己生成過程中的問題并自己修正以應(yīng)對變化。

第三，在生成畫面的一致性方面，百度蒸汽機(jī)在引入錨點(diǎn)幀引導(dǎo)保障全局記憶的同時，還引入歷史參考幀保障連續(xù)生成。

最后需要提到非常重要的一點(diǎn)，就是百度蒸汽機(jī)基于自回歸擴(kuò)散架構(gòu)，突破高壓縮比生成技術(shù)，大幅提升擴(kuò)散模型流式推理性能，保障效果和效率的極致平衡。

通過窗口attention優(yōu)化和模型蒸餾，用戶使用百度蒸汽機(jī)生成視頻時，推理延遲被壓縮到幾乎實(shí)時，幾乎不會有“等”的感覺。

技術(shù)落地、生態(tài)生長，推動AI內(nèi)容創(chuàng)作進(jìn)入共創(chuàng)時代

像百度蒸汽機(jī)這樣，全流程可控、可打斷、可改寫的實(shí)時共創(chuàng)，讓AI視頻生成變得參與性更突出，打開了AI內(nèi)容創(chuàng)作的新的可能空間。

于是問題也隨之升維。

• 擁有實(shí)時生成能力之后，AI視頻模型能否真正走進(jìn)創(chuàng)作現(xiàn)場、嵌入真實(shí)生產(chǎn)流程？因為對AI創(chuàng)作工具來說，真正的考驗場在創(chuàng)作場景和生產(chǎn)鏈條上。

生成能力再強(qiáng)，實(shí)時互動感再強(qiáng)，如果無法走進(jìn)創(chuàng)作現(xiàn)場，也只是（實(shí)驗室里的模型）溫室里的花朵。

回顧百度蒸汽機(jī)的迭代路徑，可以清晰看到它的演進(jìn)節(jié)奏，看到一條從底層技術(shù)突破，到產(chǎn)品形態(tài)重構(gòu)，再到全鏈條生態(tài)落地的路徑：

• 5月，百度視頻生成模型以總分89.38%的成績，登上海外權(quán)威視頻生成評測榜單VBench-I2V圖生視頻榜全球第一，率先證明了自家視頻生成的技術(shù)力；
• 7月，百度發(fā)布自研音視頻一體化模型MuseSteamer（百度蒸汽機(jī)背后模型），首創(chuàng)中文音畫協(xié)同生成能力，支持畫面、語音、配樂一體生成，真正突破“畫完再配音”的AI短片分離流程；
• 8月，百度蒸汽機(jī)音視頻一體化模型完成重大升級，在業(yè)內(nèi)首次實(shí)現(xiàn)多人有聲視頻生成，并全面開放Turbo、Pro、Lite等多個版本，打通C端與B端應(yīng)用通道；
• 9月，發(fā)布“通用AI長視頻生成”功能；
• 10月，百度蒸汽機(jī)讓AI視頻正式進(jìn)入實(shí)時交互時代，視頻生成不再是一次性產(chǎn)物。

可以看到，短短5個月內(nèi)，百度蒸汽機(jī)實(shí)現(xiàn)了從圖生視頻到音畫一體生成，再到實(shí)時互動+無限流式生成的演進(jìn)。

這樣的底層能力重構(gòu)，首先直接改變的是C端普通用戶的創(chuàng)作方式。

無需專業(yè)視頻剪輯經(jīng)驗，只需上傳一張圖片并輸入一句prompt，用戶就能在平臺上生成一段可實(shí)時預(yù)覽、隨時修改、隨時續(xù)寫的AI視頻。

最大程度告別屢次三番抽卡的煩惱，同時真正實(shí)現(xiàn)使用0門檻。

另一邊，迭代后的新技術(shù)更能推動AI視頻能力快速向?qū)з?、直播、教育、影視制作等商業(yè)和應(yīng)用場景延伸的需求。

這一切，讓百度蒸汽機(jī)不再只是一個模型產(chǎn)品，而是新型創(chuàng)作平臺與交互接口的起點(diǎn)。

所以說，別再沉迷于用Sora 2做各種meme和表情包了！

真正讓AI視頻邁入下一階段的技術(shù)和應(yīng)用，正在中國發(fā)生。

作為國產(chǎn)AI視頻工具代表，百度蒸汽機(jī)不僅在技術(shù)架構(gòu)、生成質(zhì)量上持續(xù)演進(jìn)，更在實(shí)時性與交互性這兩個決定未來創(chuàng)作形態(tài)的關(guān)鍵點(diǎn)上，率先跨出一步。

這不僅是AI視頻從片段式生成邁向連續(xù)敘事的標(biāo)志性時刻，也是AI內(nèi)容創(chuàng)作從獨(dú)演走向共創(chuàng)的重要起點(diǎn)。

看看現(xiàn)在吧——AI視頻的下一階段，不只是高清，不只是更長，而是實(shí)時、可交互、效果出眾、人人可用。

而百度蒸汽機(jī)，已經(jīng)率先抵達(dá)新階段的競賽場。