允中 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

最新最強(qiáng)的開源原生多模態(tài)世界模型——

北京智源人工智能研究院（BAAI）的悟界·Emu3.5來炸場了。

圖、文、視頻任務(wù)一網(wǎng)打盡，不僅能畫圖改圖，還能生成圖文教程，視頻任務(wù)更是增加了物理真實(shí)性。

先感受一下它的高精度操作：一句話消除手寫痕跡。

第一視角漫游動態(tài)3D世界：

要知道，現(xiàn)在AI迭代的速度，正在刷新所有人的認(rèn)知。

尤其是在文生視頻這條賽道上，幾乎每個(gè)月都有新技術(shù)出來“搞事情”。

肉眼可見，AI視頻一個(gè)比一個(gè)真，一個(gè)比一個(gè)長。

but，先別急著鼓掌——

真正的賽點(diǎn)，早已不是“像不像”，而是“懂不懂”。

它知道桌子上的蘋果被拿走后，那里應(yīng)該變空嗎？它明白你轉(zhuǎn)身之后，背后的場景依然存在嗎？如果答案是否定的，那再逼真的視頻，也不過是“高級的GIF”。

現(xiàn)在，致力于攻克這一終極難題的玩家，終于帶著悟界·Emu3.5來了。

從官方放出的demo來看，Emu3.5生成的作品展現(xiàn)出極強(qiáng)的連貫性、邏輯性，尤其讓AI模擬動態(tài)物理世界的能力又雙叒增強(qiáng)了。

它能讓你以第一人稱視角進(jìn)入它所構(gòu)建的虛擬世界。你的每一次移動、每一次轉(zhuǎn)身，它都能動態(tài)構(gòu)建出你下一步應(yīng)該看到的場景，全程保持空間一致性。

除了上面展示的探索3D游戲世界，還能第一視角參觀陽光下的客廳：

在火星上開卡丁車也很絲滑：

由于掌握了世界運(yùn)行的內(nèi)在規(guī)律，它不僅能像專業(yè)設(shè)計(jì)師一樣，進(jìn)行高精度、可控的圖像編輯：

還能像拍電影一樣，生成圖文并茂的視覺故事：

從測評成績來看，悟界·Emu3.5的表現(xiàn)也極其亮眼——在多項(xiàng)權(quán)威基準(zhǔn)上，性能媲美甚至超越了Gemini-2.5-Flash-Image，沒錯(cuò)，就是那個(gè)Nano Banana，在文本渲染和多模態(tài)交錯(cuò)生成任務(wù)上優(yōu)勢尤其顯著。

Emu3.5的命名，就揭示了它的定位：世界模型基座

顧名思義，它要做的是世界模型的基礎(chǔ)模型，這等于是在AI領(lǐng)域開辟了一條全新的賽道。

那么，這樣一個(gè)被寄予厚望的模型究竟有多強(qiáng)？來看更多案例。

像智能體一樣理解長時(shí)序

核心能力：世界探索與具身操作

這是Emu3.5最核心、最能體現(xiàn)其“世界模型基座”本質(zhì)的能力。它能像一個(gè)智能體（Agent）一樣，理解長時(shí)序、空間一致的序列，模擬在虛擬世界中的探索和操作。

比如下面這個(gè)“整理桌面”的任務(wù)，就是通過以下指令一步步實(shí)現(xiàn)的：

1. 先把桌上所有東西清空。
2. 把所有線纜解開并分類。
3. 用扎帶把線纜捆好。
4. 用理線槽把線纜隱藏在桌下。
5. 最后把桌面物品擺放整齊。

進(jìn)階能力：視覺指導(dǎo)與復(fù)雜圖像編輯

正因?yàn)檎莆樟藙討B(tài)世界演變規(guī)律，Emu3.5尤為擅長提供具有連貫性和指導(dǎo)意義的視覺內(nèi)容。

當(dāng)給了Emu3.5一張狐貍的草圖，并給出一系列指令“把它變成3D模型、3D打印出來、再上色”后，它直接一步步生成了從草圖到最終手辦形態(tài)的完整視覺流程。整個(gè)過程中，狐貍的核心特征和神態(tài)都得到了完美保留，扛住了長時(shí)程創(chuàng)作的挑戰(zhàn)。

這種能力讓它還能生成分步教學(xué)指南，手把手教你做菜、畫畫、種菜：

同時(shí)，它也支持多圖、多輪指令的復(fù)雜圖像編輯，主體一致性、風(fēng)格保持能力達(dá)到業(yè)界頂尖水平。

敲黑板，由于Emu3.5本身就在海量的互聯(lián)網(wǎng)視頻上進(jìn)行預(yù)訓(xùn)練，所以它天生就具備理解時(shí)空連續(xù)性的能力，能夠生成長時(shí)序、邏輯一致的序列，而不會出現(xiàn)風(fēng)格漂移或事實(shí)錯(cuò)亂。

為了構(gòu)建Emu3.5，智源這次在技術(shù)方面也是進(jìn)行了一系列創(chuàng)新和突破。

背后技術(shù)原理

Emu3.5參數(shù)量僅34B，整個(gè)模型以標(biāo)準(zhǔn)的Decoder-only Transformer為框架，單一模型能夠同時(shí)完成視覺敘事、視覺引導(dǎo)、圖像編輯、世界探索、具身操作等多種任務(wù)。

它將所有任務(wù)都統(tǒng)一為下一State預(yù)測（Next-State Prediction）任務(wù)，無論是文本還是圖像，都被一個(gè)強(qiáng)大的多模態(tài)分詞器（Tokenizer）轉(zhuǎn)換成離散的Token序列。

• 海量視頻數(shù)據(jù)預(yù)訓(xùn)練
• 模型在超過10萬億Token的多模態(tài)數(shù)據(jù)上進(jìn)行訓(xùn)練，其中主力是來自互聯(lián)網(wǎng)視頻的連續(xù)幀和轉(zhuǎn)錄文本。這使得模型從一開始就沉浸式學(xué)習(xí)時(shí)空連續(xù)性和因果關(guān)系。
• 強(qiáng)大的分詞器
• 視覺分詞器（Tokenizer）基于IBQ框架，擁有13萬的視覺詞匯表，并集成了擴(kuò)散解碼器，能實(shí)現(xiàn)高達(dá)2K分辨率的高保真圖像重建。
• 多階段對齊
• 在預(yù)訓(xùn)練之后，模型經(jīng)過了大規(guī)模的有監(jiān)督微調(diào)（SFT）和大規(guī)模多模態(tài)強(qiáng)化學(xué)習(xí)（RL），使用一個(gè)包含通用指標(biāo)（如美學(xué)、圖文對齊）和任務(wù)特定指標(biāo)（如故事連貫性、文本渲染準(zhǔn)確率）的復(fù)雜獎(jiǎng)勵(lì)系統(tǒng)進(jìn)行優(yōu)化。
• 推理加速黑科技
• 為了解決自回歸模型生成圖像慢的問題，團(tuán)隊(duì)提出了離散擴(kuò)散適配（DiDA）技術(shù)，它能將逐個(gè)Token的生成方式轉(zhuǎn)變?yōu)椴⑿械碾p向預(yù)測，在不犧牲性能的前提下，使每張圖像的推理速度提升近20倍。

One More Thing

這么強(qiáng)的模型，智源選擇——開源

全球的開發(fā)者、研究者，不用再從零開始，就能直接上手一個(gè)懂物理、有邏輯的世界模型。

從生成更逼真的視頻，到構(gòu)建更聰明的智能體，再到賦能千行百業(yè)的實(shí)際應(yīng)用……想象空間拉滿了。

對了，如果想要體驗(yàn)科研內(nèi)測版，可戳下方鏈接申請~

體驗(yàn)鏈接：https://jwolpxeehx.feishu.cn/share/base/form/shrcn0dzwo2ZkN2Q0dveDBSfR3b

項(xiàng)目主頁：https://zh.emu.world/pages/web/landingPage
技術(shù)報(bào)告：https://zh.emu.world/Emu35_tech_report.pdf

— 完 —