MiniMax海螺視頻團(tuán)隊(duì)不藏了！

首次開源就揭曉了一個(gè)困擾行業(yè)已久的問題的答案——

為什么往第一階段的視覺分詞器里砸再多算力，也無法提升第二階段的生成效果？

翻譯成大白話就是，雖然圖像/視頻生成模型的參數(shù)越做越大、算力越堆越猛，但用戶實(shí)際體驗(yàn)下來總有一種微妙的感受——這些龐大的投入與產(chǎn)出似乎不成正比，模型離完全真正可用總是差一段距離。

So why？問題，大概率就出在視覺分詞器（Tokenizer）這個(gè)東西身上了。

當(dāng)算力不再是答案時(shí)，真正需要被重新審視的，其實(shí)是生成模型的“起點(diǎn)”。

在當(dāng)前主流的兩階段生成框架中（分詞器+生成模型），業(yè)界已經(jīng)在視覺分詞器的預(yù)訓(xùn)練上投入了大量算力與數(shù)據(jù)，但一個(gè)尷尬的事實(shí)是：

• 這些成本，幾乎沒有線性地轉(zhuǎn)化為生成質(zhì)量的提升

而MiniMax海螺視頻團(tuán)隊(duì)，不止挑戰(zhàn)了這一現(xiàn)實(shí)——用實(shí)驗(yàn)證明“Tokenizer的scaling能夠提升模型性能”。

更關(guān)鍵的是，還帶來了一款開箱即用、專為“下一代生成模型”打造的可擴(kuò)展視覺分詞器預(yù)訓(xùn)練框架——Visual Tokenizer Pre-training（以下簡稱VTP）。

只需換上這個(gè)視覺分詞器，即可在不改變下游主模型（如DiT）任何訓(xùn)練配置的情況下，實(shí)現(xiàn)端到端生成性能的倍數(shù)級(jí)提升。

下面詳細(xì)來看——

傳統(tǒng)Tokenizer的缺陷：更好的重建≠更好的生成

要理解VTP存在的意義，首先我們需要回到更基礎(chǔ)的問題上——

Tokenizer是什么？它又為何如此關(guān)鍵？

以AI生圖為例，當(dāng)前主流的生圖模型幾乎清一色采用了“兩階段”生成框架：

• 第一階段（壓縮）：使用視覺Tokenizer（如VAE）這個(gè)組件，將原始圖像壓縮并映射到一個(gè)潛在空間（latent space）中；
• 第二階段（還原生成）：再由以擴(kuò)散模型為核心的生成器（如DiT），在這個(gè)潛在空間中學(xué)習(xí)分布，并逐步還原、生成最終圖像。

用一張圖來形容這個(gè)過程be like（先壓縮后還原）：

而Tokenizer，就是在第一階段中負(fù)責(zé)壓縮圖片信息的組件。

如果沒有這個(gè)組件，擴(kuò)散模型就得直接在數(shù)百萬像素組成的原始像素空間中進(jìn)行“去噪”和生成——其計(jì)算復(fù)雜度和內(nèi)存開銷將是天文數(shù)字。

因此，Tokenizer稱得上是讓模型能夠在消費(fèi)級(jí)顯卡上運(yùn)行起來的“關(guān)鍵功臣”。

除此之外，Tokenize過程所得的低維潛在表征，其質(zhì)量直接決定了最終生成圖像的語義保真度、細(xì)節(jié)豐富度以及整體真實(shí)性，所以業(yè)界也普遍認(rèn)為——

從某種程度上來說，Tokenize幾乎決定了后續(xù)生成模型的上限。

基于此，人們在研究如何提升下游生成模型的質(zhì)量時(shí)，也不約而同地將重點(diǎn)放在了“如何精準(zhǔn)復(fù)刻原始像素”上，即要求模型將壓縮后的潛在特征（latent）盡可能精準(zhǔn)地還原為原始圖像。

而問題，也正出在這里。

傳統(tǒng)Tokenizer在追求“像素級(jí)重建”時(shí)，往往會(huì)過度沉迷于捕捉圖像的局部紋理、噪點(diǎn)等低層信息，從而忽視了生成任務(wù)真正依賴的高層語義與整體結(jié)構(gòu)。

這就像學(xué)渣為了應(yīng)付考試，只想著死記硬背各種試題，卻完全不理解題目背后的知識(shí)點(diǎn)與邏輯結(jié)構(gòu)。結(jié)果真正到了需要舉一反三、解決新問題的時(shí)候，一下就傻眼了。

在論文中，海螺視頻團(tuán)隊(duì)將這一現(xiàn)象定義為“預(yù)訓(xùn)練縮放問題”（Pre-training Scaling Problem）：

• 更好的像素級(jí)重建精度并不能帶來更高質(zhì)量的生成效果

如圖所示，傳統(tǒng)僅基于“重建”目標(biāo)訓(xùn)練的Tokenizer（灰線），隨著算力投入增加，模型的生成性能不僅沒有提升，反而逐漸趨于飽和甚至略微下降。（ps：gFID衡量生成質(zhì)量，越小越好）

由此，論文得出第一個(gè)關(guān)鍵發(fā)現(xiàn)：重建做得越好，生成反而可能越差。換言之，傳統(tǒng)VAE所依賴的純重建訓(xùn)練范式，在面向生成任務(wù)時(shí)存在根本性局限。

那么，VTP是如何破局的呢？

VTP破局之道：從像素級(jí)重建到強(qiáng)調(diào)“理解力”的重要性

事實(shí)上，VTP并非橫空出世，而是海螺視頻團(tuán)隊(duì)在長期實(shí)踐中反復(fù)試錯(cuò)與認(rèn)知迭代的產(chǎn)物。

一些早期探索：從易學(xué)性到通用表征學(xué)習(xí)

在早期工作VA-VAE中，團(tuán)隊(duì)注意到：

• 有些“壓縮后的特征”能讓后續(xù)的擴(kuò)散模型學(xué)得又快又好，而另一些則不能。

基于此，他們提出了“易學(xué)性”這一概念——即不同的潛在表征（latents）對于下游生成模型的學(xué)習(xí)難度截然不同，并期望通過優(yōu)化latent的某些“友好特性”（如均勻性、頻域分布等）來間接改善生成效果。

然而實(shí)踐發(fā)現(xiàn)，這些方法雖有一定效果，卻未觸及本質(zhì)。按團(tuán)隊(duì)自己的話來說就是：

• 嘗試將易學(xué)性等價(jià)為可精確計(jì)算的單一指標(biāo)（例如頻域分布、均勻性、scale不變性、低秩效應(yīng)等等）有些過于理想了，這些指標(biāo)可能和易學(xué)性有一定關(guān)聯(lián)，但遠(yuǎn)不是全部。

就是說，當(dāng)優(yōu)化目標(biāo)被限制在少數(shù)可測量指標(biāo)上時(shí)，模型往往只是學(xué)會(huì)了在特定指標(biāo)上“刷分”，而沒有從根本上學(xué)會(huì)理解圖像的結(jié)構(gòu)與語義（本質(zhì)上仍未脫離“重建”范疇）。

△在VA-VAE中，團(tuán)隊(duì)曾嘗試將易學(xué)性對應(yīng)到latent分布的“均勻性”

而經(jīng)過持續(xù)反思，團(tuán)隊(duì)逐漸意識(shí)到VA-VAE和后來的很多嘗試，其深層目標(biāo)并非僅僅是優(yōu)化幾個(gè)指標(biāo)，而是在試圖讓latents具備某些更高級(jí)的“結(jié)構(gòu)”。其背后邏輯在于：

• 假如某種latents對于圖像中的實(shí)體、位置關(guān)系具有高度結(jié)構(gòu)化的表達(dá)，那么這種結(jié)構(gòu)化表達(dá)對于下游diffusion建模來說也會(huì)更簡潔、更容易，這些方面的生成效果也自然會(huì)更好。

這就好比另一種層面上的“大道至簡”——當(dāng)模型真正掌握了物體、關(guān)系與語義這些視覺世界的本質(zhì)規(guī)律時(shí)，它能應(yīng)對的任務(wù)自然也就越多了（以不變應(yīng)萬變）。

因此，與其為“易學(xué)性”設(shè)計(jì)脆弱的代理指標(biāo)，不如直接讓Tokenizer去學(xué)習(xí)人類視覺系統(tǒng)本身所依賴的那種高度結(jié)構(gòu)化、語義化的通用表征。

畢竟像CLIP、DINOv2這樣的現(xiàn)代通用表征學(xué)習(xí)方法，正是在大規(guī)模數(shù)據(jù)上自動(dòng)化地學(xué)習(xí)了這種“人類對齊”的視覺表達(dá)，才在多種下游任務(wù)中表現(xiàn)出強(qiáng)大的泛化能力。

至此，團(tuán)隊(duì)的研究重心正式從“像素級(jí)重建”轉(zhuǎn)向了強(qiáng)調(diào)理解力的“通用表征學(xué)習(xí)”。

VTP：回歸“壓縮即智能”本質(zhì)

基于這一認(rèn)知轉(zhuǎn)變，VTP的設(shè)計(jì)原則變得異常清晰。團(tuán)隊(duì)表示：

• 我們應(yīng)該融合所有已知有效的表征學(xué)習(xí)方法來構(gòu)建一個(gè)Tokenizer

具體而言，VTP這次率先實(shí)現(xiàn)了從只練“重建”到“理解、重建、生成”的聯(lián)合優(yōu)化。

一是通過圖文對比學(xué)習(xí)，建立高層語義理解。

在訓(xùn)練時(shí)，團(tuán)隊(duì)會(huì)給模型看大量圖像-文本配對數(shù)據(jù)（如“一只貓?jiān)谏嘲l(fā)上”與對應(yīng)圖片），然后要求圖片的特征向量和文字的特征向量盡可能接近。

這和之前的CLIP思路一脈相承，但目標(biāo)更聚焦。CLIP追求的是廣義的圖文匹配能力，而VTP則要求Tokenizer在壓縮圖像為緊湊的潛在編碼時(shí)，必須保留與文本對齊的語義結(jié)構(gòu)。

這意味著，生成模型后續(xù)接收到的每一個(gè)潛在表示，本身就已經(jīng)是“有語義的”——它不只是一堆像素的壓縮，而是攜帶了“貓”、“沙發(fā)”等概念及其關(guān)系的結(jié)構(gòu)化表達(dá)。和以往相比，“語義注入”被提前到了壓縮階段。

二是通過自監(jiān)督學(xué)習(xí)，掌握空間結(jié)構(gòu)與視覺常識(shí)。

在VTP框架中，自監(jiān)督學(xué)習(xí)模塊通過結(jié)合掩碼圖像建模（MIM） 和自蒸餾（DINO風(fēng)格），“迫使”模型去理解圖片的空間關(guān)系和物體結(jié)構(gòu)。

這個(gè)過程會(huì)“逼著”Tokenizer來回答不同問題：

• 通過自蒸餾回答：拋開具體的像素細(xì)節(jié)，這張圖片最核心的視覺主題或概念是什么？（全局語義）
• 通過MIM回答：根據(jù)你看到的“冰山一角”，你能推斷出整個(gè)“冰山”的形狀和結(jié)構(gòu)嗎？（結(jié)構(gòu)推理）
• 二者協(xié)同回答：為了識(shí)別圖片主題或從局部重建整體，哪些視覺線索是決定性、不可缺失的？（聚焦核心）

這一套流程走下來，模型對圖像的理解便不再停留在像素層面，而是構(gòu)建起了結(jié)構(gòu)化的視覺認(rèn)知。

三是通過重建，保留必要的底層視覺細(xì)節(jié)。

VTP依然保留了重建目標(biāo)，但它的定位發(fā)生了變化——其作用不再是“越準(zhǔn)越好”，而是確保潛在空間中仍然保有生成所需的紋理、顏色與邊緣等細(xì)節(jié)信息。

這三重目標(biāo)并非孤立進(jìn)行，而是通過一個(gè)統(tǒng)一的多任務(wù)損失函數(shù)進(jìn)行聯(lián)合優(yōu)化：

最終，VTP得到的不是一個(gè)在某個(gè)指標(biāo)上“特別優(yōu)秀”的壓縮器，而是一個(gè)自帶理解能力、對生成模型非常友好的視覺Tokenizer。

這里也補(bǔ)充一個(gè)細(xì)節(jié)：為什么他們不像很多工作一樣直接使用現(xiàn)有的CLIP或DINOv2作為Tokenizer，而非要投入巨大算力從頭預(yù)訓(xùn)練一個(gè)？

其核心思考在于兩點(diǎn)（團(tuán)隊(duì)原話如下）：

• 表征真的很重要，我們想要做到很極致。在我們的視角下表征包含了自監(jiān)督、對比學(xué)習(xí)、甚至是重建（這些只是已知比較成熟的方法，實(shí)際上理想的表征遠(yuǎn)不止這些），市面上沒有一個(gè)能夠很好地融匯這些方法的模型，我們需要自己訓(xùn)練一個(gè)。
• 基于表征的Tokenizer方案具備scaling的潛力，預(yù)訓(xùn)練是最合理的實(shí)現(xiàn)方式。如果直接利用已有模型蒸餾或者遷移，會(huì)因?yàn)閟etting過于復(fù)雜而破壞scaling的性質(zhì)，也會(huì)受限于已有的模型規(guī)格而無法做充分的論證。

所以，選擇“從頭開始”的VTP，其實(shí)際表現(xiàn)究竟如何呢？

首次展示了Tokenizer的Scaling Law

概括而言，團(tuán)隊(duì)通過VTP得出了兩大關(guān)鍵發(fā)現(xiàn)：

• 理解力是驅(qū)動(dòng)生成的關(guān)鍵因素
• 視覺Tokenizer也具備明確的Scaling Law

先說第一點(diǎn)。

VTP用實(shí)驗(yàn)證明，如果只做重建的話，投入資源越多生成反而可能越差。

下圖中，代表重建能力的rFID從2.0降至0.5，重建效果變好；但代表生成能力的gFID從55.04升至58.56，生成效果變差。

而一旦注入“理解力”（即引入CLIP圖文對比/SSL自監(jiān)督任務(wù)），模型的生成質(zhì)量（gFID）會(huì)隨著理解能力（Linear Probe）的提升而同步變好——

二者呈現(xiàn)明顯的正相關(guān)，且這種提升會(huì)隨著訓(xùn)練計(jì)算量增加持續(xù)推進(jìn)。相比之下，缺少“理解力”的傳統(tǒng)AE Only方案，其生成質(zhì)量和理解能力很快陷入停滯。

更進(jìn)一步，團(tuán)隊(duì)在同等算力下對比了不同組合，證明“CLIP+SSL+AE”的聯(lián)合訓(xùn)練方式上限最高，生成與理解指標(biāo)均最優(yōu)。

基于此，團(tuán)隊(duì)訓(xùn)練的VTP在理解、重建、生成方面均交出了不錯(cuò)的答卷——

在ImageNet上的零樣本分類準(zhǔn)確率達(dá)到78.2%，超過了原版CLIP的75.5%，已經(jīng)具備強(qiáng)通用視覺理解能力；在重建能力上超過了Stable Diffusion的VAE， rFID低至0.36；在生成能力上超過了此前的改進(jìn)方法VA-VAE，gFID低至2.81。

更關(guān)鍵的是，在達(dá)到相同生成質(zhì)量的前提下，VTP的訓(xùn)練收斂速度比LDM快5.7倍、比VA-VAE快4.1倍，大幅降低了訓(xùn)練成本。

這一系列表現(xiàn)共同印證了團(tuán)隊(duì)的判斷：Tokenizer的“語義理解力”而非單純的像素重建精度，才是驅(qū)動(dòng)生成性能與效率提升的核心動(dòng)力。

再說第二點(diǎn)，也是更具突破性的一點(diǎn)。

團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)，VTP首次展示了Tokenizer的Scaling Law，即生成性能可以隨預(yù)訓(xùn)練中投入的計(jì)算量、參數(shù)量和數(shù)據(jù)規(guī)模有效增長。

僅從算力維度對比，在不改動(dòng)下游DiT標(biāo)準(zhǔn)訓(xùn)練配置的前提下，單純將Tokenizer的預(yù)訓(xùn)練計(jì)算量放大，VTP就能為最終生成效果帶來65.8%的性能提升，且提升曲線仍未觸頂。

反觀傳統(tǒng)自編碼器（AE），其性能在僅投入約1/10計(jì)算量時(shí)便已飽和，且繼續(xù)增加算力不僅收益微乎其微，甚至可能導(dǎo)致生成質(zhì)量倒退。

以上發(fā)現(xiàn)表明，接下來除了在主模型上投入更多參數(shù)/算力/數(shù)據(jù)之外，還可以通過Tokenizer的scaling來提升整個(gè)生成系統(tǒng)的性能。

這個(gè)結(jié)論，乍一看可能會(huì)讓人有點(diǎn)轉(zhuǎn)不過彎：什么時(shí)候，Tokenizer也開始談scaling了？

在大模型語境里，“Scaling Law”幾乎天然只屬于主模型——參數(shù)更大、數(shù)據(jù)更多、算力更猛，性能就該繼續(xù)往上走。至于Tokenizer，則長期被視作一個(gè)“前置模塊”，主打一個(gè)夠用就行，做完重建任務(wù)就退場。

但VTP的出現(xiàn)卻改變了這一現(xiàn)實(shí)，團(tuán)隊(duì)表示：

• VTP在latents易學(xué)性和通用表征學(xué)習(xí)之間建立起了明確關(guān)聯(lián)，從而第一次將Tokenizer作為scaling的主角，展現(xiàn)出全面的scaling曲線和擴(kuò)展方向

就是說，如果Tokenizer只是被用來精準(zhǔn)復(fù)刻像素，那么無論怎么堆算力，提升都將很快見頂；而一旦Tokenizer學(xué)到的是具備語義結(jié)構(gòu)、對下游更友好的通用表征，事情就完全不一樣了。

比如對整個(gè)行業(yè)來說，由于VTP在Tokenizer層面就已經(jīng)統(tǒng)一了語義對齊、結(jié)構(gòu)認(rèn)知和細(xì)節(jié)表達(dá)，因此其產(chǎn)出的視覺表征天然具備多任務(wù)協(xié)同的潛力。

這有點(diǎn)像先把世界翻譯成了一種統(tǒng)一、結(jié)構(gòu)化的“視覺語言”。

一旦這套語言確定下來，下游無論是理解任務(wù)（如分類、檢測），還是生成任務(wù)（如圖像合成、編輯），都不再需要各自“重新學(xué)怎么描述這個(gè)世界”，而只是站在同一套底層表達(dá)之上，做不同的事情。

從這個(gè)角度看，VTP天然適合用來構(gòu)建“理解-生成統(tǒng)一模型”。正如團(tuán)隊(duì)所言：

• Tokenizer層面的統(tǒng)一，是更本質(zhì)的統(tǒng)一

也因此，此次VTP的開源就不單單只是提供了一個(gè)組件那么簡單了。

其更大的價(jià)值或許在于，它為整個(gè)行業(yè)提供了一條新的、且被實(shí)驗(yàn)證明行之有效的路徑——

在主模型之外，Tokenizer同樣是一個(gè)值得長期投入、且具備明確scaling回報(bào)的核心環(huán)節(jié)。

目前，VTP的論文和模型權(quán)重已經(jīng)公開，動(dòng)手能力強(qiáng)的朋友也可以嘗試體驗(yàn)下：

換一個(gè)視覺Tokenizer，模型性能就能變得不一樣的feeling（手動(dòng)狗頭）。

【傳送門】
代碼：https://github.com/MiniMax-AI/VTP
論文：https://arxiv.org/abs/2512.13687v1
模型：https://huggingface.co/collections/MiniMaxAI/vtp