當(dāng)下主流的視覺(jué)語(yǔ)言模型（Vision-Language Models, VLM），通常都采用這樣一種設(shè)計(jì)思路：將預(yù)訓(xùn)練的視覺(jué)編碼器與大語(yǔ)言模型通過(guò)投影層拼接起來(lái)。這種模塊化架構(gòu)成就了當(dāng)前 VLM 的輝煌，但也帶來(lái)了一系列新的問(wèn)題——多階段訓(xùn)練復(fù)雜、組件間語(yǔ)義對(duì)齊成本高，不同模塊的擴(kuò)展規(guī)律難以協(xié)調(diào)。

由南洋理工大學(xué) S-Lab 助理教授劉子緯領(lǐng)導(dǎo)的聯(lián)合團(tuán)隊(duì)最近提出了 NEO，試圖用另一種思路解決這些問(wèn)題。這項(xiàng)工作試圖回答一個(gè)根本性問(wèn)題：如果不依賴預(yù)訓(xùn)練的視覺(jué)編碼器，能否構(gòu)建出與頂級(jí)模塊化 VLM 相媲美的原生統(tǒng)一架構(gòu)？

圖丨相關(guān)論文（來(lái)源：arXiv）

在傳統(tǒng)方法中，視覺(jué)編碼器通常基于 CLIP 或 SigLIP 等預(yù)訓(xùn)練模型，這些編碼器雖然在視覺(jué)理解上表現(xiàn)出色，但其固有的語(yǔ)義偏置會(huì)限制模型在特定任務(wù)上的靈活性。

更重要的是，視覺(jué)編碼器和語(yǔ)言模型之間存在天然的“代溝”——前者采用雙向注意力機(jī)制來(lái)捕捉圖像中的全局關(guān)系，后者則使用因果注意力進(jìn)行文本的自回歸生成。這種架構(gòu)上的不匹配使得多階段訓(xùn)練不僅復(fù)雜，還需要大量的對(duì)齊數(shù)據(jù)來(lái)彌合兩個(gè)模態(tài)之間的鴻溝。

原生 VLM 的探索并非由 NEO 首創(chuàng)。早期的 Fuyu、EVE 就開(kāi)啟了這條路，但它們所面臨的一個(gè)重要問(wèn)題是：如何在語(yǔ)言模型內(nèi)部高效構(gòu)建視覺(jué)表征？這個(gè)過(guò)程往往效率低下、訓(xùn)練不穩(wěn)定，甚至?xí)茐脑械恼Z(yǔ)言能力。后續(xù)研究嘗試用知識(shí)蒸餾、混合訓(xùn)練數(shù)據(jù)或?qū)＜蚁到y(tǒng)來(lái)緩解，但始終未能觸及核心問(wèn)題。NEO 的團(tuán)隊(duì)認(rèn)為，問(wèn)題的根源在于沒(méi)有從根本上為多模態(tài)重新設(shè)計(jì)模型的基礎(chǔ)組件。

NEO 團(tuán)隊(duì)的方案是構(gòu)建一個(gè)統(tǒng)一的原生基元（Native VLM Primitive），這個(gè)基元同時(shí)具備視覺(jué)編碼、跨模態(tài)對(duì)齊和多模態(tài)推理的能力。具體而言，NEO 引入了三項(xiàng)關(guān)鍵創(chuàng)新：多頭原生注意力（Multi-Head Native Attention, MHNA）、原生旋轉(zhuǎn)位置編碼（Native Rotary Position Embeddings, Native-RoPE）以及 Pre-Buffer 和 Post-LLM 的兩階段架構(gòu)設(shè)計(jì)。

圖丨原生視覺(jué)-語(yǔ)言框架概覽（來(lái)源：arXiv）

在注意力機(jī)制的設(shè)計(jì)上，NEO 采用了一種混合策略。對(duì)于圖像 token，模型使用雙向注意力，允許每個(gè)視覺(jué) token 與圖像中的所有其他 token 進(jìn)行交互，這保留了視覺(jué)編碼器捕捉全局空間關(guān)系的能力。而對(duì)于文本 token，則沿用傳統(tǒng)的因果注意力，確保自回歸生成的有效性。這種“幀級(jí)雙向、詞級(jí)因果”的混合注意力機(jī)制，讓 NEO 能夠在同一個(gè)統(tǒng)一架構(gòu)中同時(shí)處理視覺(jué)的全局理解和語(yǔ)言的序列生成。

位置編碼是 NEO 的另一個(gè)創(chuàng)新點(diǎn)。傳統(tǒng) VLM 在處理圖像和文本時(shí)，往往簡(jiǎn)單地將預(yù)訓(xùn)練 LLM 的一維旋轉(zhuǎn)位置編碼（Rotary Position Embeddings, RoPE）擴(kuò)展到二維或三維空間，但這種做法會(huì)破壞 LLM 原有的建模模式，損害其語(yǔ)言能力。NEO 采用的 Native-RoPE 則完全解耦了時(shí)間（T）、高度（H）和寬度（W）三個(gè)維度的索引和頻率分配。

圖丨NEO 框架（來(lái)源：arXiv）

對(duì)于文本，模型保持原有的時(shí)間維度索引，而將高度和寬度維度的索引置零；對(duì)于圖像，每個(gè)視覺(jué) token 擁有固定的時(shí)間索引和獨(dú)特的空間坐標(biāo)。這種設(shè)計(jì)不僅保持了與預(yù)訓(xùn)練 LLM 的兼容性，還能更好地捕捉圖像中的局部語(yǔ)義依賴關(guān)系。

在訓(xùn)練策略上，NEO 采用了 Pre-Buffer 和 Post-LLM 的分離式預(yù)訓(xùn)練。Pre-Buffer 負(fù)責(zé)從頭學(xué)習(xí)視覺(jué)感知，而 Post-LLM 則繼承預(yù)訓(xùn)練 LLM 的強(qiáng)大語(yǔ)言能力和推理能力。在預(yù)訓(xùn)練階段，Post-LLM 的參數(shù)被凍結(jié)，僅訓(xùn)練 Pre-Buffer 和新增的 Query-Key 頭維度及歸一化層。

這種設(shè)計(jì)既保護(hù)了 LLM 的語(yǔ)言知識(shí)不被低質(zhì)量的圖像-文本對(duì)破壞，又允許 Pre-Buffer 在大規(guī)模視覺(jué)數(shù)據(jù)上進(jìn)行充分的學(xué)習(xí)。到了中期訓(xùn)練和監(jiān)督微調(diào)階段，Pre-Buffer 和 Post-LLM 被合并為一個(gè)統(tǒng)一的單體架構(gòu)，模型能夠自主地在編碼、對(duì)齊和推理之間分配計(jì)算資源。

此外，Pre-Buffer 本身具有可復(fù)用性。這個(gè)經(jīng)過(guò)大規(guī)模視覺(jué)數(shù)據(jù)預(yù)訓(xùn)練的模塊可以作為開(kāi)源資源，幫助后續(xù)研究者以更低的成本將新的 LLM 適配為 VLM。

值得注意的是，NEO 在訓(xùn)練效率上展現(xiàn)出令人驚訝的表現(xiàn)。整個(gè)預(yù)訓(xùn)練階段僅使用了 3.45 億圖文對(duì)，這個(gè)數(shù)據(jù)規(guī)模遠(yuǎn)小于主流模塊化 VLM 動(dòng)輒數(shù)十億的訓(xùn)練數(shù)據(jù)。在中期訓(xùn)練階段，NEO 使用 4000 萬(wàn)樣本進(jìn)行視覺(jué)-語(yǔ)言對(duì)齊的強(qiáng)化；監(jiān)督微調(diào)階段則使用約 400 萬(wàn)條高質(zhì)量指令數(shù)據(jù)?？傆?jì)不到 4 億的訓(xùn)練樣本，NEO-2.2B 和 NEO-9B 兩個(gè)版本就達(dá)到了與頂級(jí)模塊化 VLM 相當(dāng)?shù)男阅芩健?/p>

圖丨與其他模塊化和原生 VLM 的基準(zhǔn)測(cè)試比較（來(lái)源：arXiv）

在多項(xiàng)標(biāo)準(zhǔn)評(píng)估基準(zhǔn)上，NEO 的表現(xiàn)出色。在 MMMU（多學(xué)科多模態(tài)理解與推理）測(cè)試中，NEO-2.2B 獲得了 48.6 分，超過(guò)了 InternVL2.5（43.6 分）和 HoVLE（32.2 分）等原生 VLM 競(jìng)品。

在文檔理解任務(wù)如 AI2D 和 DocVQA 上，NEO-2.2B 分別達(dá)到 80.1 分和 89.9 分，接近甚至超過(guò)了一些采用強(qiáng)化學(xué)習(xí)的模塊化模型。更大的 NEO-9B 版本在多個(gè)基準(zhǔn)上的表現(xiàn)更加出色，在 MMBench 上獲得 82.1 分，在 AI2D 上達(dá)到 83.1 分，與使用數(shù)十億訓(xùn)練數(shù)據(jù)的 Qwen2-VL 和 InternVL2.5 處于同一競(jìng)爭(zhēng)梯隊(duì)。

當(dāng)然，NEO 也還存在一些局限性。在知識(shí)密集型和 OCR（光學(xué)字符識(shí)別）重度任務(wù)上，如 MMMU、InfoVQA 和 TextVQA 等測(cè)試中，NEO 的表現(xiàn)相對(duì)落后。NEO-9B 在某些 OCR 任務(wù)如 DocVQA 和 InfoVQA 上的表現(xiàn)甚至不如 NEO-2.2B，這表明當(dāng)前的訓(xùn)練語(yǔ)料庫(kù)在這些特定領(lǐng)域可能存在不足。

研究團(tuán)隊(duì)在論文中表示，這些局限性主要源于訓(xùn)練數(shù)據(jù)的規(guī)模和質(zhì)量限制，而非架構(gòu)本身的問(wèn)題。如果能夠獲得更大規(guī)模、更高質(zhì)量的訓(xùn)練數(shù)據(jù)，NEO 的潛力還有很大的提升空間。

參考資料：

1.https://arxiv.org/pdf/2510.14979v1

2.https://github.com/EvolvingLMMs-Lab/NEO

運(yùn)營(yíng)/排版：何晨龍