昨晚，GLM-4.5V 發(fā)布
在開源多模態(tài)這一賽道，把桌子掀了

實(shí)際用起來，也很不錯(cuò)

比如我問問它：這是哪完全正確！這張就是我在柔佛的上空拍的ahhhhhhhhhh 他找到了！原圖是這個(gè)，反正我一眼沒看出來

下面，我們一起來看看 GLM-4.5V，是如何訓(xùn)練的

劃重點(diǎn)：以推理為中心

本文將從性能、架構(gòu)、預(yù)訓(xùn)練和后訓(xùn)練（監(jiān)督微調(diào)+強(qiáng)化學(xué)習(xí)）四個(gè)緯度來拆解，所用圖表、數(shù)據(jù)源于技術(shù)報(bào)告：《GLM-4.1V-Thinking and GLM-4.5V Technical Report》

GLM-4.5V 的技術(shù)報(bào)告

性能

在多模態(tài)理解和推理上，GLM-4.5V 比起之前模型，大幅提升

GLM-4.5 對比 之前的模型

在上圖中，GLM-4.5V 于STEM、空間推理、GUI Agent、OCR與文檔、代碼、視頻理解、視覺定位和通用VQA等領(lǐng)域，全面超越了前代模型

GLM-4.5V 的背后，是強(qiáng)化學(xué)習(xí)（RL）框架

經(jīng)過強(qiáng)化學(xué)習(xí)，模型提升不少

在RL后，編碼（Coding）任務(wù)上增益高達(dá)+10.6%，在 STEM 問題上也獲得了+6.7%的提升

下面這個(gè)圖，則是更全面的對比

GLM-4.5 vs Step-3、Qwen2.5-VL、Kimi-VL..

GLM-4.5V 在MMStar(75.3)、MMMU Pro(65.2)、MathVista(84.6)、ChartQAPro (64.0)和 **WebVoyager **(84.4) 等幾乎所有高難度任務(wù)上，均取得了最佳成績

架構(gòu)

GLM-4.5V 的架構(gòu)設(shè)計(jì)，圍繞“原生多模態(tài)、高分辨率、強(qiáng)時(shí)序理解”三個(gè)目標(biāo)

這背后，是視覺編碼器(ViT Encoder)、MLP 投影層(MLP Projector) 和語言解碼器(LLM Decoder) 三個(gè)組件

GLM-4.5V 的架構(gòu)

視覺編碼器
基于AIMv2-Huge初始化，通過引入2D-ROPE和3D 卷積，使其能夠原生處理任意分辨率的圖像和視頻，并有效捕捉時(shí)序信息

語言解碼器
基于GLM-4.5-Air，通過擴(kuò)展3D-RoPE，增強(qiáng)了對多模態(tài)輸入中空間位置的理解能力

原生時(shí)序理解
在處理視頻時(shí)，模型會在每一幀的視覺特征后插入一個(gè)時(shí)間戳 Token，讓模型明確感知到幀與幀之間的真實(shí)時(shí)間間隔，極大地提升了視頻理解和定位的準(zhǔn)確性

預(yù)訓(xùn)練

GLM-4.5V 的預(yù)訓(xùn)練，分為數(shù)據(jù)構(gòu)建和訓(xùn)練范式兩部分

數(shù)據(jù)構(gòu)建

GLM-4.5V 的預(yù)訓(xùn)練語料，涵蓋了多維度數(shù)據(jù)，包括：

圖像-文本對數(shù)據(jù)
通過一個(gè)包含啟發(fā)式過濾、CLIP-Score 篩選、概念平衡重采樣和事實(shí)中心化重述 (Factual-centered recaptioning)的精細(xì)化流程，構(gòu)建了超過 100 億對的高質(zhì)量圖文數(shù)據(jù)

圖4: GLM-4.5 vs Step-3、Qwen2.5-VL、Kimi-VL..

如上圖，重述模型能將“一個(gè)北方紅雀在唱歌”這種簡單描述，豐富為“一只北方紅雀棲息在樹枝上，背景是晴朗的藍(lán)天”，在保留事實(shí)的同時(shí)，極大地提升了描述的細(xì)節(jié)和信息密度。

交錯(cuò)圖文數(shù)據(jù)
從網(wǎng)頁、學(xué)術(shù)書籍中提取高質(zhì)量的圖文混排內(nèi)容，讓模型學(xué)習(xí)復(fù)雜的邏輯關(guān)系和領(lǐng)域知識

OCR 數(shù)據(jù)
構(gòu)建了包含 2.2 億張圖像的 OCR 數(shù)據(jù)集，涵蓋合成文檔、自然場景文字和學(xué)術(shù)文檔，全面提升文字識別能力

定位數(shù)據(jù) (Grounding Data)
構(gòu)建了包含 4000 萬自然圖像標(biāo)注和超過 1.4 億 GUI 界面問答對的混合定位數(shù)據(jù)集，賦予模型精確的像素級理解能力

視頻數(shù)據(jù)
通過精細(xì)的人工標(biāo)注，構(gòu)建了能夠捕捉復(fù)雜動(dòng)作、場景文字和電影元素的高質(zhì)量視頻數(shù)據(jù)集。

訓(xùn)練范式：兩階段，長上下文

GLM-4.5V 的訓(xùn)練采用兩階段策略：

多模態(tài)預(yù)訓(xùn)練
在 8192 的序列長度下，使用除視頻外的所有數(shù)據(jù)進(jìn)行 12 萬步訓(xùn)練

長上下文持續(xù)訓(xùn)練：將序列長度擴(kuò)展至32,768，并加入視頻數(shù)據(jù)，進(jìn)行額外的 1 萬步訓(xùn)練，使模型具備處理高分辨率圖像、長視頻和長文檔的能力

后訓(xùn)練：SFT 與 RL

后訓(xùn)練階段是 GLM-4.5V 提升推理能力的關(guān)鍵，包含有監(jiān)督微調(diào) (SFT)和強(qiáng)化學(xué)習(xí) (RL)兩個(gè)步驟

有監(jiān)督微調(diào) (SFT)：對齊思維范式

SFT 的目的是對齊模型的思維和表達(dá)方式，使其學(xué)會以“思考鏈 (Chain-of-Thought)”的形式進(jìn)行推理

標(biāo)準(zhǔn)格式
所有訓(xùn)練數(shù)據(jù)都遵循 {思考過程} {最終答案} 的標(biāo)準(zhǔn)格式

答案提取：對于需要精確答案的任務(wù)，最終答案用特殊的<|begin_of_box|>和<|end_of_box|>包裹，便于后續(xù) RL 階段的獎(jiǎng)勵(lì)模型進(jìn)行準(zhǔn)確判斷

雙模態(tài)支持：GLM-4.5V 通過在 SFT 階段混合“思考”與“非思考”數(shù)據(jù)，并引入特殊 token/nothink，實(shí)現(xiàn)了可靈活切換的兩種推理模式，兼顧性能與效率

強(qiáng)化學(xué)習(xí) (RL)：釋放模型潛能

GLM-4.5V 通過大規(guī)模、跨領(lǐng)域的強(qiáng)化學(xué)習(xí)，來提升推理能力

RLCS 課程學(xué)習(xí)采樣
為了提升訓(xùn)練效率，團(tuán)隊(duì)提出了Reinforcement Learning with Curriculum Sampling (RLCS)
該策略能根據(jù)模型的當(dāng)前能力，動(dòng)態(tài)地選擇“難度適中”的訓(xùn)練樣本，避免在過易或過難的問題上浪費(fèi)算力，從而最大化每一步訓(xùn)練的收益。

健壯的獎(jiǎng)勵(lì)系統(tǒng)
RL 的成敗很大程度上取決于獎(jiǎng)勵(lì)信號的質(zhì)量。GLM-4.5V 建立了一個(gè)領(lǐng)域特定的獎(jiǎng)勵(lì)系統(tǒng)，為數(shù)學(xué)、OCR、GUI 等不同任務(wù)設(shè)計(jì)了專門的驗(yàn)證邏輯，避免了“獎(jiǎng)勵(lì)黑客 (Reward Hacking)”現(xiàn)象

獎(jiǎng)勵(lì)信號對模型訓(xùn)練的影響

如上圖所示，即使在 STEM 領(lǐng)域有高質(zhì)量的獎(jiǎng)勵(lì)信號，但只要在多圖 VQA 任務(wù)中存在一個(gè)有缺陷的獎(jiǎng)勵(lì)模型，就會導(dǎo)致整個(gè)訓(xùn)練過程在150 步后全面崩潰

這說明，任何一個(gè)短板，都可能成為潰堤蟻穴，對于 RL 訓(xùn)練來說

跨域泛化與協(xié)同
RL 不僅提升了模型在特定領(lǐng)域的能力，還帶來了顯著的跨域泛化效果

RL 的訓(xùn)練，帶來的不同領(lǐng)域的影響

如上圖：在單一領(lǐng)域進(jìn)行 RL 訓(xùn)練，能提升其他領(lǐng)域的能力

例如，僅在 GUI Agent 數(shù)據(jù)上訓(xùn)練，就能帶動(dòng) STEM、OCR、視覺定位和通用 VQA 的性能提升

這說明不同多模態(tài)能力之間存在共享的底層邏輯
而將所有領(lǐng)域數(shù)據(jù)混合訓(xùn)練（Mix All），則能在大多數(shù)領(lǐng)域取得比單領(lǐng)域訓(xùn)練更強(qiáng)的效果，實(shí)現(xiàn)了“1+1 > 2”的協(xié)同增效

以上

GLM-4.5V 的訓(xùn)練，包含以下

• ?架構(gòu)：原生支持高分辨率、長視頻和時(shí)序理解

• ?預(yù)訓(xùn)練：精細(xì)化的數(shù)據(jù)構(gòu)建和兩階段訓(xùn)練

• ?SFT：將模型與“思考鏈”的推理范式對齊，為 RL 階段做好了準(zhǔn)備

• ?RL：通過 RLCS、健壯的獎(jiǎng)勵(lì)系統(tǒng)和跨域訓(xùn)練

以及...蹲后續(xù)：GLM-4.5V-355B