ahhhhhhhhhh~~~

面壁發(fā)了個很有趣的模型MiniCPM-V 4.5

把視覺模型... 卷到了一個非常別致，但實用的地方

高刷

高刷：直觀比較

左側(cè)高刷，右側(cè)低刷

貓貓來自...b站up「咪貓胖啊」，貓貓可愛

MiniCPM-V 4.5 眼中，是左側(cè)

10fps，畫面流暢，貓貓可愛

其他大模型眼中，是右側(cè)

1fps，畫面跳躍，貓貓可愛

以及...問就是

1幀能玩，2幀流暢，3幀電競，10幀..絕對是高刷

下面...讓我更系統(tǒng)的來說說這個「高刷」

由「首款通用排版 Agent」呈現(xiàn) （建議電腦看）

GitHub：

https://github.com/OpenBMB/MiniCPM-o

MiniCPM-V 4.5

面壁 · 開源新旗艦

8B參數(shù)，性能越級超越72B，堪稱最強端側(cè)多模態(tài)

首個高刷「鷹眼級」模型，看得準(zhǔn)、看得快、看得長！

鷹眼視覺

30B以下最強多模態(tài)

單圖理解領(lǐng)先GPT-4o

視頻理解超越Qwen-VL

文檔解析同級最佳

端側(cè)友好極致能效

模型亮點一覽

首個高刷模型

首個「高刷視頻理解」多模態(tài)模型，兼顧性能與效率

同等視覺token開銷下，可接收6倍視頻幀數(shù)，達到96倍視覺壓縮率，是同類模型的12-24倍

在MotionBench、FavorBench榜單中達到同尺寸SOTA，超越Qwen2.5-VL 72B

最強多模態(tài)

30B以下最強多模態(tài)，多項能力越級領(lǐng)先

圖片理解（OpenCompass）領(lǐng)先GPT-4o、Gemini-2.0-Pro等閉源模型；長視頻、OCR、文檔解析等能力均達到同級SOTA，并超越Qwen2.5-VL 72B

端側(cè)友好

極致推理性價比，最佳推理效率

顯存占用、平均推理時間等優(yōu)勢顯著，采用3幀打包策略推理，時間開銷（未計抽幀）僅為同級模型的1/10

可控推理

支持長思考、短思考可控混合推理

常規(guī)模式提供出色多模態(tài)理解能力，深度思考模式專注復(fù)雜與復(fù)合型推理任務(wù)，實現(xiàn)性能與響應(yīng)速度的有效平衡

從“看PPT”到“理解動態(tài)畫面”

此前，主流多模態(tài)模型通常采取 1fps 抽幀，缺失了絕大部分視覺信息。MiniCPM-V 4.5 將視覺能力從 1fps 升級到 10fps，通過顯著增加抽幀頻次，瞬間捕捉，洞見細節(jié)，面對一閃而過的畫面，比頂尖云端模型，如 GPT/Gemini，看得更準(zhǔn)、更細。

在體現(xiàn)高刷視頻理解能力的 MotionBench、FavorBench 兩項榜單中，MiniCPM-V 4.5 達到同尺寸 SOTA，且超過 Qwen2.5-VL 72B，實現(xiàn)越級領(lǐng)先

全能多模態(tài)SOTA表現(xiàn)

圖片理解性能

在 OpenCompass 測評中，領(lǐng)先 GPT-4o、GPT-4.1、Gemini-2.0-Pro 等眾多閉源模型 ，甚至超過 Qwen2.5-VL 72B，實現(xiàn)越級領(lǐng)先

視頻理解性能

在 LVBench、MLVU、Video-MME 等榜單中，均達到同級最佳水平

復(fù)雜文檔識別

在 OmniDocBench 榜單的 OverallEdit、TextEdit、TableEdit 三項指標(biāo)上，均取得了通用多模態(tài)模型同級別的 SOTA 表現(xiàn)

極致推理性價比

在覆蓋短、中、長三種類型的視頻理解評測集 Video-MME 上，MiniCPM-V 4.5 采用 3 幀打包策略進行推理，時間開銷（未計算模型抽幀時間）僅為同級模型的 1/10

核心技術(shù)解析

3D-Resampler：高密度視頻壓縮

為解決性能和效率的權(quán)衡，MiniCPM-V 4.5 將模型結(jié)構(gòu)從 2D-Resampler 拓展為 3D-Resampler。視頻按每N幀分組，3D-Resampler 對每個視頻組進行高密度壓縮編碼，得到固定數(shù)量的視覺token。在推理開銷不變的情況下，實現(xiàn)最大10fps的高刷視頻理解能力

統(tǒng)一OCR與知識推理學(xué)習(xí)

通過連續(xù)控制圖像中「文字信息可見度」（即對文字框區(qū)域施加不同程度的噪音），首次實現(xiàn) OCR 和知識學(xué)習(xí)兩種范式的有效融合。模型可根據(jù)噪音程度，在OCR、知識學(xué)習(xí)、混合能力學(xué)習(xí)之間無縫切換，低成本實現(xiàn)領(lǐng)先的 OCR 和多模態(tài)知識能力

通用域混合推理強化學(xué)習(xí)

提出混合推理的強化學(xué)習(xí)方案，在訓(xùn)練中同時激活常規(guī)和深度思考模式，實現(xiàn)在相同訓(xùn)練時長下，常規(guī)模式性能顯著增強，深度思考模式性能保持。最終通過輕量化的 RLAIF-V 訓(xùn)練，模型在保持推理能力的同時顯著降低了幻覺

開源社區(qū)傳送門

Github

https://github.com/OpenBMB/MiniCPM-o

Hugging Face

https://huggingface.co/openbmb/MiniCPM-V-4_5

ModelScope

https://www.modelscope.cn/models/OpenBMB/MiniCPM-V-4_5

以及...更多的場景演示