港中文岳翔宇教授團(tuán)隊(duì)提出統(tǒng)一多模態(tài)推理模型 OneThinker，驗(yàn)證任務(wù)泛化能力。

作者丨鄭佳美

編輯丨岑峰

在大模型邁向通用視覺智能的浪潮中，單一任務(wù)或單一模態(tài)的方法正面臨瓶頸?，F(xiàn)實(shí)世界的視覺理解系統(tǒng)不僅要回答問(wèn)題，還要理解動(dòng)態(tài)視頻、定位事件、跟蹤目標(biāo)、生成描述乃至進(jìn)行復(fù)雜的邏輯推理，這要求模型具備綜合的跨任務(wù)和跨模態(tài)能力。

然而，現(xiàn)有方法多數(shù)依賴任務(wù)專化模型，難以實(shí)現(xiàn)不同視覺任務(wù)間的協(xié)同與知識(shí)共享，這不僅導(dǎo)致系統(tǒng)復(fù)雜度高，也限制了模型在綜合推理場(chǎng)景中的表現(xiàn)。

在這樣的行業(yè)背景下，香港中文大學(xué)多媒體實(shí)驗(yàn)室（MMLab）與美團(tuán)的聯(lián)合研究團(tuán)隊(duì)提出了OneThinker多模態(tài)統(tǒng)一推理模型，并在論文中系統(tǒng)性地給出了答案。

不同于為每個(gè)視覺任務(wù)單獨(dú)設(shè)計(jì)模型，OneThinker 選擇了一條更激進(jìn)的路線：將圖像與視頻中的問(wèn)答、描述、時(shí)空定位、跟蹤和分割等任務(wù)統(tǒng)一抽象為“先推理、后作答”的通用形式，并通過(guò)多任務(wù)強(qiáng)化學(xué)習(xí)對(duì)模型進(jìn)行整體優(yōu)化。

這項(xiàng)工作不僅關(guān)注模型在單一基準(zhǔn)上的性能提升，更試圖驗(yàn)證一個(gè)更根本的問(wèn)題，“是否可以通過(guò)統(tǒng)一的推理機(jī)制，讓一個(gè)模型同時(shí)具備多種視覺理解與推理能力，而不犧牲任何單項(xiàng)任務(wù)的表現(xiàn)？”

圍繞這一問(wèn)題，研究團(tuán)隊(duì)構(gòu)建了大規(guī)模多任務(wù)數(shù)據(jù)集，引入改進(jìn)的強(qiáng)化學(xué)習(xí)算法，并在圖像與視頻兩種模態(tài)上進(jìn)行了系統(tǒng)而全面的實(shí)驗(yàn)評(píng)測(cè)，為通用視覺推理模型的設(shè)計(jì)提供了具有參考價(jià)值的實(shí)證結(jié)果。

論文地址：https://arxiv.org/pdf/2512.03043v2

01
從任務(wù)割裂到統(tǒng)一推理

為驗(yàn)證 OneThinker 模型在多模態(tài)、多任務(wù)場(chǎng)景下的有效性，研究團(tuán)隊(duì)在圖像與視頻兩種模態(tài)上，對(duì)多類典型視覺理解任務(wù)進(jìn)行了系統(tǒng)評(píng)測(cè)。實(shí)驗(yàn)內(nèi)容涵蓋問(wèn)答、描述、定位、跟蹤和分割等多個(gè)方向，旨在全面評(píng)估模型在不同任務(wù)類型和不同模態(tài)下的整體表現(xiàn)。

從整體實(shí)驗(yàn)結(jié)果來(lái)看，OneThinker 在絕大多數(shù)視覺理解任務(wù)中均優(yōu)于基礎(chǔ)模型以及多種現(xiàn)有開源方法，表現(xiàn)出較為穩(wěn)定的性能優(yōu)勢(shì)。這一結(jié)果表明，通過(guò)統(tǒng)一建模并引入多任務(wù)強(qiáng)化學(xué)習(xí)機(jī)制，模型能夠在不犧牲單任務(wù)性能的前提下，有效提升其綜合推理能力和跨任務(wù)適應(yīng)性。

在圖像問(wèn)答任務(wù)中，OneThinker 需要同時(shí)處理視覺內(nèi)容理解、數(shù)學(xué)推理、邏輯推斷以及跨模態(tài)信息融合等多種復(fù)雜能力。實(shí)驗(yàn)結(jié)果顯示，該模型在多項(xiàng)高難度圖像問(wèn)答任務(wù)中均取得了明顯優(yōu)于對(duì)比模型的表現(xiàn)，尤其在涉及數(shù)學(xué)推理、科學(xué)推理和多步驟邏輯推斷的問(wèn)題上優(yōu)勢(shì)更加突出。

上述結(jié)果表明，統(tǒng)一的推理框架不僅未削弱模型在復(fù)雜問(wèn)答任務(wù)中的表現(xiàn)，反而通過(guò)多任務(wù)聯(lián)合訓(xùn)練，使模型獲得了更強(qiáng)的抽象推理能力和跨領(lǐng)域泛化能力。

在視頻問(wèn)答任務(wù)中，模型不僅需要理解單幀視覺信息，還需有效建模時(shí)間順序、事件演變以及長(zhǎng)程依賴關(guān)系。實(shí)驗(yàn)結(jié)果表明，OneThinker 在多項(xiàng)視頻問(wèn)答任務(wù)中整體性能優(yōu)于專門針對(duì)視頻推理設(shè)計(jì)的模型，尤其在長(zhǎng)視頻推理和視頻數(shù)學(xué)推理等任務(wù)中表現(xiàn)更為突出。

這一結(jié)果說(shuō)明，在統(tǒng)一訓(xùn)練框架下，OneThinker 成功學(xué)習(xí)到了穩(wěn)定而有效的時(shí)間建模能力，從而能夠在復(fù)雜視頻場(chǎng)景中進(jìn)行連續(xù)推理和事件級(jí)理解。

在圖像和視頻描述任務(wù)中，OneThinker 需要生成與視覺內(nèi)容高度一致、語(yǔ)義連貫且信息完整的自然語(yǔ)言描述。實(shí)驗(yàn)結(jié)果表明，該模型在圖像描述和視頻描述任務(wù)中均取得了較為領(lǐng)先的性能，生成文本在準(zhǔn)確性、完整性和語(yǔ)言質(zhì)量等方面均有明顯提升。

這進(jìn)一步說(shuō)明，推理能力的增強(qiáng)有助于模型更有效地組織和整合視覺信息，從而生成結(jié)構(gòu)更加清晰、邏輯更加合理的描述文本。

在時(shí)間定位任務(wù)中，模型需要準(zhǔn)確判斷事件在視頻中發(fā)生的起止時(shí)間；而在空間定位任務(wù)中，則需要精確預(yù)測(cè)目標(biāo)在圖像中的空間位置。實(shí)驗(yàn)結(jié)果顯示，OneThinker 在這兩類任務(wù)中均取得了顯著性能提升，能夠更準(zhǔn)確地理解事件發(fā)生的時(shí)間范圍以及目標(biāo)的空間分布特征。

進(jìn)一步地，在同時(shí)涉及時(shí)間與空間信息的聯(lián)合定位任務(wù)中，OneThinker 同樣表現(xiàn)出較強(qiáng)的綜合建模能力，表明該模型能夠在統(tǒng)一框架下同時(shí)處理“何時(shí)發(fā)生”和“發(fā)生在哪里”這兩個(gè)關(guān)鍵問(wèn)題。

在目標(biāo)跟蹤任務(wù)中，OneThinker 需要在視頻序列中持續(xù)、穩(wěn)定地定位同一目標(biāo)。實(shí)驗(yàn)結(jié)果顯示，該模型在跟蹤精度和整體穩(wěn)定性方面均明顯優(yōu)于對(duì)比方法，尤其在長(zhǎng)時(shí)間序列中表現(xiàn)更加穩(wěn)健。

在圖像與視頻分割任務(wù)中，OneThinker 能夠結(jié)合推理過(guò)程生成結(jié)構(gòu)化提示，從而有效引導(dǎo)分割模型獲得更加精確的目標(biāo)區(qū)域。實(shí)驗(yàn)結(jié)果表明，該模型在細(xì)粒度視覺理解任務(wù)中同樣具備較強(qiáng)競(jìng)爭(zhēng)力，說(shuō)明推理機(jī)制能夠?qū)Ω兄惾蝿?wù)形成有效補(bǔ)充。

此外，通過(guò)消融實(shí)驗(yàn)可以發(fā)現(xiàn)，僅采用監(jiān)督微調(diào)而不引入強(qiáng)化學(xué)習(xí)，會(huì)導(dǎo)致模型在多項(xiàng)任務(wù)上的性能明顯下降；同時(shí)，用傳統(tǒng)強(qiáng)化學(xué)習(xí)方法替代論文提出的 EMA-GRPO 算法，也會(huì)引起整體性能的退化。這進(jìn)一步驗(yàn)證了強(qiáng)化學(xué)習(xí)策略及其改進(jìn)方法在統(tǒng)一多任務(wù)訓(xùn)練中的重要作用。

最后，在未參與訓(xùn)練的新任務(wù)上，OneThinker 依然表現(xiàn)出較好的零樣本泛化能力，說(shuō)明統(tǒng)一多任務(wù)訓(xùn)練有助于模型學(xué)習(xí)更加通用和可遷移的視覺推理知識(shí)。

02
讓推理成為訓(xùn)練的核心

為支持統(tǒng)一多模態(tài)推理模型的訓(xùn)練，研究中構(gòu)建了一個(gè)大規(guī)模、多任務(wù)的數(shù)據(jù)集，覆蓋圖像和視頻兩種模態(tài)。這個(gè)數(shù)據(jù)集包含問(wèn)答、描述、時(shí)間定位、空間定位、時(shí)空定位、目標(biāo)跟蹤以及分割等多種視覺理解任務(wù)，數(shù)據(jù)來(lái)源廣泛，涵蓋多個(gè)應(yīng)用領(lǐng)域和不同難度層級(jí)，從而為模型學(xué)習(xí)多樣化的視覺推理能力提供了充分支撐。

在此基礎(chǔ)上，研究團(tuán)隊(duì)還進(jìn)一步構(gòu)建了一個(gè)帶有推理過(guò)程標(biāo)注的子數(shù)據(jù)集，用于模型的監(jiān)督微調(diào)階段。該子數(shù)據(jù)集中的推理過(guò)程由性能較強(qiáng)的模型自動(dòng)生成，并經(jīng)過(guò)嚴(yán)格的篩選與校驗(yàn)，以保證推理鏈條在邏輯正確性和表達(dá)一致性方面的可靠性，為后續(xù)強(qiáng)化學(xué)習(xí)階段奠定了良好的初始化基礎(chǔ)。

在訓(xùn)練過(guò)程中，所有任務(wù)均被統(tǒng)一表示為“先推理、后作答”的形式，即模型首先生成內(nèi)部推理過(guò)程，再輸出最終答案或結(jié)構(gòu)化結(jié)果。這種統(tǒng)一的任務(wù)表達(dá)方式使不同類型的任務(wù)能夠在同一訓(xùn)練框架下進(jìn)行聯(lián)合優(yōu)化，同時(shí)也便于獎(jiǎng)勵(lì)函數(shù)的自動(dòng)計(jì)算與評(píng)估。

對(duì)于感知類任務(wù)，模型需要輸出符合預(yù)定義格式的結(jié)構(gòu)化結(jié)果，以確保評(píng)估過(guò)程具有良好的可重復(fù)性和穩(wěn)定性，從而避免因輸出格式差異帶來(lái)的評(píng)價(jià)偏差。

在完成監(jiān)督微調(diào)之后，研究團(tuán)隊(duì)引入強(qiáng)化學(xué)習(xí)進(jìn)一步提升模型的推理能力。在訓(xùn)練過(guò)程中，模型根據(jù)不同任務(wù)類型獲得相應(yīng)的準(zhǔn)確性獎(jiǎng)勵(lì)和格式獎(jiǎng)勵(lì)，從而引導(dǎo)模型生成既符合任務(wù)目標(biāo)又滿足輸出規(guī)范的結(jié)果。

針對(duì)多任務(wù)訓(xùn)練中不同任務(wù)獎(jiǎng)勵(lì)分布差異較大的問(wèn)題，研究中提出了一種基于指數(shù)滑動(dòng)平均的歸一化方法，使各類任務(wù)在訓(xùn)練過(guò)程中能夠獲得相對(duì)平衡的優(yōu)化信號(hào)，從而有效避免模型過(guò)度偏向少數(shù)獎(jiǎng)勵(lì)分布較強(qiáng)的任務(wù)。

模型訓(xùn)練在大規(guī)模 GPU 集群上完成，整體訓(xùn)練流程分為監(jiān)督微調(diào)和強(qiáng)化學(xué)習(xí)兩個(gè)階段。通過(guò)合理設(shè)置學(xué)習(xí)率、批大小以及視頻幀數(shù)上限，在保證訓(xùn)練效率的同時(shí)，實(shí)現(xiàn)了穩(wěn)定而有效的多任務(wù)聯(lián)合優(yōu)化。

03
讓推理跨越任務(wù)邊界

從實(shí)驗(yàn)結(jié)果可以看出，統(tǒng)一的多模態(tài)推理模型在性能層面具有良好的可行性和有效性。這一發(fā)現(xiàn)表明，將不同視覺任務(wù)整合到同一模型中進(jìn)行建模，并不會(huì)削弱模型在單一任務(wù)上的表現(xiàn)，反而能夠在整體上提升其推理能力。

同時(shí)，實(shí)驗(yàn)也顯示，強(qiáng)化學(xué)習(xí)并非只適用于語(yǔ)言推理任務(wù)，在引入合適的建模方式后，同樣可以有效作用于視覺感知和時(shí)序理解等多模態(tài)場(chǎng)景。

在這一背景下，OneThinker 所采用的模型設(shè)計(jì)思路展現(xiàn)出一定的普適性。通過(guò)統(tǒng)一接口、統(tǒng)一訓(xùn)練流程以及統(tǒng)一優(yōu)化策略，不同任務(wù)和不同模態(tài)之間得以共享推理能力和結(jié)構(gòu)性知識(shí)，從而減少了重復(fù)建模的需求。這種設(shè)計(jì)范式為通用視覺推理模型的構(gòu)建提供了一條相對(duì)清晰且具有復(fù)用價(jià)值的技術(shù)路徑。

從應(yīng)用層面來(lái)看，統(tǒng)一的多模態(tài)推理模型也更貼近真實(shí)場(chǎng)景的實(shí)際需求。在諸如自動(dòng)駕駛、智能監(jiān)控以及機(jī)器人感知與決策等任務(wù)中，系統(tǒng)往往需要在同一框架下同時(shí)完成理解、推理和定位等多種功能。相比依賴多個(gè)獨(dú)立模型的方案，統(tǒng)一模型在系統(tǒng)復(fù)雜度控制和任務(wù)協(xié)同方面具有更大的潛在優(yōu)勢(shì)。

總體而言，這些實(shí)驗(yàn)結(jié)果提示，多模態(tài)通用模型的發(fā)展方向不應(yīng)僅停留在模型規(guī)模的擴(kuò)展上，而更值得關(guān)注的是任務(wù)建模方式的統(tǒng)一、推理機(jī)制的合理設(shè)計(jì)以及訓(xùn)練策略的協(xié)同優(yōu)化。

這些方面的探索為后續(xù)多模態(tài)通用智能系統(tǒng)的研究提供了有益的參考。

未經(jīng)「AI科技評(píng)論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁(yè)、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號(hào)轉(zhuǎn)載請(qǐng)先在「AI科技評(píng)論」后臺(tái)留言取得授權(quán)，轉(zhuǎn)載時(shí)需標(biāo)注來(lái)源并插入本公眾號(hào)名片。