新智元報道

編輯：LRST

【新智元導(dǎo)讀】在文化遺產(chǎn)與人工智能的交叉處，有一類問題既美也難：如何讓機器「看懂」古希臘的陶器——不僅能識別它的形狀或圖案，還能推斷年代、產(chǎn)地、工坊甚至藝術(shù)歸屬？有研究人員給出了一條實用且富有啟發(fā)性的答案：把大型多模態(tài)模型（MLLM）放在「診斷—補弱—精細化評估」的閉環(huán)中訓(xùn)練，并配套一個結(jié)構(gòu)化的評測基準，從而讓模型在高度專業(yè)化的文化遺產(chǎn)領(lǐng)域表現(xiàn)得更接近專家級能力。

古希臘陶器是考古學(xué)和藝術(shù)史的重要實物證據(jù)。

研究者需要從單件陶器中提取多層信息：材質(zhì)與工藝、形制類別、裝飾主題、出土地與時間、甚至可能的作坊或畫師。

不過傳統(tǒng)計算機視覺和通用多模態(tài)模型在這類高度專業(yè)化任務(wù)上常陷入兩類困境：

一是缺乏領(lǐng)域知識（模型在通用語料里幾乎沒接觸過「雅典黑釉杯」或「紅繪風(fēng)格」這樣的概念）；

二是僅靠監(jiān)督微調(diào)（SFT）容易學(xué)到「表層捷徑」，在遇到組合性、推理性或少樣本問題時就失效。

基于此，AI Geeks、澳大利亞人工智能研究所等機構(gòu)的研究人員提出：既要有專門的數(shù)據(jù)與任務(wù)劃分，也要有針對性的訓(xùn)練策略來補弱提升。

論文鏈接: https://doi.org/10.48550/arXiv.2509.17191

項目地址：https://github.com/AIGeeksGroup/VaseVQA

論文的技術(shù)主線可以用一句話概括：先把模型訓(xùn)練到有基礎(chǔ)能力（SFT），再通過診斷找出各類問題的薄弱環(huán)節(jié)，用類型條件化的強化學(xué)習(xí)（RL）和精細化獎勵去有針對性地補弱。

圖1：現(xiàn)有視覺語言模型在古希臘陶瓶理解上的局限性與所提出的VaseVL框架

關(guān)鍵步驟如下：

• 任務(wù)分層與問題類型化：作者把陶器理解任務(wù)劃分為若干類（例如材質(zhì)、工藝、形制、產(chǎn)地/歸屬、年代、裝飾描述等），為后續(xù)診斷與差異化訓(xùn)練提供維度。

• 診斷評估：對SFT后的模型在每一類問題上分別評測，識別哪些類型表現(xiàn)弱（例如歸屬推理與裝飾描述通常比簡單事實類問題更難）。

• 類型條件化強化學(xué)習(xí)：針對弱項設(shè)計加權(quán)獎勵，獎勵由「關(guān)鍵詞命中率 + 語義相似度」組成；同時采用帶KL正則的策略更新手段避免模型過度偏離原有SFT行為。作者還引入一種穩(wěn)定化的策略優(yōu)化方法（論文提出的變體）來保證訓(xùn)練穩(wěn)定。

• 按類型細化評估指標：不同問題類型采用更合適的評價方式（比如對描述類用生成質(zhì)量指標，對事實類用字符/關(guān)鍵詞相似度），避免單一指標一刀切。

圖2：VaseVL的整體框架。該方法將有監(jiān)督微調(diào)（SFT）與基于組相對策略優(yōu)化（GRPO）的強化學(xué)習(xí)相結(jié)合。給定陶瓶圖像x、問題q 和參考答案a^*，模型通過在詞匯獎勵與語義獎勵之間取得平衡，并限制策略偏離參考策略 ，從而提升其推理能力。

數(shù)據(jù)與基準（VaseVQA）

讓評測更具信服力

為了能系統(tǒng)評估上述方法，研究人員同時構(gòu)建了一個面向古希臘陶器的多模態(tài)問答基準（VaseVQA）。

該基準覆蓋大量陶器圖片與多類型問答對，且在標注上引入專家審校，力求兼顧規(guī)模與專業(yè)性。更重要的是，基準把任務(wù)按問題類型拆分，使得模型的薄弱處能被明確定位并針對性優(yōu)化。

表1：VaseVQA基準測試上的性能比較。RL代表推理注入。

關(guān)鍵發(fā)現(xiàn)與實證價值

論文的實驗顯示：

僅做SFT能顯著提升模型的基礎(chǔ)識別能力，但在歸屬推理和復(fù)雜描述上仍有限；

在診斷基礎(chǔ)上做類型條件化RL優(yōu)化后，模型在那些先前薄弱的類型上有可觀提升——這說明「補弱導(dǎo)向」的訓(xùn)練策略在專業(yè)垂直任務(wù)上很有效；

細粒度的評價（按問題類型）對于判斷模型真實能力與設(shè)計針對性改進尤為重要。

表2：消融實驗結(jié)果說明。RI表示Reasoning Injection（推理注入）。Qwen2.5-VL-SFT表示前述模型經(jīng)過有監(jiān)督微調(diào)（SFT）的版本，而最后一行展示的是提出的VaseVL 模型的性能表現(xiàn)。

意義、局限與可推廣方向

這項工作最有價值的，不只是把一個模型調(diào)好，而是提出了一套「如何讓通用多模態(tài)模型在高度專業(yè)領(lǐng)域變得可靠」的方法論：任務(wù)分層 → 定位薄弱 → 有針對性地微調(diào)與評估。

它對文化遺產(chǎn)、醫(yī)學(xué)影像、材料科學(xué)等其他垂直領(lǐng)域都有啟發(fā)意義。

但需謹慎的一點是：強化學(xué)習(xí)階段高度依賴獎勵設(shè)計，若獎勵不當(dāng)或數(shù)據(jù)偏倚，模型可能學(xué)習(xí)到新的偏差。

此外，許多考古歸屬問題本身具有主觀性與學(xué)術(shù)爭議，模型輸出仍需專家把關(guān)作為輔助工具而非最終裁決。

VaseVQA展示了把「領(lǐng)域診斷」嵌入多模態(tài)訓(xùn)練流程的可行路徑。

文化遺產(chǎn)與AI的結(jié)合，不應(yīng)僅止于表層識別，而應(yīng)追求「可解釋、可校驗、有專家協(xié)同」的工具化落地。

未來，當(dāng)這類方法被更廣泛采納，不同學(xué)科的專家與工程師協(xié)作，就能把AI打造成真正有助于保護與理解人類文化記憶的可靠伙伴。

參考資料：

https://doi.org/10.48550/arXiv.2509.17191