新智元報(bào)道

編輯：LRST

【新智元導(dǎo)讀】華中科技大學(xué)團(tuán)隊(duì)推出首個(gè)水下多模態(tài)大模型NAUTILUS，支持8種水下場(chǎng)景理解任務(wù)，并開(kāi)源145萬(wàn)圖文對(duì)的NautData數(shù)據(jù)集。模型通過(guò)視覺(jué)特征增強(qiáng)模塊解決水下圖像模糊和顏色失真問(wèn)題，性能超越現(xiàn)有模型，惡劣環(huán)境下表現(xiàn)更佳。

深邃的海洋覆蓋地球表面的70%以上，其在資源勘探、環(huán)境保護(hù)和國(guó)家安全等領(lǐng)域的重要性，使自動(dòng)化水下探索技術(shù)備受關(guān)注。

然而，想要像《海底兩萬(wàn)里》中的「鸚鵡螺號(hào)（NAUTILUS）」那樣自由地認(rèn)知和探索水下世界，我們?nèi)悦媾R嚴(yán)峻的技術(shù)挑戰(zhàn)。光線在水中的嚴(yán)重散射和吸收導(dǎo)致圖像質(zhì)量顯著下降，這極大地削弱了通用大模型的性能，阻礙了水下場(chǎng)景理解的研究進(jìn)展。

現(xiàn)有的水下視覺(jué)方法又大多為單一任務(wù)設(shè)計(jì)，缺乏多粒度的綜合感知能力。大規(guī)模、多任務(wù)指令微調(diào)數(shù)據(jù)集的長(zhǎng)期缺失，進(jìn)一步制約了該領(lǐng)域的研究進(jìn)展。

針對(duì)以上挑戰(zhàn)，華中科技大學(xué)白翔教授團(tuán)隊(duì)提出了首個(gè)能夠支持八項(xiàng)水下場(chǎng)景理解任務(wù)的水下多模態(tài)大模型NAUTILUS，旨在通過(guò)統(tǒng)一的框架實(shí)現(xiàn)對(duì)水下場(chǎng)景從圖像、區(qū)域到物體的多粒度、多任務(wù)的全面理解。

論文地址：https://arxiv.org/abs/2510.27481

項(xiàng)目地址：https://h-embodvis.github.io/NAUTILUS

代碼地址：https://github.com/H-EmbodVis/NAUTILUS

數(shù)據(jù)集地址：https://github.com/H-EmbodVis/NAUTILUS/tree/dataset

同時(shí)，團(tuán)隊(duì)還構(gòu)建并開(kāi)源了首個(gè)大規(guī)模水下多任務(wù)指令微調(diào)數(shù)據(jù)集NautData。

該工作的主要貢獻(xiàn)如下：

• 水下多任務(wù)指令跟隨數(shù)據(jù)集：構(gòu)建了包含145萬(wàn)個(gè)圖文對(duì)的NautData數(shù)據(jù)集，覆蓋八種主流水下理解任務(wù)，為水下大模型的發(fā)展和評(píng)測(cè)奠定了堅(jiān)實(shí)基礎(chǔ)；

• 多任務(wù)統(tǒng)一理解：NAUTILUS是首個(gè)能夠同時(shí)處理粗粒度與細(xì)粒度目標(biāo)分類、計(jì)數(shù)、視覺(jué)問(wèn)答(VQA)、檢測(cè)、指代定位、區(qū)域描述和圖像描述八項(xiàng)任務(wù)的水下大模型，實(shí)現(xiàn)了對(duì)場(chǎng)景信息的層級(jí)化、綜合性理解；

• 性能優(yōu)異且魯棒：通過(guò)創(chuàng)新的「視覺(jué)特征增強(qiáng)」（VFE）模塊，NAUTILUS能夠有效克服水下圖像降質(zhì)問(wèn)題，在多個(gè)基準(zhǔn)測(cè)試中穩(wěn)定超越包括LLaVA-1.5和Qwen2.5-VL在內(nèi)的先進(jìn)模型，尤其在低光、渾濁等惡劣條件下表現(xiàn)出色。

水下多任務(wù)指令跟隨數(shù)據(jù)集NautData

該工作圍繞八項(xiàng)任務(wù)進(jìn)行數(shù)據(jù)構(gòu)建，并為每項(xiàng)任務(wù)設(shè)計(jì)了定制化的數(shù)據(jù)生成流程。

整個(gè)流程通過(guò)三種模式構(gòu)建數(shù)據(jù)，分別為基于規(guī)則的生成 (Rule-based generation)，組合生成(Integration generation)與自由格式生成 (Free-form generation)。

其中，基于規(guī)則的生成利用預(yù)定義模板構(gòu)造問(wèn)答對(duì)，組合生成結(jié)合模板與大型語(yǔ)言模型（LMM）的輸出以豐富數(shù)據(jù)，而自由格式生成則允許大型語(yǔ)言模型根據(jù)自主關(guān)注的內(nèi)容靈活創(chuàng)建問(wèn)題與答案。

數(shù)據(jù)集統(tǒng)計(jì)信息。外環(huán)顯示了數(shù)據(jù)在八項(xiàng)任務(wù)上的分布，內(nèi)環(huán)則顯示了三種生成模式的構(gòu)成比例。

NAUTILUS是如何實(shí)現(xiàn)的？

NAUTILUS 的框架主要由圖像編碼器、深度編碼器、視覺(jué)特征增強(qiáng)（VFE）模塊和大型語(yǔ)言模型組成。之前的研究通常將圖像增強(qiáng)作為預(yù)處理步驟，這可能導(dǎo)致信息丟失。

此外，圖像增強(qiáng)與模型訓(xùn)練的解耦會(huì)放大誤差累積的風(fēng)險(xiǎn)，這一效應(yīng)在處理采集自多變環(huán)境的大規(guī)模水下數(shù)據(jù)集時(shí)愈發(fā)明顯。特征空間增強(qiáng)方法則通過(guò)實(shí)現(xiàn)端到端的優(yōu)化，利用下游任務(wù)提供面向任務(wù)的監(jiān)督，更適用于多任務(wù)模型設(shè)計(jì)。

因此，NAUTILUS通過(guò)在特征空間中進(jìn)行增強(qiáng)，保留原始圖像的完整信息，優(yōu)化多任務(wù)場(chǎng)景理解表現(xiàn)。其核心在于即插即用的VFE模塊，該模塊的設(shè)計(jì)受到了水下成像物理模型的啟發(fā)，旨在解決水下圖像退化問(wèn)題。

VFE模塊的工作流程如下：

1. 去除背景散射影響：借鑒暗像素先驗(yàn)，模型通過(guò)定位圖像中的「暗像素」區(qū)域來(lái)估計(jì)水體中的背景散射光強(qiáng)度，并在特征層面將其從視覺(jué)特征中剝離，消除環(huán)境光造成的模糊和「霧霾感」。

2. 恢復(fù)光線吸收影響：由于光在水中的傳播會(huì)發(fā)生衰減，導(dǎo)致顏色失真，模型引入深度信息（由深度編碼器提?。﹣?lái)估計(jì)光線的吸收程度，并據(jù)此對(duì)視覺(jué)特征進(jìn)行補(bǔ)償，恢復(fù)物體原始的色彩和細(xì)節(jié)。

通過(guò)這兩個(gè)步驟，VFE模塊輸出增強(qiáng)后的視覺(jué)特征，與原始特征一同送入大型語(yǔ)言模型，使其既能感知真實(shí)的水下環(huán)境，又能基于恢復(fù)后的清晰信息進(jìn)行可靠的分析和理解。

NAUTILUS的效果如何？

為驗(yàn)證模型性能，研究團(tuán)隊(duì)在 NautData 測(cè)試集上進(jìn)行了全面的量化評(píng)估。

如下表所示，無(wú)論是基于LLaVA-1.5還是Qwen2.5-VL，NAUTILUS在分類、描述、定位、檢測(cè)及視覺(jué)問(wèn)答等多數(shù)核心任務(wù)上，其性能均顯著優(yōu)于現(xiàn)有的通用大模型及其他水下模型，展現(xiàn)了其卓越的綜合理解能力。

物體計(jì)數(shù)任務(wù)為評(píng)估模型的群體感知能力提供了有效途徑。

為此，研究團(tuán)隊(duì)在 IOCfish5k 數(shù)據(jù)集上對(duì) NAUTILUS的水下群體計(jì)數(shù)表現(xiàn)進(jìn)行了評(píng)測(cè)。

實(shí)驗(yàn)結(jié)果表明，該模型在平均絕對(duì)誤差（MAE）和均方根誤差（RMSE）上均優(yōu)于其他大型多模態(tài)模型，且相較于 LLaVA-1.5 基線分別取得了8.0和15.9的顯著提升，展現(xiàn)了卓越的群體感知性能。

為評(píng)估模型在真實(shí)水下環(huán)境中的魯棒性，研究團(tuán)隊(duì)考察了其在光照、色偏及渾濁等降質(zhì)條件下的定位（grounding）性能。

基于NautData測(cè)試子集的實(shí)驗(yàn)表明，相較于 LLaVA-1.5 基線，NAUTILUS在低光、偏綠和渾濁場(chǎng)景下的 PR@0.5 指標(biāo)分別取得了7.5、8.3和8.1的大幅提升，展現(xiàn)出其在多變視覺(jué)條件下的強(qiáng)大適應(yīng)能力與性能穩(wěn)定性。

下圖的可視化結(jié)果進(jìn)一步直觀地展示了NAUTILUS強(qiáng)大的多任務(wù)處理能力。

從對(duì)整個(gè)場(chǎng)景的宏觀描述，到對(duì)特定魚(yú)群的精確計(jì)數(shù)與定位，再到對(duì)單一對(duì)象的細(xì)粒度屬性問(wèn)答，NAUTILUS在圖像、區(qū)域、物體三個(gè)層級(jí)上均展現(xiàn)出精準(zhǔn)、連貫的理解能力，生動(dòng)體現(xiàn)了其作為水下場(chǎng)景理解基礎(chǔ)模型的巨大潛力。

總結(jié)

NAUTILUS作為首個(gè)支持八項(xiàng)水下場(chǎng)景理解任務(wù)的多模態(tài)大模型，為水下環(huán)境的綜合感知提供了一個(gè)統(tǒng)一的解決方案。

以往的通用模型因水下圖像降質(zhì)而性能不佳，而現(xiàn)有的水下專用方法又大多為單一任務(wù)設(shè)計(jì)，限制了對(duì)場(chǎng)景的全面理解。

相比之下，NAUTILUS通過(guò)創(chuàng)新的視覺(jué)特征增強(qiáng)（VFE）模塊在特征層面克服圖像降質(zhì)，并利用其多任務(wù)統(tǒng)一架構(gòu)的優(yōu)勢(shì)，從而在多個(gè)基準(zhǔn)測(cè)試中，尤其是在惡劣條件下，取得了超越先進(jìn)模型的優(yōu)異表現(xiàn)。

參考資料：

https://arxiv.org/abs/2510.27481