新智元報道

編輯：LRST

【新智元導(dǎo)讀】在大數(shù)據(jù)和大模型推動下，微調(diào)技術(shù)憑借成本低、效率高優(yōu)勢，成為應(yīng)對小樣本、長尾目標等復(fù)雜場景的利器。從早期全參數(shù)微調(diào)到參數(shù)高效微調(diào)（PEFT），再到如今融合多種PEFT技術(shù)的混合微調(diào)，遙感微調(diào)技術(shù)不斷進化。清華大學(xué)等團隊在CVMJ期刊上系統(tǒng)梳理了技術(shù)脈絡(luò)，并指出了九個潛在研究方向，助力遙感技術(shù)在農(nóng)業(yè)監(jiān)測、天氣預(yù)報等關(guān)鍵領(lǐng)域發(fā)揮更大作用。

近年來，在大數(shù)據(jù)與大模型的共同驅(qū)動下，遙感圖像解譯的熱點正從模型結(jié)構(gòu)設(shè)計轉(zhuǎn)向「基礎(chǔ)模型 + 微調(diào)」的新范式。

在豐富且復(fù)雜的任務(wù)場景中，依托預(yù)訓(xùn)練的通用表征作為基礎(chǔ)，通過任務(wù)化適配，可以實現(xiàn)更強的遷移能力和應(yīng)用效果。

面對土地調(diào)查、農(nóng)業(yè)監(jiān)測、天氣預(yù)報、海洋導(dǎo)航等關(guān)鍵應(yīng)用領(lǐng)域所面臨的「小樣本、長尾目標、算力受限」的現(xiàn)實挑戰(zhàn)，微調(diào)技術(shù)以其獨特的優(yōu)勢，在更低的數(shù)據(jù)和資源成本投入下，取得更好的任務(wù)性能和更高的部署效率。

圖1 基礎(chǔ)模型、微調(diào)技術(shù)在遙感下游任務(wù)適配過程中的作用

順應(yīng)這一趨勢，遙感微調(diào)技術(shù)經(jīng)歷了清晰的范式演進：早期主要采用全參數(shù)微調(diào)，通過解凍并更新大部分參數(shù)來實現(xiàn)跨任務(wù)遷移；

隨后進入?yún)?shù)高效微調(diào)（PEFT）階段，適配器、提示、重參數(shù)化等方法在衛(wèi)星和航拍等遙感場景中迅速應(yīng)用；近年來，逐步邁向「混合范式」，通過統(tǒng)一框架融合多種PEFT技術(shù)，兼顧多模態(tài)與多任務(wù)的一體化適配及可擴展性。

由此，形成了從「全參數(shù) → PEFT → 融合微調(diào)」的技術(shù)主線，為工程實踐提供了更加靈活的選擇空間。

圖2 代表性遙感微調(diào)技術(shù)的發(fā)展時間線

在此背景下，清華大學(xué)胡事民院士團隊聯(lián)合南開大學(xué)范登平教授團隊、湖南大學(xué)李樹濤教授、武漢大學(xué)杜博教授和中科院孫顯研究員，在CVMJ期刊（當前影響因子18.3）發(fā)布遙感模型微調(diào)技術(shù)綜述，系統(tǒng)梳理從傳統(tǒng)微調(diào)到參數(shù)高效微調(diào)再到混合微調(diào)范式的技術(shù)脈絡(luò)，并結(jié)合技術(shù)發(fā)展現(xiàn)狀總結(jié)出多個潛在研究方向。

論文鏈接：https://ieeexplore.ieee.org/document/11119145

論文倉庫：https://github.com/DongshuoYin/Remote-Sensing-Tuning-A-Survey

該綜述以微調(diào)技術(shù)類型為線索，系統(tǒng)性地梳理了從早期的全微調(diào)方法到近年來興起的參數(shù)高效微調(diào)方法在遙感領(lǐng)域的應(yīng)用與發(fā)展歷程。

內(nèi)容不僅囊括了適配器微調(diào)（Adapter Tuning）、提示微調(diào)（Prompt Tuning）、低秩適應(yīng)（LoRA）等主流的PEFT范式，還深入剖析了各類論文如何將這些技術(shù)與遙感圖像的獨特特性相結(jié)合，從而有效提升模型在分類、檢測、分割等典型任務(wù)中的性能表現(xiàn)。

該論文的第一作者為清華大學(xué)博士后殷東碩，第二作者為南開大學(xué)趙廷楓同學(xué)。

方法體系

遙感微調(diào)技術(shù)全景梳理

遙感基礎(chǔ)模型微調(diào)技術(shù)旨在高效地將大規(guī)模預(yù)訓(xùn)練的基礎(chǔ)模型遷移至具體下游任務(wù)中，主要可分為六種范式。

圖3 幾種代表性的參數(shù)高效微調(diào)范式

適配器微調(diào)（Adapter Tuning）通過在預(yù)訓(xùn)練模型的骨干網(wǎng)絡(luò)中插入輕量級、可學(xué)習(xí)的模塊，在凍結(jié)大部分原始參數(shù)的同時，僅訓(xùn)練這些新增適配器以適應(yīng)新任務(wù)。

提示微調(diào)（Prompt Tuning）則通過學(xué)習(xí)可優(yōu)化的「提示」（Prompt）向量，將這些向量與輸入數(shù)據(jù)拼接，引導(dǎo)凍結(jié)的模型產(chǎn)生期望輸出，從而改變模型行為。

重參數(shù)化微調(diào)（Reparameterized Tuning）的核心思想是對模型權(quán)重的更新量進行低秩分解等參數(shù)化處理，例如流行的LoRA方法，通過學(xué)習(xí)兩個低秩矩陣的乘積來模擬權(quán)重變化，大幅減少可訓(xùn)練參數(shù)。

混合微調(diào)（Hybrid Tuning）結(jié)合上述兩種或多種范式，例如同時使用適配器微調(diào)技術(shù)和提示微調(diào)技術(shù)，以期獲得更優(yōu)的性能和靈活性。

部分微調(diào)（Partial Tuning）采用更直接的策略，僅解凍并微調(diào)預(yù)訓(xùn)練模型中的一部分原有參數(shù)，如最后幾層的權(quán)重、偏置或歸一化層參數(shù)。

改進型微調(diào)（Improved Tuning）對傳統(tǒng)全微調(diào)技術(shù)進行優(yōu)化，通過設(shè)計新的訓(xùn)練策略或損失函數(shù)來提升效率或性能。這些技術(shù)共同構(gòu)成了當前遙感領(lǐng)域參數(shù)高效微調(diào)的主要方法體系。

圖4 現(xiàn)有遙感微調(diào)技術(shù)概覽

在具體應(yīng)用中，代表性工作成功地將通用微調(diào)范式與遙感任務(wù)的特殊性進行了深度融合。

在適配器微調(diào)方面，AiRs專門設(shè)計了空間上下文適配器（SCA）和語義響應(yīng)適配器（SRA），以更高效地處理遙感圖像中的空間和語義信息；

SCD-SAM則通過語義適配器優(yōu)化輸入處理、重構(gòu)重疊的圖像塊嵌入，并集成多尺度語義特征，顯著提升了變化檢測的性能。

在提示微調(diào)方面，RSPrompter提出了一種鏈式思維（Chain-of-Thought）提示方法，通過設(shè)計多步推理提示（例如，先判斷目標存在性再進行分割），引導(dǎo)模型深入理解遙感圖像中復(fù)雜的上下文關(guān)系。

在重參數(shù)化微調(diào)方面，LoRA-NIR專門針對近紅外波段的遙感影像進行適配，而Xue等人將LoRA應(yīng)用于SAM，成功將SAM強大的分割能力遷移到道路、水體等特定遙感地物的提取任務(wù)中。

混合微調(diào)方法如Upetu旨在整合多種高效的參數(shù)微調(diào)技術(shù)，而MSF-SAM則結(jié)合了適配器微調(diào)技術(shù)和LoRA微調(diào)技術(shù)，以期更全面地適應(yīng)遙感任務(wù)的需求。

此外，部分研究通過優(yōu)化訓(xùn)練策略來提升性能，例如，Ren等人在兩階段微調(diào)中引入度量判別損失和知識蒸餾，有效應(yīng)對小樣本場景下的災(zāi)難性遺忘問題。

數(shù)據(jù)集：遙感微調(diào)數(shù)據(jù)集整理

表1 遙感微調(diào)技術(shù)涉及到的數(shù)據(jù)集匯總

該綜述系統(tǒng)性地梳理并整合了當前用于模型微調(diào)的主流遙感數(shù)據(jù)集，覆蓋了光學(xué)、SAR、高光譜、點云以及文本-圖像多模態(tài)等多種傳感器類型，全面涉及去霧、變化檢測、語義分割、目標檢測、圖像描述等任務(wù)。

表1數(shù)據(jù)集概覽為遙感模型微調(diào)技術(shù)研究者快速定位適配數(shù)據(jù)、設(shè)計下游應(yīng)用提供了高效的指引。

挑戰(zhàn)與未來方向

1. 高效小樣本微調(diào)：針對標注數(shù)據(jù)較少的遙感目標（如野火、電廠），開發(fā)能夠更加高效利用有限樣本的微調(diào)技術(shù)。

2. 拓展應(yīng)用領(lǐng)域：將微調(diào)技術(shù)應(yīng)用于超分辨率、去霧、圖像修復(fù)、目標跟蹤等當前較少涉及的遙感任務(wù)。

3. 優(yōu)化遙感基礎(chǔ)模型性能：在新出現(xiàn)的遙感專用基礎(chǔ)模型（RSFM）上進行系統(tǒng)的測試和優(yōu)化，以提升微調(diào)效果。

4. 結(jié)合遙感圖像特性：設(shè)計能夠充分利用遙感特有屬性（如小目標、多尺度、SAR特性）的定制化微調(diào)方法。

5. 引入新型PEFT范式：探索結(jié)構(gòu)化稀疏微調(diào)、量化感知微調(diào)等新型高效微調(diào)技術(shù)在遙感領(lǐng)域的應(yīng)用。

6. 探索混合微調(diào)策略：組合不同的微調(diào)方法（如Adapter+LoRA+Prompting），以挖掘更優(yōu)的性能表現(xiàn)。

7. 微調(diào)理論研究：深入探究微調(diào)技術(shù)在遙感中發(fā)揮作用的原因，并建立其理論基礎(chǔ)。

8. 優(yōu)化訓(xùn)練配置：研究學(xué)習(xí)率、優(yōu)化器、Adapter層數(shù)等超參數(shù)在遙感領(lǐng)域中的優(yōu)化策略，以提升微調(diào)效果。

9. 研究縮放規(guī)律：分析模型大小、數(shù)據(jù)量與微調(diào)性能之間的關(guān)系，為遙感基礎(chǔ)模型規(guī)模的可持續(xù)擴展提供指導(dǎo)。

結(jié)語

在大模型與大數(shù)據(jù)的時代背景下，基礎(chǔ)模型與微調(diào)技術(shù)正引領(lǐng)遙感研究的新趨勢。本文系統(tǒng)性地綜述了遙感領(lǐng)域的微調(diào)技術(shù)發(fā)展現(xiàn)狀。

現(xiàn)有方法依據(jù)所調(diào)整參數(shù)與預(yù)訓(xùn)練模型之間的關(guān)聯(lián)性進行分類，旨在幫助讀者清晰把握該技術(shù)的發(fā)展脈絡(luò)。

參考資料：

https://ieeexplore.ieee.org/document/11119145