摘要

隨著對(duì)地觀測技術(shù)的發(fā)展和多源遙感數(shù)據(jù)獲取能力的提高，綜合協(xié)同處理多源數(shù)據(jù)的能力需求推動(dòng)多模態(tài)遙感影像的匹配技術(shù)研究不斷深入，近年來基于深度學(xué)習(xí)的思想深刻影響了影像匹配領(lǐng)域技術(shù)的發(fā)展。本文在介紹傳統(tǒng)遙感影像匹配框架的基礎(chǔ)上，分析了多模態(tài)遙感影像的類型、特點(diǎn)與匹配難點(diǎn)，重點(diǎn)論述了針對(duì)多模態(tài)遙感影像不同深度學(xué)習(xí)方法研究的新進(jìn)展，并分析了其優(yōu)缺點(diǎn)，歸納總結(jié)了目前適應(yīng)多模態(tài)遙感影像匹配任務(wù)的數(shù)據(jù)集，對(duì)深度學(xué)習(xí)方法在多模態(tài)遙感影像匹配中的發(fā)展成果和當(dāng)前挑戰(zhàn)進(jìn)行了總結(jié)。成果方面，該領(lǐng)域算法在高效、魯棒和精度上顯著提升，多模態(tài)融合策略和多種創(chuàng)新框架與模型推動(dòng)了研究發(fā)展并反映了該領(lǐng)域從模塊化適配到整體建模的轉(zhuǎn)變，揭示了數(shù)據(jù)驅(qū)動(dòng)的表征學(xué)習(xí)與幾何推理的更深度融合。但當(dāng)前研究仍存在顯著瓶頸，多模態(tài)差異方面，異構(gòu)性嚴(yán)重制約匹配效能，模型泛化能力不足；數(shù)據(jù)與計(jì)算層面，高質(zhì)量標(biāo)注數(shù)據(jù)稀缺、計(jì)算資源需求大；工程部署層面，算法實(shí)戰(zhàn)能力欠缺，誤匹配剔除困難，模型在混合模態(tài)數(shù)據(jù)處理中泛化性差?！菊雇孔詈髮?duì)多模態(tài)遙感影像深度學(xué)習(xí)匹配方法領(lǐng)域的發(fā)展趨勢與未來展望進(jìn)行了深入探討，包括模態(tài)無關(guān)的設(shè)計(jì)、物理信息約束的網(wǎng)絡(luò)架構(gòu)以及適應(yīng)復(fù)雜環(huán)境的輕量化方案等。

引用

[1] 于瀚洋,藍(lán)朝楨,王龍?zhí)?等. 多模態(tài)遙感影像匹配的深度學(xué)習(xí)研究進(jìn)展與趨勢[J]. 地球信息科學(xué)學(xué)報(bào), 2025, 27 (08): 1896-1919.

引言

近年來，國內(nèi)外眾多機(jī)構(gòu)和學(xué)者聚焦多模態(tài)遙感影像匹配領(lǐng)域，諸多技術(shù)方法研究不斷涌現(xiàn)，其中已有許多研究嘗試將深度學(xué)習(xí)應(yīng)用于遙感影像匹配等領(lǐng)域,目前多模態(tài)遙感影像匹配領(lǐng)域的深度學(xué)習(xí)技術(shù)方法正處于迅速發(fā)展、新的理論與實(shí)踐層出不窮的開放式發(fā)展階段 [9] 。

圖像匹配是將不同傳感器在不同時(shí)間或從不同視角捕獲的2個(gè)或更多個(gè)圖像通過幾何變換方式進(jìn)行空間位置對(duì)齊的方法和過程，通常意義上，包括以下4個(gè)步驟：特征提取、特征匹配、變換模型參數(shù)估計(jì)和圖像重采樣。在攝影測量與遙感產(chǎn)品自動(dòng)化生產(chǎn)中，影像匹配是遙感影像的拼接、融合、變化檢測等任務(wù)的必要前置工作，對(duì)于影像定位與檢索可以發(fā)揮重要作用，在目標(biāo)識(shí)別、立體匹配、環(huán)境監(jiān)測等遙感影像信息解譯和數(shù)據(jù)生產(chǎn)過程中也必不可少。

多模態(tài)遙感影像涵蓋多種類型如圖1所示。其數(shù)據(jù)來源多樣，如光學(xué)影像、合成孔徑雷達(dá)（SAR）影像、矢量地圖、深度圖、夜光影像等。以上分類通常是以不同傳感器、不同成像機(jī)制、不同時(shí)期、不同環(huán)境等要素來界定的，如圖2是以光學(xué)圖像為對(duì)照基礎(chǔ)的典型多模態(tài)遙感影像匹配類型的示例。影像可由近景攝影平臺(tái)、航空平臺(tái)（包括無人機(jī)）、衛(wèi)星平臺(tái)等不同平臺(tái)獲取，形成多平臺(tái)數(shù)據(jù)。關(guān)于時(shí)相差異，隨著時(shí)間的改變，地表覆蓋信息也會(huì)隨之發(fā)生變化，例如四季變化、長時(shí)序監(jiān)測以及晝夜不同時(shí)段的影像，其地物特征和光譜信息有所不同。關(guān)于幾何畸變，主要是由于不同的成像方式和成像條件導(dǎo)致地物目標(biāo)出現(xiàn)不同形式的幾何變形，從物鏡畸變到投影誤差、傾斜誤差，幾何畸變的影響形式最為復(fù)雜。關(guān)于視角差異，主要是針對(duì)拍攝角度顯著傾斜時(shí)由于視野范圍不同導(dǎo)致的場景差別，影像的多視角特征的匹配也日益成為各類自動(dòng)化任務(wù)中關(guān)心的問題。關(guān)于尺度差異，實(shí)際工程應(yīng)用中，多源遙感數(shù)據(jù)的融合不可避免地面對(duì)不同分辨率影像間存在的尺度差異，而過大的尺度差異會(huì)顯著影響匹配的效果。不同傳感器影像在成像原理、輻射特性等方面存在差異，例如光學(xué)影像受光照條件影響大，SAR影像存在透視收縮、頂?shù)孜灰?、陰影、斑點(diǎn)噪聲等現(xiàn)象，影像受地形起伏和地物后向散射特性影響，導(dǎo)致影像間存在輻射差異。這些特性使得多模態(tài)遙感影像在提供豐富信息的同時(shí)，也給影像匹配帶來諸多挑戰(zhàn)。

主要圖表

圖1 多模態(tài)遙感影像類別與特性

圖2 多模態(tài)遙感影像匹配類型示例

圖3 本文參考文獻(xiàn)歷年分布

圖4 多模態(tài)遙感影像深度學(xué)習(xí)匹配方法文獻(xiàn)趨勢演化圖譜

圖5 本文結(jié)構(gòu)框架

表1 單環(huán)節(jié)深度學(xué)習(xí)匹配方法特點(diǎn)

圖6 基于深度學(xué)習(xí)的區(qū)域匹配方法

圖7 基于深度學(xué)習(xí)的特征匹配方法

表2 端到端深度學(xué)習(xí)匹配方法特點(diǎn)

圖8 端到端深度學(xué)習(xí)匹配方法

表3 多模態(tài)圖像匹配數(shù)據(jù)集

表4 場景針對(duì)性匹配策略分析

結(jié)束語

本文總結(jié)了多模態(tài)遙感影像匹配中的特點(diǎn)難點(diǎn)，在分析傳統(tǒng)影像匹配方法框架的基礎(chǔ)上，重點(diǎn)分析了多模態(tài)遙感影像中不同深度學(xué)習(xí)方法研究的新進(jìn)展、新方向，并分析了其優(yōu)缺點(diǎn)。簡要總結(jié)了當(dāng)前的支撐多模態(tài)遙感影像匹配的數(shù)據(jù)資源，闡述了目前的成果與挑戰(zhàn)，展望了未來的研究重點(diǎn)。目前，基于深度學(xué)習(xí)的遙感影像匹配方法的發(fā)展思路和體系結(jié)構(gòu)仍不成熟，處于快速發(fā)展完善的階段。當(dāng)前研究成果表明該方法的能力和潛力都代表著高精度、實(shí)時(shí)性、強(qiáng)魯棒性的發(fā)展方向，相信未來基于深度學(xué)習(xí)的方法會(huì)成為解決多模態(tài)遙感影像匹配的重要解決方法。

基于數(shù)據(jù)驅(qū)動(dòng)的思想的顯著優(yōu)勢在目前的研究中已經(jīng)轉(zhuǎn)化產(chǎn)生了若干優(yōu)秀成果，傳統(tǒng)方法的人工成本、低適用性等問題得到了關(guān)鍵性的突破，但目前基于深度學(xué)習(xí)的多模態(tài)影像匹配仍然面臨諸多的問題，多模態(tài)遙感影像復(fù)雜的幾何畸變、非線性輻射畸變和成像機(jī)理上的區(qū)別仍然是匹配算法的核心挑戰(zhàn)，深度學(xué)習(xí)方法面臨著數(shù)據(jù)與計(jì)算資源的限制、應(yīng)對(duì)復(fù)雜模態(tài)條件下的泛化能力仍有待提升。

來源：測繪學(xué)術(shù)資訊