文章來(lái)源：計(jì)算機(jī)書童。

你是否想過(guò)，衛(wèi)星從高空拍攝的高光譜圖像，如何從模糊的低分辨率變成清晰的細(xì)節(jié)滿滿的高分辨率？最近，一篇名為《MambaHSISR: Mamba Hyperspectral Image Super-Resolution》的論文給出了驚艷答案——首次將Mamba模型引入高光譜超分辨率領(lǐng)域，一舉解決了傳統(tǒng)方法細(xì)節(jié)丟失、光譜失真的難題！

論文信息 題目：MambaHSISR: Mamba Hyperspectral Image Super-Resolution MambaHSISR：Mamba高光譜圖像超分辨率 作者：Yinghao Xu, Hao Wang, Fei Zhou, Chunbo Luo, Xin Sun, Susanto Rahardja, Peng Ren 源碼：https://gitee.com/xu_yinghao/MambaHSISR 高光譜超分：難在哪？

高光譜圖像可不簡(jiǎn)單，它不僅有空間信息（就像普通照片的畫面），還有幾百個(gè)波段的光譜信息（能區(qū)分不同物質(zhì)的“化學(xué)指紋”）。但受限于衛(wèi)星硬件，想同時(shí)擁有高空間分辨率和高光譜分辨率太難了——就像魚和熊掌，很難兼得。

傳統(tǒng)超分方法要么用卷積神經(jīng)網(wǎng)絡(luò)，卻只能處理局部信息，遠(yuǎn)處的像素“互不認(rèn)識(shí)”；要么依賴Transformer，計(jì)算量太大，跑起來(lái)像蝸牛。而Mamba作為近幾年的“新貴”，處理長(zhǎng)序列又快又好，這不正好能解決高光譜的“長(zhǎng)距離依賴”問題嗎？

MambaHSISR：三招搞定超分難題

研究者們?cè)O(shè)計(jì)的MambaHSISR框架，就像一個(gè)精密的“圖像修復(fù)工廠”，分三步走：空間修復(fù)、光譜校準(zhǔn)、高清重建。先來(lái)看張總體結(jié)構(gòu)圖，一目了然：

第一招：空間Mamba子網(wǎng)——讓像素“千里傳信”

你有沒有發(fā)現(xiàn)，有些超分圖像看起來(lái)模糊，是因?yàn)檫h(yuǎn)處的像素“不知道”彼此的存在？空間Mamba子網(wǎng)就是來(lái)解決這個(gè)問題的。它里面藏著多個(gè)“空間Mamba塊”，每個(gè)塊都像一個(gè)“空間偵探”：

1. SpaVSSM模塊 ：給像素裝個(gè)“望遠(yuǎn)鏡”，四方向掃描圖像（上下左右都不放過(guò)），讓每個(gè)像素都能感知到遠(yuǎn)處的同伴，捕捉長(zhǎng)距離關(guān)聯(lián)。

2. 多尺度特征提取 ：用1×1、3×3、5×5不同大小的“放大鏡”看圖像，既能抓住細(xì)節(jié)，又能把握全局。

3. 注意力機(jī)制 ：自動(dòng)忽略沒用的“噪音”，專注于重要的空間特征。

看看這個(gè)空間Mamba塊的結(jié)構(gòu)，是不是很精巧？

第二招：光譜Mamba子網(wǎng)——讓波段“和諧共鳴”

高光譜的靈魂在光譜！不同波段就像交響樂的不同樂器，少了誰(shuí)都不行。光譜Mamba子網(wǎng)專門負(fù)責(zé)讓波段之間“好好配合”：

• 它把光譜維度當(dāng)成長(zhǎng)序列，用雙向掃描（從第一個(gè)波段掃到最后一個(gè)）捕捉全局光譜規(guī)律。

• 同樣搭配注意力機(jī)制，挑出最關(guān)鍵的光譜特征，避免冗余信息干擾。

經(jīng)過(guò)這一步，光譜曲線能完美貼合真實(shí)值，再也不會(huì)出現(xiàn)“紅的變綠的”尷尬情況。

第三招：漸進(jìn)式上采樣——一步一步變清晰

心急吃不了熱豆腐，超分也是同理。MambaHSISR不追求一步到位，而是像搭積木一樣逐步放大圖像：

• 先小幅度上采樣，修復(fù)細(xì)節(jié)；再進(jìn)一步放大，精細(xì)調(diào)整。

• 比起一次性放大，這種方法能減少誤差，讓圖像邊緣更銳利，紋理更自然。

光說(shuō)不練假把式，研究者們?cè)趦蓚€(gè)真實(shí)數(shù)據(jù)集上做了測(cè)試，結(jié)果讓人眼前一亮。

休斯頓數(shù)據(jù)集：細(xì)節(jié)拉滿！

在1米分辨率的休斯頓校園圖像上，MambaHSISR的表現(xiàn)堪稱“細(xì)節(jié)控”的福音：

• 定量指標(biāo)全面領(lǐng)先：PSNR（圖像清晰度）比第二名高0.2dB，SAM（光譜相似度）低0.16，意味著空間更清晰，光譜更保真。

• 視覺效果驚艷：紅色框里的建筑邊緣、道路紋理，其他方法要么模糊要么扭曲，而MambaHSISR修復(fù)得清清楚楚。

再看誤差圖（越黑表示誤差越?。?，MambaHSISR的結(jié)果幾乎一片黑，說(shuō)明和真實(shí)圖像高度一致！

QUST-1數(shù)據(jù)集：光譜超準(zhǔn)！

在包含平原、山脈、海洋的青島數(shù)據(jù)集上，MambaHSISR的光譜恢復(fù)能力讓人驚嘆。隨機(jī)挑一個(gè)像素的光譜曲線，它的結(jié)果和真實(shí)值幾乎重合，甩其他方法一大截：

速度還很快！

別看性能強(qiáng)，MambaHSISR跑起來(lái)一點(diǎn)不慢。在×4超分任務(wù)中，它的推理時(shí)間比很多方法都短，這得益于Mamba的線性復(fù)雜度優(yōu)勢(shì)。

消融實(shí)驗(yàn)：每個(gè)組件都很能打！

研究者們還拆解開框架，看看每個(gè)部分的作用：

• 去掉空間Mamba塊？PSNR直接掉0.5dB，證明長(zhǎng)距離空間建模有多重要。

• 光譜Mamba塊偷懶？光譜相似度瞬間變差，說(shuō)明光譜建模必不可少。

• 改成單步上采樣？細(xì)節(jié)模糊不少，漸進(jìn)式方法完勝。

最有意思的是掃描方向?qū)嶒?yàn)：空間用四向掃描（上下左右）比雙向好，光譜用雙向就夠了（畢竟是一維序列），研究者把這點(diǎn)拿捏得死死的！

總結(jié)：Mamba在遙感領(lǐng)域的新起點(diǎn)

這篇論文的厲害之處在于：

1. 首次將Mamba用于高光譜超分 ，發(fā)揮其長(zhǎng)序列建模優(yōu)勢(shì)。

2. 雙子網(wǎng)設(shè)計(jì) ：空間抓細(xì)節(jié)，光譜保真性，分工明確。

3. 開源代碼 ：https://gitee.com/xu_yinghao/MambaHSISR，想復(fù)現(xiàn)的同學(xué)可以沖！

未來(lái)，MambaHSISR還能用于目標(biāo)識(shí)別、土地監(jiān)測(cè)等任務(wù)，說(shuō)不定衛(wèi)星圖像的“高清時(shí)代”就要靠它開啟了！