西浦、利物浦大學聯(lián)合發(fā)布！夜間圖像“看不清”？系統(tǒng)性綜述破局低光視覺難題

Free Access:

https://authors.elsevier.com/c/1lU~H3INukW9EQ

https://doi.org/10.1016/j.neucom.2025.131052

文章摘要

在弱光環(huán)境下，計算機視覺算法的性能通常會顯著下降，從而對分割、檢測和分類等關鍵視覺任務產(chǎn)生不利影響。隨著深度學習的快速發(fā)展，其在弱光圖像處理中的應用近年來引起了廣泛關注并取得了顯著進展。本綜述詳細闡述了各種近期方法（自2020年以來）的工作原理及其增強機制。此外，還研究了不同增強技術對后續(xù)視覺任務的影響，并批判性地分析了它們的優(yōu)勢和局限性。本綜述發(fā)現(xiàn)圖像增強在不同程度上提高了下游視覺任務的性能。盡管監(jiān)督方法通常能夠生成具有高感知質量的圖像，但它們在視覺任務中的改進通常不大。相比之下，零樣本學習盡管在圖像質量指標上得分較低，但在各種視覺任務中均表現(xiàn)出持續(xù)提升的性能。這表明圖像質量指標與評估視覺任務性能的指標之間存在脫節(jié)。此外，無監(jiān)督領域自適應技術在分割任務中表現(xiàn)出顯著的提升，凸顯了其在標記數(shù)據(jù)稀缺的實際弱光場景中的潛力。本文為確定弱光圖像增強技術和優(yōu)化弱光條件下的視覺任務性能提供了有益的參考。

文章導讀

近年來，計算機視覺和深度學習的進步推動了基于學習的弱光圖像處理方法的發(fā)展。研究人員探索了各種圖像增強的方法，系統(tǒng)地調(diào)查這些方法并分析各種增強技術在不同視覺任務中的具體性能和適用性具有重要價值。圖 1 總結了 2020 年以來基于學習的代表性方法的演變，突出了塑造該領域的關鍵創(chuàng)新。這些方法大致可分為監(jiān)督學習、無監(jiān)督學習、零樣本學習和基于融合的學習。

圖1. 基于深度學習的低光圖像增強方法的里程碑

本研究的主要貢獻如下：

? 全面綜述了自 2020 年以來基于深度學習的最新低光圖像增強技術，并將它們系統(tǒng)地劃分為明確的類別。

? 深入闡述了代表性方法的基本原理、增強策略和性能改進，并輔以清晰的說明。

? 分析了不同增強方法的優(yōu)勢和局限性，并比較了它們在目標檢測、分割和分類等下游視覺任務中的適用性。

? 匯編并總結了與低光增強和視覺任務相關的典型數(shù)據(jù)集和評估指標，并討論了它們的應用場景。

? 討論了當前低光圖像處理的局限性，并提出了未來研究的潛在方向。

核心內(nèi)容

這些圖像增強方法的具體定義以及討論詳見文中。圖2概述了具有代表性的圖像增強方法，提供了各種信息。

圖2. 低光圖像處理挑戰(zhàn)及解決方案概述

低光圖像增強方法評估

（1）圖像增強的性能

就視覺效果而言（即不考慮下游視覺任務的性能），這些增強方法可以有效提升低光圖像的感知質量，盡管提升的程度各不相同。盡管如此，當前的方法在精確調(diào)整亮度和避免色彩失真方面仍有很大的改進空間。

圖3. 通過各種方法增強前后圖像的視覺比較

此外，為了便于比較，本文總結了幾個常用的圖像增強和下游視覺任務數(shù)據(jù)集，如表1所示。涵蓋了光照條件、圖像分辨率、樣本大小、數(shù)據(jù)源、場景類型和適用任務類型等關鍵方面。

表1.低光圖像數(shù)據(jù)集概述：C、S、D 分別代表分類、分割和檢測。未標記數(shù)據(jù)集僅用于圖像增強（E）任務

如表2所示，本文對不同增強方法的視覺性能進行了詳細的討論，展示了不同方法在具有真實參考圖像的數(shù)據(jù)集（主要為 LOL 數(shù)據(jù)集）上的增強結果。

表2. 使用 PSNR、SSIM、LPIPS 和運行時指標進行定量比較。在 LOL-test 數(shù)據(jù)集 [132] 上，表現(xiàn)最佳的結果以紅色突出顯示，第二好的結果和第三好的結果分別以藍色和綠色顯示。對于 MIT-Adobe FiveK 數(shù)據(jù)集 [129]，最佳結果以粗體顯示。向上箭頭 (↑) 表示值越高，性能越好，向下箭頭 (↓) 表示值越低，性能越好

為了評估弱光圖像增強對下游計算機視覺任務的影響，我們回顧了定量比較增強前后模型性能的研究。表3總結了性能提升?？傮w而言，近期提出的弱光圖像增強方法顯著提升了各種視覺任務的性能。值得注意的是，在所有視覺任務中，基于零樣本學習的增強方法都展現(xiàn)出了顯著的提升。一個有趣的觀察是，雖然基于零樣本學習的增強方法在各種下游視覺任務中都表現(xiàn)出了出色的性能提升，但它們在表3中的PSNR、SSIM和LPIPS等圖像質量指標上并未取得最佳表現(xiàn)。相反，在圖像質量指標上具有優(yōu)勢的監(jiān)督學習方法在下游檢測和分類任務中表現(xiàn)不佳。這一發(fā)現(xiàn)凸顯了常用圖像質量指標的一個關鍵局限性：它們無法準確衡量增強圖像對流視覺任務的增強效果。這可能是因為這些指標強調(diào)恢復整幅圖像的視覺感知質量，而視覺任務則更多地依賴于關鍵區(qū)域的細節(jié)特征是否清晰可識別。

表3. 應用弱光圖像增強后的性能提升。增強前后的性能以百分比表示）。C、S、D 分別代表分類、分割和檢測

總結展望

本文對不同的弱光圖像增強技術進行了全面的綜述和系統(tǒng)的分類，并探討了它們在分割、檢測和分類等計算機視覺任務中的表現(xiàn)。我們的調(diào)查顯示，圖像增強質量與下游任務性能之間存在脫節(jié)。這表明，僅僅關注人類視覺感知的增強可能會無意中抑制或扭曲對機器視覺模型至關重要的特征，從而降低任務性能。

未來低光圖像增強研究應優(yōu)先開發(fā)任務自適應增強策略，以動態(tài)調(diào)整以適應下游視覺任務的特定需求，同時建立標準化的基準數(shù)據(jù)集，以便在不同方法之間進行公平透明的比較。此外，創(chuàng)建新的集成指標或模型，連接人類感知和機器視覺，將有助于更準確地評估增強方法在視覺質量和任務性能方面的性能。最后，探索混合方法，例如構建聯(lián)合模型并將零樣本學習與領域自適應相結合，可以進一步提高模型在具有挑戰(zhàn)性的低光條件下的魯棒性和有效性。