當(dāng)自動(dòng)駕駛遇上越來越聰明的大模型（VLM-AD），人們的座駕似乎擁有了“大腦”，能理解人類的指令，還能做出決策。但這看似美好的未來背后，卻隱藏著新的安全風(fēng)險(xiǎn)。如果有人能用一種特殊的方式“欺騙”汽車的“眼睛”，讓它把“停車”指令理解成“加速”，后果將不堪設(shè)想。

最近，來自中山大學(xué)、新加坡國立大學(xué)、云南師范大學(xué)和北京航空航天大學(xué)的研究者們，就揭示了這樣一個(gè)嚴(yán)峻的挑戰(zhàn)。他們提出了一種名為UCA (Universal Camouflage Attack)的攻擊框架，這也是首個(gè)針對自動(dòng)駕駛大模型的通用物理偽裝攻擊方法。簡單來說，就是制造一種特殊的“偽裝貼紙”，貼在車上，就能高效地欺騙AI系統(tǒng)。

• 
  

  論文標(biāo)題: Universal Camouflage Attack on Vision-Language Models for Autonomous Driving

• 作者: Dehong Kong, Sifan Yu, Siyuan Liang, Jiawei Liang, Jianhou Gan, Aishan Liu, Wenqi Ren

• 機(jī)構(gòu): 中山大學(xué), 新加坡國立大學(xué), 云南師范大學(xué), 北京航空航天大學(xué)

• 論文地址: https://arxiv.org/abs/2509.20196

背景：自動(dòng)駕駛大模型的“阿喀琉斯之踵”

在AI安全領(lǐng)域，“對抗攻擊”是一個(gè)經(jīng)典話題，它指的是通過對輸入數(shù)據(jù)（如圖片）添加人眼難以察覺的微小擾動(dòng)，來誤導(dǎo)模型做出錯(cuò)誤判斷。然而，想在真實(shí)的物理世界中實(shí)現(xiàn)對自動(dòng)駕駛大模型的有效攻擊，卻面臨兩大難題：

1. 從數(shù)字到物理的鴻溝：大多數(shù)攻擊都停留在數(shù)字層面，生成的“對抗樣本”在現(xiàn)實(shí)世界中會(huì)因?yàn)楣庹?、角度、距離的變化而失效。

2. 攻擊目標(biāo)的錯(cuò)位：傳統(tǒng)的物理攻擊（如對抗性貼片）主要針對簡單的視覺識別任務(wù)（如目標(biāo)檢測），它們攻擊的是模型的底層感知模塊。而自動(dòng)駕駛大模型（VLM-AD）的核心在于其復(fù)雜的多模態(tài)推理能力，簡單攻擊底層視覺很難撼動(dòng)其高層語義決策。

正因如此，目前還缺少一種能在物理世界中、對復(fù)雜的自動(dòng)駕駛大模型進(jìn)行有效且通用攻擊的方法。UCA的出現(xiàn)，正是為了填補(bǔ)這一空白。

方法：如何打造一件通用的AI“隱身衣”？

UCA框架的核心思想，不再是像以往那樣去攻擊模型最終的輸出結(jié)果（比如具體的某個(gè)指令），而是深入到模型的“思考過程”中，直接在特征層面進(jìn)行干擾。這就像是，不直接告訴一個(gè)人錯(cuò)誤答案，而是在他思考的過程中，給他一堆錯(cuò)誤的線索，讓他自己得出錯(cuò)誤結(jié)論。

核心武器：特征散度損失 (FDL)

研究者們發(fā)現(xiàn)，VLM-AD模型中的編碼器和投影層對視覺紋理的變化尤為敏感?；谶@一發(fā)現(xiàn)，他們設(shè)計(jì)了一種全新的損失函數(shù)——特征散度損失（Feature Divergence Loss, FDL）。這個(gè)損失函數(shù)的目標(biāo)是：讓模型在看到“干凈”圖像和“偽裝”圖像后，其內(nèi)部生成的特征表示差異最大化。通過優(yōu)化這個(gè)損失，算法能自動(dòng)生成一種具有強(qiáng)大干擾能力的偽裝紋理。

物理世界適應(yīng)性：多尺度學(xué)習(xí)與重加權(quán)采樣

為了讓偽裝紋理在真實(shí)世界中足夠魯棒，UCA還引入了兩種關(guān)鍵策略：

• 多尺度學(xué)習(xí)：模仿小目標(biāo)檢測技術(shù)，讓模型在訓(xùn)練時(shí)學(xué)習(xí)不同距離下的圖像，確保偽裝在遠(yuǎn)距離、目標(biāo)變小時(shí)依然有效。

• 視角重加權(quán)采樣：實(shí)驗(yàn)發(fā)現(xiàn)，某些特定視角（如22.5°）下的攻擊更容易失敗。因此，UCA在訓(xùn)練時(shí)增加了這些“困難視角”樣本的采樣權(quán)重，重點(diǎn)攻克薄弱環(huán)節(jié)，從而提升全方位的攻擊魯棒性。

通過這些設(shè)計(jì)，UCA生成的偽裝紋理不僅具有強(qiáng)大的攻擊性，還具備了對不同車型、不同用戶指令、不同模型架構(gòu)的“通用性”。

實(shí)驗(yàn)效果：攻擊成功率大幅提升

實(shí)驗(yàn)結(jié)果令人矚目。研究者們在一個(gè)名為“Dolphins”的先進(jìn)VLM-AD模型上驗(yàn)證了UCA的威力。

在規(guī)劃（Planning）、預(yù)測（Prediction）、感知（Perception）這三個(gè)自動(dòng)駕駛的關(guān)鍵任務(wù)上，UCA的平均攻擊成功率達(dá)到了54%，遠(yuǎn)超以往的各種攻擊方法。特別是在最關(guān)鍵的“規(guī)劃”任務(wù)上，成功率高達(dá)78%。綜合來看，UCA在3-P（Planning, Prediction, Perception）指標(biāo)上相比現(xiàn)有SOTA方法提升了超過30%。

下圖直觀展示了不同攻擊方法生成的偽裝紋理，UCA生成的紋理（f）在視覺上更自然，也更有效。

更重要的是，UCA在不同距離和角度下都表現(xiàn)出了強(qiáng)大的魯棒性，證明了其在物理世界中部署的巨大潛力。

消融實(shí)驗(yàn)也證明了UCA框架中各個(gè)組件的有效性，無論是FDL損失還是多尺度、重采樣策略，都對最終的攻擊效果至關(guān)重要。

UCA的通用性意味著，同一張偽裝可以誤導(dǎo)模型在不同場景下做出錯(cuò)誤的指令。

總結(jié)：矛與盾的持續(xù)博弈

UCA的提出，無疑為自動(dòng)駕駛的安全研究敲響了警鐘。它展示了即使是目前最先進(jìn)的視覺語言大模型，在面對精心設(shè)計(jì)的物理攻擊時(shí)，也依然存在巨大的安全漏洞。CV君認(rèn)為，這項(xiàng)工作最大的意義不在于“攻擊”，而在于“防御”。通過揭示這些最危險(xiǎn)的攻擊方式，才能更有針對性地去構(gòu)建更安全的AI系統(tǒng)，打造出真正值得信賴的自動(dòng)駕駛技術(shù)。這場圍繞AI安全的“矛”與“盾”的博弈，才剛剛開始。