IT之家 12 月 23 日消息，盡管 OpenAI 正致力于強(qiáng)化其 Atlas 人工智能瀏覽器的網(wǎng)絡(luò)攻擊防御能力，但該公司承認(rèn)，提示詞注入攻擊 —— 一種通過操縱人工智能智能體、使其執(zhí)行隱藏在網(wǎng)頁或電子郵件中的惡意指令的攻擊手段 —— 帶來的風(fēng)險短期內(nèi)無法消除。這也引發(fā)了人們對人工智能智能體在開放網(wǎng)絡(luò)環(huán)境下能否安全運(yùn)行的質(zhì)疑。

OpenAI 在當(dāng)?shù)貢r間周一發(fā)布的一篇博客文章中詳細(xì)闡述了該公司為增強(qiáng) Atlas 的防御能力、抵御持續(xù)攻擊所采取的措施，并寫道：“提示詞注入攻擊就像網(wǎng)絡(luò)上的詐騙和社會工程學(xué)攻擊一樣，幾乎不可能被完全‘攻克’?！痹摴咎钩校珻hatGPT Atlas 的“智能體模式”“擴(kuò)大了安全威脅面”。

據(jù)IT之家了解，OpenAI 于今年 10 月推出了 ChatGPT Atlas 瀏覽器，隨后安全研究人員迅速發(fā)布了相關(guān)演示，證明只需在谷歌文檔中輸入寥寥數(shù)語，就能改變底層瀏覽器的行為。就在同一天，瀏覽器廠商 Brave 也發(fā)布博客指出，間接提示詞注入攻擊是所有人工智能驅(qū)動型瀏覽器面臨的系統(tǒng)性挑戰(zhàn)，Perplexity 公司的 Comet 瀏覽器也未能幸免。

意識到提示詞注入攻擊威脅將長期存在的并非只有 OpenAI 一家。英國國家網(wǎng)絡(luò)安全中心本月早些時候發(fā)出警告，稱針對生成式人工智能應(yīng)用的提示詞注入攻擊“或許永遠(yuǎn)無法被完全緩解”，這使得各類網(wǎng)站都面臨數(shù)據(jù)泄露的風(fēng)險。這家英國政府機(jī)構(gòu)建議網(wǎng)絡(luò)安全從業(yè)者，應(yīng)著力降低提示詞注入攻擊的風(fēng)險及影響，而非寄希望于將這類攻擊“徹底阻止”。

就 OpenAI 而言，該公司表示：“我們將提示詞注入視為一項長期的人工智能安全挑戰(zhàn)，未來需要持續(xù)強(qiáng)化防御措施。”

那么，面對這項永無止境的任務(wù)，OpenAI 給出了怎樣的解決方案？答案是建立一套主動式快速響應(yīng)機(jī)制。該公司稱，這套機(jī)制已初顯成效，能夠在新型攻擊手段被用于“實戰(zhàn)攻擊”前，提前在內(nèi)部發(fā)現(xiàn)這些攻擊策略。

這一思路其實與 Anthropic、谷歌等競爭對手的主張并無本質(zhì)區(qū)別：要應(yīng)對提示詞注入攻擊的持續(xù)威脅，必須構(gòu)建多層防御體系，并持續(xù)開展壓力測試。例如，谷歌近期的研究重點就聚焦于智能體系統(tǒng)的架構(gòu)層面與策略層面管控。

不過，OpenAI 采取了一種與眾不同的策略 —— 開發(fā)“基于大語言模型的自動化攻擊程序”。本質(zhì)上，這是一款由 OpenAI 借助強(qiáng)化學(xué)習(xí)技術(shù)訓(xùn)練而成的機(jī)器人，其作用是模擬黑客行為，尋找向人工智能智能體植入惡意指令的途徑。

這款機(jī)器人可以先在模擬環(huán)境中測試攻擊手段，再投入實際應(yīng)用。模擬環(huán)境能夠還原目標(biāo)人工智能在遭遇攻擊時的思維過程與可能采取的行動。隨后，機(jī)器人可分析目標(biāo)的反應(yīng)，調(diào)整攻擊方式，并反復(fù)進(jìn)行測試。這種能夠洞悉目標(biāo)人工智能內(nèi)部推理邏輯的優(yōu)勢，是外部攻擊者所不具備的。因此從理論上講，OpenAI 的這款機(jī)器人發(fā)現(xiàn)系統(tǒng)漏洞的速度，要快于現(xiàn)實中的黑客。

這是人工智能安全測試領(lǐng)域的一種常用方法：打造一個智能體，讓它找出系統(tǒng)的極端漏洞場景，并在模擬環(huán)境中開展快速測試。

OpenAI 在博客中寫道：“我們通過強(qiáng)化學(xué)習(xí)訓(xùn)練的攻擊程序，能夠誘導(dǎo)目標(biāo)智能體執(zhí)行復(fù)雜且需要多步驟推進(jìn)的有害任務(wù)流程，這些流程的操作步驟可達(dá)數(shù)十步甚至數(shù)百步。此外，我們還發(fā)現(xiàn)了一些全新的攻擊策略，這些策略既未出現(xiàn)在我們的人工紅隊測試中，也沒有相關(guān)外部報告提及?！?/p>

在一份演示案例中（上圖為部分截圖），OpenAI 展示了其自動化攻擊程序如何將一封惡意電子郵件植入用戶收件箱。當(dāng)人工智能智能體后續(xù)掃描收件箱時，它執(zhí)行了郵件中隱藏的惡意指令，發(fā)送了一封辭職信，而非按要求撰寫休假自動回復(fù)郵件。不過 OpenAI 稱，在完成安全更新后，“智能體模式”已能成功檢測到提示詞注入攻擊的企圖，并向用戶發(fā)出告警。

該公司表示，盡管要實現(xiàn)對提示詞注入攻擊的萬無一失防御難度極大，但仍在依靠大規(guī)模測試與更快速的補(bǔ)丁更新周期，力爭在相關(guān)攻擊手段出現(xiàn)在現(xiàn)實世界之前，完成系統(tǒng)防御加固。

針對 Atlas 的安全更新是否已顯著降低攻擊成功率這一問題，OpenAI 發(fā)言人拒絕透露具體數(shù)據(jù)，但表示該公司早在 Atlas 瀏覽器發(fā)布前，就已與第三方機(jī)構(gòu)合作，共同強(qiáng)化其針對提示詞注入攻擊的防御能力。

網(wǎng)絡(luò)安全公司 Wiz 的首席安全研究員拉米?麥卡錫指出，強(qiáng)化學(xué)習(xí)技術(shù)確實能實現(xiàn)對攻擊者行為的持續(xù)自適應(yīng)防御，但這只是解決方案的一部分。

麥卡錫在接受科技媒體 TechCrunch 采訪時表示：“衡量人工智能系統(tǒng)風(fēng)險的一個有效方法，是計算其自主性與訪問權(quán)限的乘積?！?/p>

他進(jìn)一步解釋道：“智能體瀏覽器恰恰處于這一風(fēng)險模型中的高挑戰(zhàn)區(qū)域：它們擁有中等程度的自主性，同時又具備極高的系統(tǒng)訪問權(quán)限。當(dāng)前許多安全建議，其實都反映了這種利弊權(quán)衡。比如限制登錄狀態(tài)下的訪問權(quán)限，主要是為了減少暴露面；而要求對各類確認(rèn)請求進(jìn)行人工審核，則是為了約束智能體的自主操作權(quán)限?！?/p>

這兩點也被列入 OpenAI 向用戶提供的風(fēng)險降低建議中。該公司發(fā)言人還表示，Atlas 瀏覽器經(jīng)過訓(xùn)練，在發(fā)送郵件或執(zhí)行支付操作前，都會向用戶發(fā)起確認(rèn)請求。OpenAI 同時建議用戶，應(yīng)向智能體下達(dá)具體明確的指令，而非直接授予其收件箱訪問權(quán)限，簡單告知其“自行采取必要措施”。

OpenAI 指出：“即便已部署安全防護(hù)措施，過高的自主操作權(quán)限也會讓隱藏的惡意內(nèi)容更容易對智能體產(chǎn)生影響。”

盡管 OpenAI 聲稱，保護(hù) Atlas 用戶免受提示詞注入攻擊是公司的首要任務(wù)，但麥卡錫仍對這類高風(fēng)險瀏覽器的投入產(chǎn)出比持懷疑態(tài)度。

他在接受 TechCrunch 采訪時表示：“對于大多數(shù)日常使用場景而言，智能體瀏覽器目前帶來的價值，尚不足以匹配其當(dāng)前的風(fēng)險水平。由于它們能夠訪問電子郵件、支付信息等敏感數(shù)據(jù)，因此風(fēng)險系數(shù)極高 —— 但與此同時，也正是這種高訪問權(quán)限賦予了它們強(qiáng)大的功能。這種利弊平衡狀態(tài)未來或?qū)⒅鸩礁纳?，但就目前而言，其中的取舍?quán)衡依然十分顯著?！?/p>