紅星資本局11月8日消息 2025年世界互聯(lián)網(wǎng)大會(huì)烏鎮(zhèn)峰會(huì)期間，奇安信（688561.SH）安全專(zhuān)家黃巍接受紅星資本局采訪(fǎng)時(shí)表示，人工智能時(shí)代到來(lái)，AI全面應(yīng)用的同時(shí)也會(huì)帶來(lái)新的網(wǎng)絡(luò)安全風(fēng)險(xiǎn)。

黃巍認(rèn)為，新型攻擊主要發(fā)生在三個(gè)階段。第一，訓(xùn)練階段的數(shù)據(jù)投毒：攻擊者向模型的訓(xùn)練數(shù)據(jù)中注入惡意樣本，導(dǎo)致模型性能下降、質(zhì)量退化。第二，服務(wù)階段的濫用與中斷：通過(guò)身份濫用、DDoS攻擊等手段攻擊提供服務(wù)的模型，導(dǎo)致模型服務(wù)不可用或性能大幅下降。第三，應(yīng)用階段的提示詞攻擊：使用非常隱蔽的惡意提示詞，混淆在用戶(hù)正常問(wèn)題中，造成算力消耗、內(nèi)容誘導(dǎo)。

隨著AI成為千行百業(yè)中不可或缺的基礎(chǔ)工具，未來(lái)可能存在的最大潛在風(fēng)險(xiǎn)，是難以區(qū)分真實(shí)和虛幻，所以也需要“用AI治理AI”。未來(lái)AI的發(fā)展趨勢(shì)可能是各行各業(yè)全面擁抱AI，同時(shí)開(kāi)始規(guī)范和治理AI，采購(gòu)相關(guān)的產(chǎn)品與服務(wù)來(lái)“反制”AI帶來(lái)的問(wèn)題。

另一方面，黃巍指出，雖然“用AI治理AI”是必然方向，但過(guò)程中也可能出現(xiàn)幻覺(jué)或“杜撰”。例如用AI對(duì)軟件、程序等進(jìn)行測(cè)試，AI為了完成人類(lèi)設(shè)定的KPI，可能會(huì)憑空捏造問(wèn)題來(lái)湊數(shù)，因此也需要人工進(jìn)行二次校對(duì)。

紅星新聞 記者俞瑤 實(shí)習(xí)記者 李海顏烏鎮(zhèn)攝影報(bào)道

編輯 陶玥陽(yáng)

審核 王光東