在數(shù)字化轉(zhuǎn)型和人工智能迅猛發(fā)展的今天，安全挑戰(zhàn)也隨之升級。為了探討AI時代下的紅藍攻防新范式，騰訊云安全云鼎實驗室、西安智能系統(tǒng)安全重點實驗室、LLM&Sec Landscape社區(qū)于3月1日聯(lián)合主辦了“模型有界，安全無疆”騰訊安全沙龍第2期（西安站）活動。

本次活動吸引了眾多安全專家和業(yè)內(nèi)人士的關(guān)注，在夢田音樂酒吧賽博朋克的氛圍籠罩下，眾多專家暢所欲言、暢快分享，令與會者在輕松的氛圍中共享知識盛宴，共同把脈大模型時代的安全未來。

本次沙龍，我們也榮幸參加。為免有滄海遺珠之憾，我們將各位專家學(xué)者的精彩演講提煉總結(jié)，予以分享。

主題一：

LLM應(yīng)用安全問題與應(yīng)對措施探索

祝榮吉

綠盟天元實驗室高級研究員/M01N戰(zhàn)隊核心

祝榮吉首先介紹了大模型現(xiàn)階段的應(yīng)用架構(gòu)形態(tài)。他提到，從去年開始，大模型的應(yīng)用形態(tài)已經(jīng)從初期的底層模型對外提供API接口能力的形式，轉(zhuǎn)變?yōu)榱私M件化的應(yīng)用形態(tài)。

這種新型的應(yīng)用形態(tài)通過上層應(yīng)用框架的能力，提供大模型的組件、提示詞組件、agent組件以及data組件，以構(gòu)建在組織行業(yè)下的各種應(yīng)用形態(tài)。然而，這種新的應(yīng)用形態(tài)發(fā)展也帶來了各種各樣新型的安全風(fēng)險。

他詳細闡述了在大模型通用架構(gòu)中引入風(fēng)險后的可能內(nèi)容。除了現(xiàn)在比較熟知的提示詞注入風(fēng)險外，API的安全問題、傳統(tǒng)應(yīng)用漏洞依然存在。

在提示詞模板構(gòu)建階段，還會存在決策逃逸的問題或上下文信息的竊取。大模型組件可能會面臨模型域攻擊，繞過模型底層的價值觀對齊，實現(xiàn)非預(yù)期的操作。Agent的組件則可能通過不安全的插件設(shè)計，導(dǎo)致通過提示詞的形式執(zhí)行惡意代碼或發(fā)起內(nèi)網(wǎng)網(wǎng)絡(luò)請求等攻擊。

在輸出處理階段，不安全的輸出處理內(nèi)容可能直接導(dǎo)致下游平臺遭受攻擊。

而在數(shù)據(jù)存儲階段，還會存在上下文信息劫持和外帶的風(fēng)險。

祝榮吉指出，大模型的安全問題將圍繞底層模型和上層應(yīng)用系統(tǒng)展開，并可以拆解到整個大模型的生命周期中。他列舉了模型選型、部署、應(yīng)用推理等階段可能面臨的風(fēng)險，如模型可入性問題、模型后門攻擊、傳統(tǒng)組件漏洞、非合規(guī)內(nèi)容安全問題、提示詞對抗安全問題等。

針對這些風(fēng)險，祝榮吉提出了一系列應(yīng)對措施。他強調(diào)，由于AI發(fā)展速度快，AI應(yīng)用的開發(fā)流程安全無法完全覆蓋新型業(yè)務(wù)組件的引入，因此安全左移至關(guān)重要。

他們團隊在實踐中，通過引入自動化風(fēng)險評估機制助力模型選型，采用提示詞加固措施緩解風(fēng)險，利用專項工具和檢測平臺覆蓋傳統(tǒng)安全問題，實現(xiàn)AI平臺安全左移。

他特別提到了模型域攻擊，這是攻擊者針對提示詞層面精心構(gòu)造相關(guān)工具性提示詞，以繞過或干擾模型底層安全價值觀對齊機制，實現(xiàn)下一步攻擊操作的手法。

模型域攻擊主要包括指令層干擾、token層干擾和上下文層攻擊。這些攻擊手段可能導(dǎo)致上下文信息竊取、利用網(wǎng)絡(luò)攻擊輸出攻擊下游環(huán)境以及智能體濫用等危害。

為了應(yīng)對這些風(fēng)險，祝榮吉團隊在內(nèi)容安全風(fēng)險和提示詞安全檢測方面細化了評估自身用力，并構(gòu)建了自動化評估框架。

他們通過融入多種提示詞和風(fēng)險場景下用戶觀點，生成多樣化的內(nèi)容安全風(fēng)險提示詞，并通過精選越獄提示詞種子和編譯手段，探索模型可被越獄的邊界。

此外，他們還結(jié)合攻擊場景和目標應(yīng)用工作場景，生成具體攻擊提示詞，并進行智能化判定。

在加固方面，他們提出了基于提示詞做加固的簡潔快捷手段，包括應(yīng)用提示詞內(nèi)容強化、結(jié)構(gòu)強化和流程強化機制。同時，他們也關(guān)注了被放大的攻擊風(fēng)險，如模型后門文件風(fēng)險和應(yīng)用組件漏洞，并提出了相應(yīng)的檢測和防護措施。

最后，祝榮吉表示，大模型面臨的問題是復(fù)合型問題，涉及到底層基座、數(shù)據(jù)、模型、應(yīng)用以及身份等多個維度的安全問題。因此，我們應(yīng)該從全局視角審視安全問題，并通過結(jié)構(gòu)性的思考和框架助力更好地理解大模型中的安全風(fēng)險。

他們團隊也基于威脅矩陣對外公開了大模型安全知識庫，以幫助大家更好地應(yīng)對大模型應(yīng)用安全問題。

主題二：

基于函數(shù)調(diào)用的大模型越獄攻擊

吳子輝

西安電子科技大學(xué)/西安智能系統(tǒng)安全重點實驗室博士

吳子輝首先介紹了大模型越獄攻擊的現(xiàn)狀。傳統(tǒng)上，這類攻擊多發(fā)生在對話階段，攻擊者通過精心構(gòu)造的對話內(nèi)容，誘導(dǎo)模型產(chǎn)生不安全或違規(guī)的輸出。

然而，他提出一個未被充分探索的領(lǐng)域：利用函數(shù)調(diào)用功能進行越獄攻擊。大模型通常由核心語言模型、記憶模塊、規(guī)劃模塊及與外部環(huán)境交互的能力（即函數(shù)調(diào)用）構(gòu)成。函數(shù)調(diào)用旨在增強模型處理復(fù)雜任務(wù)的能力，但也可能成為攻擊者的突破口。

函數(shù)調(diào)用的過程分為四步：用戶聲明外部函數(shù)、通過prompt觸發(fā)模型調(diào)用、將模型生成的參數(shù)輸入實際函數(shù)執(zhí)行、將執(zhí)行結(jié)果返回模型生成最終回復(fù)。

這一過程看似嚴謹，實則存在漏洞。一家研究機構(gòu)已發(fā)現(xiàn)，攻擊者可通過任意參數(shù)注入或請求函數(shù)具體信息，實施攻擊或泄露隱私。更值得關(guān)注的是，這些攻擊在回復(fù)生成階段可能受到檢查，但參數(shù)生成階段的安全風(fēng)險常被忽視。

為了驗證參數(shù)生成階段是否存在越獄風(fēng)險，吳子輝團隊設(shè)計了名為“越獄函數(shù)攻擊”的模板攻擊。他們構(gòu)造了一個包含情景構(gòu)造、前綴注入和最小字數(shù)要求的攻擊模板，并定義了惡意行為、自定義參數(shù)、系統(tǒng)級參數(shù)及用戶指令。

實驗結(jié)果顯示，在六個主流大模型上，該攻擊的平均成功率超過90%，證實了參數(shù)生成階段確實存在越獄風(fēng)險。

進一步分析漏洞原因，吳子輝指出三點：參數(shù)生成相比回復(fù)生成缺乏安全對齊、系統(tǒng)參數(shù)存在強制執(zhí)行模式、缺少針對函數(shù)參數(shù)的安全過濾器。這些因素共同導(dǎo)致了函數(shù)調(diào)用過程中的安全風(fēng)險。

針對這些漏洞，吳子輝提出了可行的解決方案。限制用戶權(quán)限雖可減少風(fēng)險，但可能影響模型函數(shù)調(diào)用精度。配置安全過濾器可能因過濾器知識儲備不足而被繞過。插入安全提示詞可在一定程度上降低攻擊成功率，但并非根本解決之道。

最根本的解決方案是對大模型的參數(shù)進行安全對齊訓(xùn)練，但構(gòu)建大規(guī)模對齊數(shù)據(jù)集及可能導(dǎo)致的模型性能下降是面臨的挑戰(zhàn)。

吳子輝的工作得到了業(yè)界的認可，被coding2025會議接收，并在Release社區(qū)的ChatGPT Jailbreak板塊評為2024年8月的最佳越獄方案。他觀察到，Release社區(qū)在此基礎(chǔ)上已演變出更多新型越獄函數(shù)攻擊，如注入方式多樣化及更復(fù)雜函數(shù)模板的設(shè)立。

展望未來，吳子輝認為，自動化紅隊模型將成為研究方向。相較于依賴人工經(jīng)驗的人工紅隊，自動化模型可通過強化學(xué)習(xí)訓(xùn)練，實現(xiàn)更靈活、高效的攻擊策略。這一領(lǐng)域的研究將為大模型的安全防護提供新的思路和挑戰(zhàn)。

主題三：

構(gòu)建大模型越獄大腦

Knight

京東藍軍/白鵺攻防實驗室安全研究員

Knight先是提出了“第二大腦”的概念，認為這一概念更適合描述他們當(dāng)前所做的工作——知識管理，而非單純的大腦或大語言模型。

在闡述“第二大腦”的產(chǎn)生背景時，Knight提到了他之前在看雪論壇上提出的一個大框架——ExpAttack框架。這個框架的核心理念是用大語言模型解決大語言模型的安全問題，包括攻擊視角的風(fēng)險管理和自動化的實現(xiàn)。

他分享了自己在自動化框架中使用蒙特卡羅強化學(xué)習(xí)算法生成攻擊的策略，并強調(diào)了論文在處理策略引擎中的重要作用。

隨后，Knight指出了當(dāng)前面臨的兩大挑戰(zhàn)：信息過載和大語言模型的快速變化。信息過載使得人們難以有效處理和記憶海量的AI領(lǐng)域知識；而大語言模型的快速變化則導(dǎo)致風(fēng)險也在不斷變化。

基于這兩點挑戰(zhàn)，他提出了構(gòu)建“第二大腦”的需求，以快速跟蹤新論文、新方法，減少碎片化知識，并更快地在業(yè)務(wù)場景上驗證大語言模型的安全問題。

為了滿足這些需求，Knight借鑒了知識管理領(lǐng)域的方法，即COT方法（捕獲、組織/結(jié)構(gòu)化、提煉、表達）。

他們首先捕獲與大語言模型安全、越獄攻擊和防護相關(guān)的論文，然后將其結(jié)構(gòu)化入庫，采用數(shù)和圖譜的形式進行存儲。接下來，通過提煉步驟對論文進行分類和聚類，以識別出越獄方法的類型和趨勢。最后，利用表達步驟將提煉出的知識應(yīng)用于自動化攻擊和業(yè)務(wù)場景中。

在知識入庫的過程中，Knight還提到了知識的分級。他將知識分為四級：具體知識（L1）、方法論知識（L2）、領(lǐng)域或?qū)W科全局途徑知識（L3）以及批判性思考和系統(tǒng)性思考知識（L4）。不同層級的知識需要采用不同的處理邏輯和存儲方式。

例如，L1級知識可以通過向量化搜索快速獲??；而L2級知識則需要通過歸納總結(jié)和構(gòu)建圖譜來處理。

在提煉步驟中，Knight詳細介紹了他們使用的基于大模型和語義聚類的算法。該算法首先對論文進行蒸餾，提取出與目標相關(guān)的知識和信息；然后進行主題詞提取和描述；接著將概念向量化并進行聚類；最后生成高級概念并對論文進行分類。這一過程有助于從海量的論文中提煉出有價值的知識和見解。

在表達步驟中，Knight展示了如何利用前面提煉出的知識和結(jié)構(gòu)化存儲的數(shù)據(jù)來生成自動化攻擊。他通過一個具體的例子說明了如何使用論文中的方法結(jié)合一個問題生成越獄攻擊，并展示了自動化生成攻擊的效果。

最后，Knight從紅藍攻防兩個角度對大模型攻防進行了思考。他認為攻擊方面自動化是不可或缺的部分，但自動化只是一個過程，最終還是要回到人與人之間的對抗。而防守方面則需要將模型的防護與推理能力相結(jié)合，并構(gòu)建一個系統(tǒng)性的防控體系來解決大模型的安全問題。

主題四：

AI賦能，安全護航：大模型應(yīng)用場景中的漏洞剝析

劉洋

云起無垠模型安全研究負責(zé)人知攻善防實驗室核心成員

劉洋指出，2024年中國人工智能行業(yè)市場規(guī)模達到了7470億元，同比增長41%，并預(yù)計2025年能達到10457億元，占全球比重的20.9%。

AI已經(jīng)廣泛應(yīng)用于互聯(lián)網(wǎng)、電信、政務(wù)、金融等各行各業(yè)，帶來了眾多AI業(yè)務(wù)場景，如AI語言助手、AI檢索、AI代碼生成（如Cursor、Windsurf）等。此外，還有AI紫荊醫(yī)生、AI智駕、AI主播等新興應(yīng)用。

然而，隨著AI應(yīng)用場景的增多，新型的安全風(fēng)險也逐漸暴露。劉洋列舉了多個漏洞案例：

首先是生成式語言助手，如ChatGPT3.5等，存在prompt注入漏洞，例如利用“奶奶漏洞”套取Windows激活碼。

此外，AI應(yīng)用的前端可能存在XSS漏洞，API在傳輸過程中可能被泄露，導(dǎo)致經(jīng)濟損失。

提示詞的泄露也是一個嚴重問題，因為提示詞中可能包含敏感信息，或者被人利用復(fù)制出一個相同的AI。

對于AI編輯器，本地源碼在對接互聯(lián)網(wǎng)的過程中可能導(dǎo)致代碼泄露，源代碼在上傳時若校驗不當(dāng)可能被截胡，存在中間人攻擊的風(fēng)險。

此外，AI編輯器集成的CMD和power shell可能引發(fā)RCE攻擊。使用開源代碼時，如果倉庫被污染，提示里可能存在注入，導(dǎo)致本地源代碼被污染并生成后門。

多模態(tài)AI，如生成圖片、語音、視頻等，面臨對抗樣本攻擊的風(fēng)險。攻擊者通過修改像素點就能讓AI誤識別圖片內(nèi)容。

此外，不法分子還可能利用多模態(tài)AI生成血腥、暴力等不良內(nèi)容。訓(xùn)練成私有場景的聲音或外形一旦泄露到互聯(lián)網(wǎng)，也可能導(dǎo)致隱私泄露和經(jīng)濟損失。

在文件上傳給AI的過程中，還存在文件上傳漏洞。劉洋以游戲《燕云十六聲》為例，指出NPC加入AI后雖然增加了趣味性，但也可能導(dǎo)致游戲BUG。

劉洋還分享了兩個具體的AI應(yīng)用安全漏洞案例。一個是微軟醫(yī)療AI機器人的漏洞，該機器人從外部數(shù)據(jù)源獲取信息，包含醫(yī)療電子病歷等敏感數(shù)據(jù)。攻擊者可能欺騙機器人調(diào)用API獲取數(shù)據(jù)。另一個是Curse的RCE漏洞，攻擊者通過精心構(gòu)造提示詞讓AI執(zhí)行惡意指令。

劉洋強調(diào)，AI應(yīng)用安全與傳統(tǒng)安全有所不同。傳統(tǒng)安全中，攻擊者通過黑客工具直接與web、服務(wù)器和數(shù)據(jù)庫交互。而AI應(yīng)用安全中，攻擊者往往無法直接訪問API服務(wù)器，但可以通過欺騙AI讓AI調(diào)用API達到目的。同時，AI應(yīng)用也基于傳統(tǒng)web構(gòu)建，因此傳統(tǒng)web漏洞同樣存在。

接著，劉洋詳細解析了幾個在項目中遇到的案例：

一個是政務(wù)公眾號AI助手的漏洞，存在API Key和api secret泄露以及提示詞泄露的問題。攻擊者可以利用這些泄露的信息進行惡意操作。此外，該公眾號前端使用了H5架構(gòu)，存在XSS漏洞的風(fēng)險。

另一個案例是國企分析平臺的SSRF漏洞。該平臺本意是想做網(wǎng)頁輿情分析，但由于沒有對HTTP或HTTPS協(xié)議進行限制，導(dǎo)致攻擊者可以訪問到敏感文件。

還有一個Windsurf的代碼泄露漏洞。Windsurf本地開啟了一個服務(wù)用于緩存用戶代碼數(shù)據(jù)。攻擊者構(gòu)造了一個網(wǎng)頁，在用戶開啟Windsurf的同時點擊該網(wǎng)頁，就可以將本地緩存的代碼內(nèi)容發(fā)送到黑客遠程服務(wù)器里。

另外，劉洋還遇到了一個AI簡歷分析助手的SQL注入漏洞。該系統(tǒng)允許用戶上傳簡歷到網(wǎng)站，后臺使用AI分析簡歷并將分析后的內(nèi)容插入數(shù)據(jù)庫。前端有一個人才概述的提取并展示在前端，同時有一個AI聊天機器人具有查詢后臺數(shù)據(jù)庫的權(quán)限。該機器人存在SQL注入漏洞，攻擊者可以欺騙AI執(zhí)行惡意SQL語句獲取敏感數(shù)據(jù)。

針對AI應(yīng)用安全的防御難點，劉洋認為system prompt無法完善約束AI行為。因此，他建議在AI權(quán)限調(diào)用方面加強控制，不要把敏感信息給到AI，或者將敏感信息的AI私有化。同時，可以像傳統(tǒng)web一樣加一層wap進行防護。此外，訓(xùn)練的敏感信息的AI盡量在內(nèi)網(wǎng)使用。

劉洋還提到，在傳統(tǒng)安全中有很多掃描器可以用于漏洞掃描。他認為在AI應(yīng)用中也應(yīng)該出現(xiàn)這樣的掃描器。

他們正在開發(fā)的AI應(yīng)用層面的挖掘工具就具有這樣的功能。該工具分為兩個板塊：一個是模型生成內(nèi)容的漏洞挖掘板塊，通過自動化爬取收集網(wǎng)上的prompt案例并生成測試集對被測LM進行測試；另一個是LM框架漏洞挖掘板塊，通過收集框架指紋和nday構(gòu)建漏洞庫對目標系統(tǒng)進行指紋識別和漏洞測試。

最后，劉洋對未來AI應(yīng)用安全的發(fā)展進行了展望。他認為未來會出現(xiàn)許多關(guān)于AI應(yīng)用安全的SRC平臺促進行業(yè)內(nèi)外人員的學(xué)習(xí)交流。同時，遵循TOP10案例和安全建議可以緩解AI應(yīng)用的安全問題并推動行業(yè)規(guī)范的發(fā)展。

主題五：

ML/AI安全可觀測性框架

bayuncao

ChaMD5安全團隊AI組負責(zé)人

寧宇輝首先提到，他在2024年取得了一些大模型安全漏洞挖掘的成果，主要是關(guān)于RCE為目標的反序列化漏洞。他注意到業(yè)界在模型加載過程中的安全監(jiān)控存在缺失，因此利用春節(jié)期間開發(fā)了這個項目。

寧宇輝解釋了Ltrack項目的背景。他提到，模型生產(chǎn)行業(yè)已有一些標準，如NST的AI管理框架，但截至2024年底，大部分安全事件仍源于模型加載文件時的安全監(jiān)控缺失。

他列舉了幾個案例，如隱蔽性威脅、惡意的依賴項攻擊、預(yù)訓(xùn)練數(shù)據(jù)集中的惡意投毒等。傳統(tǒng)的監(jiān)控工具無法感知機器學(xué)習(xí)上下文，導(dǎo)致一些問題難以被及時發(fā)現(xiàn)。此外，合規(guī)審計方面缺乏細粒度的日志，也給安全管理帶來了挑戰(zhàn)。

針對這些問題，寧宇輝提出了Ltrack項目。他介紹了Ltrack的核心優(yōu)勢，即使用EPBF技術(shù)降低動態(tài)監(jiān)測的成本，并實現(xiàn)了對宿主機、其他容器以及未來K8S集群的監(jiān)控。

Ltrack主要關(guān)注三大攻擊面：模型文件層、執(zhí)行層和網(wǎng)絡(luò)層。在模型文件層，Ltrack監(jiān)控模型文件加載時的inode變化和哈希值，關(guān)聯(lián)進程容器的上下文，實現(xiàn)監(jiān)測告警。在執(zhí)行層，它hook動態(tài)鏈接庫的核心事件，重點監(jiān)控非白名單的依賴行為。在網(wǎng)絡(luò)層，Ltrack監(jiān)控敏感文件的系統(tǒng)調(diào)用，關(guān)聯(lián)敏感網(wǎng)絡(luò)行為。

寧宇輝還介紹了Ltrack的整體架構(gòu)。它分為多層，包括使用EPBF處理系統(tǒng)調(diào)用、使用Golang在用戶空間捕獲協(xié)議、三個監(jiān)控器分別對應(yīng)文件系統(tǒng)調(diào)用、執(zhí)行和網(wǎng)絡(luò)事件、自定義方式輸出日志到特定文件或位置，以及高度自定義的配置文件。

Ltrack的威脅引擎工作流包括事件采集、規(guī)則匹配和依賴鏈分析。他提到，下一步的開發(fā)工作將包括將CVSS4.0威脅評分內(nèi)置到Ltrack中，為自動阻斷提供依據(jù)。

寧宇輝強調(diào)了Ltrack的特色，即實現(xiàn)了零侵入的監(jiān)測。它可以以二進制、容器或service mesh的方式集成到微調(diào)過程或分布式推理過程中，提供輔助的監(jiān)測和告警。

他還提到了未來的開發(fā)工作，包括將日志輸出以輕量級方式集成到現(xiàn)有產(chǎn)線中，以及覆蓋容器、GPU內(nèi)存泄露、GPU濫用和挖礦檢測等行為。

最后，寧宇輝邀請在座的師傅參與到Ltrack項目的共建中，共同推動項目的二次開發(fā)和后續(xù)迭代。

圓桌對話：

大模型時代網(wǎng)絡(luò)安全人才發(fā)展機遇與挑戰(zhàn)

特邀嘉賓：

高海昌：西安電子科技大學(xué)博士生導(dǎo)師、西安市智能系統(tǒng)安全重點實驗室主任、陜西省計算機學(xué)會網(wǎng)絡(luò)空間安全專委會副秘書長

李濱：騰訊云安全策略&攻防專家

李鑫：騰訊云鼎實驗室攻防負責(zé)人

高東：綠盟科技M01N戰(zhàn)隊負責(zé)人、LLM&SEC Landscape社區(qū)發(fā)起人

在圓桌對話環(huán)節(jié)，四位嘉賓共同參與了一場關(guān)于人工智能（AI）發(fā)展趨勢、教育培養(yǎng)、工業(yè)應(yīng)用及倫理監(jiān)管的深度討論。

對話首先聚焦于AI教育在高校中的現(xiàn)狀與挑戰(zhàn)。高海昌以西安電子科技大學(xué)為例，分享了學(xué)校在更新課程體系以響應(yīng)AI時代需求方面的努力。

高海昌指出，學(xué)校不僅引入了如OpenHarmony和openGauss等國產(chǎn)技術(shù)，以響應(yīng)國家號召并增強學(xué)生未來的社會融入度，同時也保留了如高等數(shù)學(xué)、大學(xué)物理等基礎(chǔ)學(xué)科，為學(xué)生打下堅實的理論基礎(chǔ)。

然而，高海昌也坦言，學(xué)校在培養(yǎng)學(xué)生的實戰(zhàn)能力方面尚有欠缺，需要與頭部企業(yè)合作，共同縮短學(xué)生從理論到實戰(zhàn)的周期。

隨后，話題轉(zhuǎn)向了AI人才的工業(yè)界需求與培養(yǎng)。李濱提出了兩個重要觀點：一是AI的理解和應(yīng)用能力將成為每個人的基本素質(zhì)；二是隨著AI技術(shù)迭代速度的加快，個人需具備扎實的底層技術(shù)理解和頂層抽象建模能力，以適應(yīng)快速變化的技術(shù)環(huán)境。

李濱強調(diào)，中間層面的技能性工作將很快被AI取代，而人的獨特優(yōu)勢在于對世界的理解和抽象建模能力。

在討論到AI技術(shù)在工業(yè)界的應(yīng)用時，李鑫認為，當(dāng)前AI技術(shù)仍處于發(fā)散和碎片化的狀態(tài)，不利于產(chǎn)品化。他提出，應(yīng)從客戶需求出發(fā)，結(jié)合業(yè)務(wù)找到切入點，進行頂層架構(gòu)設(shè)計，將有價值的能力引入產(chǎn)品，而非盲目跟風(fēng)。

李鑫特別指出，AI對個人賦能的重要性，提倡學(xué)會“給AI打工”和“讓AI給自己打工”，即利用AI輔助思考和決策，同時提高駕馭AI的能力。

面對AI可能帶來的安全挑戰(zhàn)，特別是在生物信息詐騙等領(lǐng)域，高東表達了他的擔(dān)憂。他通過實際案例說明了AI在惡意應(yīng)用中的潛力，并強調(diào)了對AI技術(shù)進行監(jiān)管和學(xué)習(xí)的必要性。

高東認為，雖然AI自動化滲透目前離實戰(zhàn)化還有一定距離，但在攻防常態(tài)化的發(fā)展趨勢下，其未來參與實戰(zhàn)的可能性不容忽視。

在倫理監(jiān)管方面，高海昌強調(diào)了AI監(jiān)管的急迫性，特別是在生物信息泄露與偽造問題日益嚴重的背景下。他提到，國家已意識到這一問題并開始推動相關(guān)法規(guī)和標準的制定。

李濱補充了全球范圍內(nèi)AI監(jiān)管的進展，指出中國在這方面處于領(lǐng)先地位。

李鑫則從個人角度出發(fā)，認為除了法律監(jiān)管外，提高個人的信息免疫能力同樣重要，倡導(dǎo)擺脫二元對立的思維方式，理性看待AI帶來的影響。

最后，高東從技術(shù)人員的角度提出了在監(jiān)管合規(guī)方面的作用。他認為，技術(shù)人員可以從威脅建模和實戰(zhàn)角度出發(fā)，為規(guī)范的制定提供建議，并在規(guī)范落地后參與評估驗證，持續(xù)提升AI體系的安全性。

整個對話在輕松而深入的氛圍中結(jié)束，各位嘉賓的觀點相互補充，共同勾勒出了AI領(lǐng)域的現(xiàn)狀與未來圖景。主持人對嘉賓的分享表示感謝，并期待未來能有更多的交流與合作，共同推動中國AI產(chǎn)業(yè)的健康發(fā)展。