日前，保時(shí)捷女銷冠被AI合成不雅視頻一事登上微博熱搜，引發(fā)廣泛關(guān)注。

10月10日，兩次成為年度銷冠、今年拿下半年度銷冠的青島保時(shí)捷中心銷售牟女士，通過社交媒體發(fā)文表示，最近網(wǎng)絡(luò)上出現(xiàn)了大量利用AI技術(shù)惡意合成的虛假視頻和不良視頻，對(duì)她進(jìn)行誹謗和侮辱，導(dǎo)致她的正常生活已受到嚴(yán)重影響。

10月12日，牟女士再度發(fā)聲表示“網(wǎng)絡(luò)不是法外之地”，并曬出青島市公安局李滄分局行政處罰決定書。行政處罰決定書顯示，一丁姓男子在群內(nèi)轉(zhuǎn)發(fā)牟某文照片圖文并搭配不雅視頻，對(duì)其侮辱，后被查獲。根據(jù)《中華人民共和國(guó)治安管理處罰法》第四十二條第二項(xiàng)之規(guī)定，決定給予行政拘留五日的行政處罰。“相關(guān)案件已正式進(jìn)入司法程序。”牟女士表示。

事實(shí)上，她不是第一個(gè)被AI造假的人，也不會(huì)是最后一個(gè)。

從幾張照片、幾秒音頻，到一段以假亂真的視頻，如今，生成式AI技術(shù)的發(fā)展讓造假幾乎不再需要任何專業(yè)門檻。AI換臉、聲音克隆這些原本服務(wù)于影視制作、數(shù)字人等領(lǐng)域的前沿工具，正被推向色情、詐騙等黑灰色地帶。

在這種情況下，真相該如何追上算法？

圖源：抖音@青島保時(shí)捷中心molly

幾分鐘，就能復(fù)制一個(gè)你

據(jù)牟女士所述，網(wǎng)絡(luò)上流傳的利用AI技術(shù)惡意合成的誹謗視頻，已給其生活帶來諸多困擾。她在社交媒體平臺(tái)上曬出的聊天截圖顯示，有多人在咨詢購車時(shí)，提到看過她的視頻，并對(duì)其進(jìn)行言語騷擾。

牟女士的遭遇背后，指向的是一個(gè)更廣泛的問題——隨著AI的快速發(fā)展與普及，深度偽造（Deepfake）技術(shù)的門檻正在不斷降低，這也醞釀了更多的侵權(quán)行為乃至犯罪。

技術(shù)的門檻已降到多低？

以AI換臉為例，最高人民檢察院（以下簡(jiǎn)稱“最高檢”）資料顯示，隨著技術(shù)普及，許多手機(jī)應(yīng)用或在線工具都能一鍵生成換臉內(nèi)容，技術(shù)使用門檻大幅降低。

市場(chǎng)上以AI換臉、合成視頻為賣點(diǎn)的應(yīng)用也不斷涌現(xiàn)。在搜索引擎、社交媒體、電商等平臺(tái)上，均能看到諸多此類App、小程序與網(wǎng)站的身影，AI換臉教程和攻略類內(nèi)容也十分常見。

有人工智能從業(yè)者對(duì)中國(guó)新聞周刊表示，基礎(chǔ)的AI換臉操作目前可以說幾乎沒有門檻，普通人也能通過開源模型，或是在軟件、網(wǎng)站等上少量付費(fèi)幾元到幾十元，就能生成幾乎能以假亂真的圖片和視頻，10多秒的視頻只需要幾分鐘即可。如果想要更精細(xì)的定制化服務(wù)，加價(jià)到幾百元，也不難獲得。

愈發(fā)易用化的深度偽造技術(shù)自然有其積極的一面。有出海短劇制作方就曾對(duì)中國(guó)新聞周刊表示，其已經(jīng)與多個(gè)技術(shù)團(tuán)隊(duì)合作，應(yīng)用AI換臉技術(shù)將亞洲臉替換成歐美臉等，以降低成本、提升效率。

但與此同時(shí)，其潛在風(fēng)險(xiǎn)亦不容忽視。

牟女士的遭遇并非孤例。據(jù)北京德恒律師事務(wù)所合伙人、律師吳昕棟介紹，2023年杭州互聯(lián)網(wǎng)法院審理的國(guó)內(nèi)首例AI換臉民事公益訴訟案中，在未取得被編輯人同意的情況下，犯罪分子虞某利用AI換臉軟件，將從互聯(lián)網(wǎng)等渠道收集到的百余人的人臉信息與部分淫穢視頻中的人臉信息進(jìn)行替換合成，制作生成虛假的換臉視頻1200余部，在社交軟件上進(jìn)行傳播；此外，他還為他人提供換臉視頻定制服務(wù)，即根據(jù)客戶提供的視頻或照片制作換臉視頻，在網(wǎng)絡(luò)上銷售AI換臉軟件、提供換臉?biāo)夭牟魇谑褂媒坛蹋卜欠ǐ@利6萬余元。經(jīng)審理后，法院認(rèn)定其行為構(gòu)成制作、傳播淫穢物品牟利罪，判處有期徒刑7年3個(gè)月。

去年9月，北京大學(xué)國(guó)家發(fā)展研究院教授李玲發(fā)布聲明表示，網(wǎng)上出現(xiàn)大量假冒其推銷醫(yī)藥書籍和治療手段的虛假視頻，大多是人工智能AI合成，其已報(bào)警，并將積極采取法律行動(dòng)追究策劃、制造、惡意傳播虛假視頻者的法律責(zé)任。

“在案件辦理中，我們發(fā)現(xiàn)此類技術(shù)被用于違法犯罪，并呈現(xiàn)出復(fù)雜化和多樣化的特點(diǎn)，主要表現(xiàn)為侵犯人格權(quán)利、傳播違法內(nèi)容、冒用他人身份等?！弊罡邫z經(jīng)濟(jì)犯罪檢察廳副廳長(zhǎng)張建忠曾對(duì)《人民檢察》總結(jié)，可能涉及的罪行包括通過偽造視頻或身份實(shí)施詐騙、利用偽造視頻散布虛假信息涉嫌誹謗、利用AI換臉技術(shù)制作及傳播淫穢內(nèi)容、制作虛假信息引發(fā)公眾恐慌或擾亂社會(huì)秩序等。

換言之，利益驅(qū)動(dòng)下，技術(shù)被更輕易地納入黑灰產(chǎn)業(yè)鏈，成為“幫兇”。

風(fēng)險(xiǎn)如何防范

深度偽造技術(shù)浪潮下，受害者的維權(quán)并不容易。

北京云亭律師事務(wù)所律師王瓊對(duì)中國(guó)新聞周刊表示，維權(quán)障礙首先在于AI生成內(nèi)容可通過多平臺(tái)快速裂變傳播，且制作者常使用匿名賬號(hào)，追責(zé)鏈條長(zhǎng)；其次，技術(shù)溯源困難，需要通過視頻生成時(shí)間、技術(shù)水印等電子數(shù)據(jù)鑒定證明侵權(quán)事實(shí)；此外，可能存在部分平臺(tái)以技術(shù)中立為由推諉，未及時(shí)提供后臺(tái)數(shù)據(jù)。

吳昕棟補(bǔ)充指出，取證是受害者維權(quán)的“死結(jié)”：一方面，深度偽造視頻的面部匹配度可達(dá)90%以上，但全國(guó)具備資質(zhì)的鑒定機(jī)構(gòu)數(shù)量非常少，排隊(duì)及鑒定周期較長(zhǎng)；另一方面，AI虛假內(nèi)容常通過境外服務(wù)器、加密群聊傳播，存在跨境取證的制度障礙，跨境取證周期長(zhǎng)，導(dǎo)致原始文件極易滅失，很難固定關(guān)鍵證據(jù)。

“現(xiàn)行法律框架能對(duì)AI虛假視頻的受害人提供基礎(chǔ)保護(hù)，但面對(duì)AI技術(shù)特性，短板比較明顯，比如對(duì)深度偽造的認(rèn)定、跨平臺(tái)責(zé)任劃分，存在法律方面的空白。同時(shí)，對(duì)跨境的暗網(wǎng)黑產(chǎn)，仍缺乏有效和常態(tài)化跨境執(zhí)法機(jī)制?！眳顷織澅硎?。

這也就導(dǎo)致了受害者一邊承受著無法完全自證清白、被污名化之下的極大心理壓力，另一邊又要面對(duì)較高的維權(quán)成本。

從監(jiān)管層面上看，我國(guó)為確保AI平衡發(fā)展和安全應(yīng)用出臺(tái)的一系列法律法規(guī)，具有擴(kuò)大此類事件前置防范窗口的作用。

其中，近年來《互聯(lián)網(wǎng)信息服務(wù)深度合成管理規(guī)定》《生成式人工智能服務(wù)管理暫行辦法》《人工智能生成合成內(nèi)容標(biāo)識(shí)辦法》（以下簡(jiǎn)稱《標(biāo)識(shí)辦法》）的相繼實(shí)施，對(duì)提供AI生成服務(wù)需向網(wǎng)信部門備案、高風(fēng)險(xiǎn)模型需通過算法安全評(píng)估、AI生成內(nèi)容需強(qiáng)制添加顯式和隱式標(biāo)識(shí)等作出規(guī)范要求，進(jìn)一步完善了對(duì)AI的監(jiān)管框架，為防止AI被濫用提供了依據(jù)。

不過具體到落地執(zhí)行層面，挑戰(zhàn)依舊突出。王瓊表示，相關(guān)法律法規(guī)在執(zhí)行中仍面臨三大難點(diǎn)：其一，技術(shù)監(jiān)管不足，現(xiàn)有“水印追溯”“算法指紋”等區(qū)分AI生成內(nèi)容與真人內(nèi)容的技術(shù)尚不成熟，平臺(tái)依賴人工審核成本高；其二，責(zé)任邊界模糊，技術(shù)提供方、內(nèi)容制作者、平臺(tái)方之間的連帶責(zé)任認(rèn)定仍存爭(zhēng)議；其三，地方執(zhí)法能力不均，地方公安機(jī)關(guān)對(duì)AI技術(shù)證據(jù)的認(rèn)定能力參差不齊。

就此王瓊建議，從制度完善的角度看，應(yīng)進(jìn)一步細(xì)化責(zé)任劃分，明確平臺(tái)的“算法審核義務(wù)”，如要求其強(qiáng)制部署內(nèi)容過濾系統(tǒng)；對(duì)技術(shù)提供方設(shè)立“知情免責(zé)”門檻，如必須簽訂用途合規(guī)協(xié)議并監(jiān)控用途。

同時(shí)，在取證與救濟(jì)層面，應(yīng)推動(dòng)AI生成內(nèi)容可追溯技術(shù)應(yīng)用，如采用區(qū)塊鏈存證，并在“電子數(shù)據(jù)取證規(guī)范”中單列章節(jié)，明確AI生成內(nèi)容的證據(jù)效力；針對(duì)受害者維權(quán)的滯后性，可建立“一鍵刪除”投訴通道，要求平臺(tái)在48小時(shí)內(nèi)響應(yīng)，并探索“行為禁令”機(jī)制，在訴訟前即強(qiáng)制下架侵權(quán)內(nèi)容，減少二次傳播風(fēng)險(xiǎn)。

吳昕棟則指出，未來AI生成內(nèi)容監(jiān)管的關(guān)鍵在于全鏈條標(biāo)識(shí)溯源體系的真正落地。他認(rèn)為，當(dāng)前雖已有《標(biāo)識(shí)辦法》和配套強(qiáng)制性國(guó)家標(biāo)準(zhǔn)，但中小平臺(tái)可能出于成本壓力考慮，規(guī)避合規(guī)，致隱式標(biāo)識(shí)技術(shù)不統(tǒng)一導(dǎo)致溯源斷裂。

“需建立國(guó)家級(jí)監(jiān)測(cè)平臺(tái)，強(qiáng)制嵌入統(tǒng)一數(shù)字水印，對(duì)惡意篡改標(biāo)識(shí)行為處以高額罰款，避免‘象征性處罰’難以形成震懾?！彼ㄗh道。

歸根結(jié)底，想要在保護(hù)創(chuàng)新的同時(shí)防范風(fēng)險(xiǎn)，保障受害者權(quán)益，遏制技術(shù)在黑灰產(chǎn)業(yè)鏈蔓延，只有依靠制度、技術(shù)和司法的協(xié)調(diào)推進(jìn)才能得以實(shí)現(xiàn)。

而這還需要時(shí)間。

作者：石晗旭

編輯：余源