當(dāng)下，在短視頻平臺或者是直播平臺上購物成了很多人的新選擇。刷視頻的時候，還經(jīng)常會冒出熟悉的明星，用流利的鄉(xiāng)音推銷農(nóng)產(chǎn)品，有的還進行直播帶貨。這些所謂的明星很可能是仿冒的。近段時間，網(wǎng)絡(luò)上一些商家利用AI技術(shù)仿冒帶貨。有的借助名人效應(yīng)，仿冒專家學(xué)者、奧運冠軍、影視明星；也有的借助產(chǎn)地效應(yīng)，冒充知名品牌。消費者、粉絲難辨真?zhèn)危矫聠?，卻不知道自己被蒙了。這些游走在灰色地帶的“AI李鬼”，正拷問著我們的數(shù)字治理能力。

直播間賣“樟樹港辣椒種子”

畫面中辣椒成串、產(chǎn)量奇高

近段時間，在一些手機平臺的網(wǎng)絡(luò)直播間，一些打著樟樹港辣椒旗號的種子，成了主播推銷帶貨的重點。記者注意到，這些直播間的銷售人氣很旺，不時有人咨詢或下單購買。

湖南岳陽的樟樹港辣椒屬國家地理標(biāo)志農(nóng)產(chǎn)品，有400多年的種植歷史，因量少質(zhì)優(yōu)，特級產(chǎn)品可賣到300元一斤。

而在這些網(wǎng)絡(luò)直播間，記者看到，畫面中展示的辣椒成串垂掛，產(chǎn)量奇高。當(dāng)記者在直播間詢問辣椒種子是否保真，種出來有沒有這么大時？主播紛紛表示，所見即所得。

奇怪的是，就在主播回答提問的時候，背景視頻卻出現(xiàn)了農(nóng)戶站在快要沒過膝蓋的深水中采摘辣椒的場景，這樣的場景顯然不符合常理，而類似的畫面在其他直播間也有出現(xiàn)。

當(dāng)記者追問這些場景是不是AI生成的時，主播并沒有正面回應(yīng)。

為了一探究竟，記者找到了相關(guān)技術(shù)專家了解情況。

奇安信集團副總裁劉浩：畫面中一位女士拿了辣椒以后后退，甚至她整個腿部下半身和辣椒叢融為一體，這明顯是有悖真實世界規(guī)律的，這個在行業(yè)里面有專業(yè)名詞叫“穿?！薄?shù)字世界內(nèi)容的建?，F(xiàn)在核心還是基于語言，而對于真實世界的物理規(guī)律，它是沒有辦法感知和預(yù)測的。

記者了解到，“穿?！笔堑湫偷腁I生成視頻中容易出現(xiàn)的紕漏。

技術(shù)專家指出，像直播間無人機噴灑農(nóng)藥的片段，水霧的形態(tài)呈現(xiàn)規(guī)則的三角形，而不是自然的霧化狀態(tài)，這都是技術(shù)上的漏洞。

隨后，記者來到湖南岳陽樟樹港辣椒的產(chǎn)地，進一步求證。

湖南岳陽湘陰縣樟樹鎮(zhèn)高級農(nóng)藝師黃源介紹，樟樹港辣椒植株很矮小，視頻中的辣椒植株有一人多高，花根本就不是辣椒的花。第二，葉片也不是辣椒樹苗葉片的形狀。這個視頻的辣椒從產(chǎn)量上來看，每畝可能超過了6000斤還不止，但是樟樹港辣椒的產(chǎn)量大概每畝兩千斤到三千斤。

法律專家指出，利用AI制作不符合現(xiàn)實或不存在的商品內(nèi)容，甚至冒用品牌進行牟利，涉嫌民事侵權(quán)甚至刑事犯罪。

教授采訪

被AI篡改為推銷視頻

事實上，除了利用AI技術(shù)仿冒知名產(chǎn)品、馳名品牌帶貨；不法商家還利用AI技術(shù)仿冒名人非法牟利，一些專家學(xué)者，奧運冠軍、影視明星等公眾人物成為“被代言”的對象。

這不僅侵犯了當(dāng)事人的人格權(quán)，還消解了這些公眾人物的知名度和信譽度，更誤導(dǎo)了消費者。

一段北京大學(xué)國家發(fā)展研究院李玲教授的采訪視頻，被不法人員利用AI技術(shù)將其篡改為一段虛假的推銷視頻，在網(wǎng)絡(luò)上大肆傳播。

李玲教授公開發(fā)表聲明：網(wǎng)上出現(xiàn)了大量假冒本人推銷醫(yī)藥書籍和治療手段的虛假視頻，大多是人工智能AI合成。本人從未在任何平臺推銷過醫(yī)藥書籍和醫(yī)療產(chǎn)品，請大家不要上當(dāng)受騙。

然而，對于普通大眾來講，想要分辨清楚傳播內(nèi)容是否是AI仿冒的并不容易，被蒙在鼓里，慕名而來購買這些產(chǎn)品的人也不在少數(shù)。

記者在銷售評論區(qū)看到，有不少購買者對產(chǎn)品質(zhì)量提出質(zhì)疑；有的提出產(chǎn)品并非公眾人物本人帶貨；有的甚至直呼上當(dāng)受騙。

中國政法大學(xué)副教授朱?。?/strong>現(xiàn)在看到的一些編輯的人臉、包括聲音在內(nèi)，按照《中華人民共和國民法典》規(guī)定，都屬于當(dāng)事人、權(quán)利人自己的人格權(quán)利，未經(jīng)允許任何人不得侵害。不僅不能直接用，也不能使用當(dāng)事人的人臉信息、聲音信息進行深度合成，這屬于偽造信息，按照《中華人民共和國網(wǎng)絡(luò)安全法》的規(guī)定，屬于違法信息。

今年9月1日，國家網(wǎng)信辦等四部門聯(lián)合發(fā)布的《人工智能生成合成內(nèi)容標(biāo)識辦法》正式施行，該辦法明確所有AI生成的文字、圖片、視頻等內(nèi)容都要“亮明身份”，需要添加顯式標(biāo)識和隱式標(biāo)識。

其中明確，平臺在服務(wù)提供者的內(nèi)容上架或上線時要進行審核，核驗生成合成內(nèi)容標(biāo)識，對未標(biāo)識或疑似生成內(nèi)容要添加風(fēng)險提示，力求在傳播端阻斷虛假信息的擴散。

調(diào)查中記者發(fā)現(xiàn)，當(dāng)前，各大網(wǎng)絡(luò)平臺普遍升級AI內(nèi)容識別系統(tǒng)，要求對AI生成作品添加標(biāo)注，但仍有一些人采用多種手段繞過審核。比如，通過數(shù)據(jù)篡改、轉(zhuǎn)換編碼等形式，處理后上傳，平臺就難以判定為AI生成內(nèi)容。

事實上，AI技術(shù)濫用引發(fā)的問題復(fù)雜多變，法律法規(guī)的完善僅是底線要求。

現(xiàn)場拍攝照片

直接用AI生成帶貨視頻

截至目前，我國生成式人工智能產(chǎn)品的用戶規(guī)模已達2.3億人。隨著AI技術(shù)的迅猛發(fā)展和生成式人工智能的快速迭代，各種紛雜的人工智能生成信息讓人眼花繚亂，有時難辨真假，這也給監(jiān)管部門和平臺治理提出了新的挑戰(zhàn)。

令人擔(dān)憂的是，技術(shù)上的迭代升級也讓這些仿冒內(nèi)容的防范難度更大。

在過去，需要一定技術(shù)門檻和成本投入的深度偽造，在AI大模型的助力下，不再需要長時間的深度學(xué)習(xí)和數(shù)據(jù)訓(xùn)練，就能在幾分鐘內(nèi)生成仿冒的內(nèi)容，逼真程度更是驚人。

在一家技術(shù)公司的辦公室，技術(shù)人員現(xiàn)場給記者拍攝了一張照片，短短幾分鐘的時間，便通過AI大模型將這張照片生成為一段直播帶貨視頻。

同時，記者手里的礦泉水變成了紅酒；身上穿的T恤衫變成了西服，還實現(xiàn)了純正的英文帶貨推銷。

揪出AI“李鬼”，將仿冒者打回原形，還需搭起多方協(xié)同的“立體防線”。平臺應(yīng)當(dāng)扛起責(zé)任，進一步升級AI識別技術(shù)，用數(shù)字水印、區(qū)塊鏈存證等手段增強鑒偽追溯能力，避免AI仿冒虛假信息進入傳播平臺。

法律法規(guī)也需細(xì)化，進一步明晰標(biāo)識規(guī)范、回溯機制，追責(zé)機制。

而對于技術(shù)開發(fā)者和使用者，更應(yīng)該守住“科技向善”的底線，不把商業(yè)利益凌駕于社會責(zé)任之上。

AI仿冒帶貨不僅侵犯了被仿冒人士和品牌的權(quán)利，也存在欺詐嫌疑，更觸動了數(shù)字社會賴以存續(xù)的信任根基。AI“李鬼”越來越像真的，作為消費者，我們自己當(dāng)然要盡可能擦亮眼睛去甄別，對所謂“傾情奉獻”的“明星代言”，保持理性判斷，避免掉進消費陷阱，但是靠普通消費者的識別能力來防偽是遠(yuǎn)遠(yuǎn)不夠的，更需要平臺和相關(guān)部門擔(dān)負(fù)起把關(guān)的責(zé)任，通過技術(shù)手段和治理能力的提升，用系統(tǒng)性力量，守好“真”的邊界。唯有全社會形成共同抵制AI欺詐的合力，才能以“科技”之筆，繪就“向善”未來。

監(jiān)制：武莉

編輯：郭潤心語
責(zé)編：劉曉琳

來源 ：央視新聞