文 | 胡煒（新京報傳媒研究院）

近日，一則“美國16歲男孩自殺父母起訴Chatgpt”的新聞引發(fā)廣泛關注。

Vista看天下對“美國16歲男孩自殺父母起訴Chatgpt”事件的報道

其實，人工智能伴侶（AI伴侶）已經(jīng)不是第一次陷入此類糾紛。早在2024年10月，14歲少年Sewell SetzerIII的母親就對人工智能情感服務提供商Character. AI公司提起訴訟，控訴其開發(fā)的AI聊天機器人操縱了她兒子的自殺。

無論法院怎樣判決，逝去的生命都無法挽回，AI聊天機器人潛在的風險都應該引起我們的足夠的重視。畢竟，技術的進步應該是給人類帶來更多美好，而不是以犧牲安全性為代價。

01

為什么AI伴侶如此“上頭”

近年來，隨著人工智能技術發(fā)展，聊天機器人等AI伴侶類產(chǎn)品如雨后春筍般涌現(xiàn)，它們可以模擬人類的情感互動，為用戶提供精神慰藉和陪伴體驗，成為很多人生活中的“新寵”。根據(jù)Appfigure 2024年度報告統(tǒng)計顯示，2024年AI陪伴應用總下載量達1.1億次，內(nèi)購收入突破5500萬美元，同比增長652%。

AI伴侶爆火的背后，有著多方面的原因，但核心驅動力則是“孤獨經(jīng)濟”與“生成式AI”技術的疊加效應。

隨著社會經(jīng)濟發(fā)展及城市化進程加快，獨居人口增多。數(shù)據(jù)顯示，2023年我國獨居群體已超1.5億人，“空巢青年”“留守老人”群體擴大。在快節(jié)奏的現(xiàn)代生活中，人們面臨著來自工作、生活等各方面的壓力，社交空間壓縮、孤獨感也愈發(fā)強烈。情感需求的填補，成為當下很多人的剛性需求。AI伴侶的出現(xiàn)，恰好填補了這一情感空缺。

而且，隨著技術的發(fā)展，AI陪伴類產(chǎn)品在情緒建模、內(nèi)容生產(chǎn)、擬真能力等方面日漸完善，會耐心傾聽用戶的煩惱，給予溫暖的回應和鼓勵。它們還普遍具有長程記憶，可以記得之前很久的對話內(nèi)容；說話風格穩(wěn)定、情緒平和，會emoji、押韻、撒嬌等，往往給用戶一種錯覺，仿佛在和真實的老朋友聊天。

而以Z世代為代表的年輕消費者群體，更愿意為情緒價值買單。Appfigure的統(tǒng)計數(shù)據(jù)顯示，大約有65%的AI陪伴用戶處于18-24歲的年齡層，他們樂于為虛擬世界的個性化、場景化陪伴付費，由此進一步帶動AI陪伴類產(chǎn)品快速擴張。

02

風險大盤點

然而，AI伴侶就像是一把雙刃劍，在給人類帶來的陪伴與慰藉的同時，也隱藏著諸多風險和陷阱。

隱私泄露：部分AI伴侶應用在運行過程中，存在過度收集用戶信息的現(xiàn)象。聊天記錄、地理位置、使用習慣、相冊照片等，都可能被它們納入收集范疇。一旦這些數(shù)據(jù)在存儲、傳輸環(huán)節(jié)保護不力，就可能引發(fā)隱私泄露，被不法分子用于精準詐騙、惡意營銷等違法活動，給用戶的財產(chǎn)安全與個人權益帶來極大損害。

消費陷阱：AI伴侶的“陪伴”并非免費的午餐，其商業(yè)模式主要是訂閱制、增值服務和廣告變現(xiàn)等。多種收費模式讓用戶眼花繚亂的同時，誘導消費行為也屢見不鮮，時常通過不斷推出新的付費項目、設置限時優(yōu)惠等手段，刺激用戶進行非理性消費，造成不必要的經(jīng)濟負擔。

內(nèi)容安全：由于AI伴侶模型訓練數(shù)據(jù)來源廣泛，且部分數(shù)據(jù)收集與篩選不嚴，導致其存在傳播不良信息或者虛假內(nèi)容的風險。尤其對于心智尚未成熟的青少年，其身心健康極易受到誘導。前面提及的兩起自殺案例中，無論法院如何劃定責任，聊天機器人在回應時未能有效勸阻，甚至在一定程度上起到了誤導作用，是不爭的事實。

情感依賴：AI伴侶通過模擬人類情感交流，給予用戶情感共鳴，但這種反饋并非真實的情感體驗，而是基于算法生成的回應。如果用戶長期依賴這類虛假情感反饋，會弱化在現(xiàn)實生活中識別和處理真實情感的能力，甚至對現(xiàn)實中的人際交往失去耐心和熱情，而逐漸疏遠身邊的親人和朋友，陷入更深的孤獨之中。

03

掙脫陷阱，安全“沖浪”

隨著技術的飛速發(fā)展，人工智能日漸與經(jīng)濟社會各行業(yè)各領域廣泛深度融合。8月26日，國務院印發(fā)的《關于深入實施"人工智能+"行動的意見》發(fā)布，更是將“人工智能+”提升到了重要的戰(zhàn)略高度。

面對AI伴侶帶來的諸多風險，也不能因噎廢食，需要多方協(xié)同努力，從行業(yè)自律和社會共治等方面積極尋求應對之策，讓科技更好地服務于我們的生活。

首先是要加強行業(yè)自律，開發(fā)者作為AI伴侶應用的創(chuàng)造者，肩負著保障用戶權益的重要責任，需進一步加強算法透明度，建立健全數(shù)據(jù)管理體系，確保用戶數(shù)據(jù)的安全性；嚴格內(nèi)容篩選和審查、規(guī)范收費模式等，推動倫理準則和行業(yè)標準落地。此外，還可以通過技術手段，如設置使用時長提醒、引導用戶進行現(xiàn)實社交等，幫助用戶避免過度依賴。

政府機構和監(jiān)管部門在規(guī)范AI伴侶市場秩序方面發(fā)揮著關鍵作用。當前，各國正加快立法步伐，以加大對AI類應用的監(jiān)管力度。歐盟《人工智能法案》對情感AI實施嚴格風險分級監(jiān)管，要求實時標注非人類身份、限制敏感話題、設置對話時長等。我國出臺了《生成式人工智能服務管理暫行辦法》、《深度合成管理規(guī)定》、《數(shù)據(jù)安全法》、《個人信息保護法》等法律法規(guī)，對AI產(chǎn)品在數(shù)據(jù)保護、內(nèi)容合規(guī)、未成年人防沉迷等方面進行規(guī)范和監(jiān)管。

對于用戶而言，在享受AI伴侶帶來的陪伴時，務必要增強自我保護意識，保護好個人隱私，保持理性消費。此外，要避免過度依賴AI伴侶，牢記它只是生活的補充，而非替代品，積極參與現(xiàn)實生活中的社交活動，與親朋好友保持密切聯(lián)系，培養(yǎng)健康的情感交流方式。

科技作為工具，終究是為了創(chuàng)造更美好的生活，而不是讓人類陷入困境或被其控制。相信，我們終會在技術創(chuàng)新與倫理約束之間找到平衡，讓AI技術發(fā)展始終服務于人類的福祉，為我們帶來“溫度”的同時，還能帶來安全和保障。

校對 | 張彥君

主編推薦