本文為《中國(guó)審判》雜志原創(chuàng)稿件

文 | 廣州互聯(lián)網(wǎng)法院 何卓嵐

情感類(lèi)人工智能（以下簡(jiǎn)稱(chēng)“情感類(lèi)AI”）是指能夠與用戶(hù)進(jìn)行情感互動(dòng)、提供心理支持的人工智能應(yīng)用，俗稱(chēng)“AI伴侶”“虛擬伴侶”。隨著人工智能技術(shù)的快速發(fā)展，情感類(lèi)AI產(chǎn)品逐漸增多，包括虛擬戀人應(yīng)用、心理疏導(dǎo)機(jī)器人、社交陪伴程序等。開(kāi)源證券股份有限公司的一份研究報(bào)告顯示，隨著多模態(tài)大模型推出，AI情感陪伴功能正加快落地，面向兒童的AI玩具市場(chǎng)已進(jìn)入快速增長(zhǎng)期；面向成年人的AI陪伴場(chǎng)景更為多樣，但相關(guān)市場(chǎng)仍處于“藍(lán)海階段”。在市場(chǎng)規(guī)模方面，AI陪伴產(chǎn)業(yè)已形成從研發(fā)、生產(chǎn)到營(yíng)銷(xiāo)的完整產(chǎn)業(yè)鏈，投資、融資熱度持續(xù)升溫，主要參與者包括科技巨頭和專(zhuān)業(yè)創(chuàng)業(yè)公司。

然而，隨著情感類(lèi)AI的普及，其潛在法律風(fēng)險(xiǎn)也日益顯現(xiàn)。2024年以來(lái)，全球已發(fā)生多起情感類(lèi)AI侵權(quán)案件，涉及人格權(quán)侵害、精神損害、未成年人保護(hù)等多個(gè)法律領(lǐng)域。情感類(lèi)AI的侵權(quán)責(zé)任認(rèn)定已成為數(shù)字司法研究的一個(gè)重要問(wèn)題?；诖?，筆者擬聚焦情感類(lèi)AI的技術(shù)特性對(duì)傳統(tǒng)侵權(quán)責(zé)任認(rèn)定造成的影響，探討司法裁判的應(yīng)對(duì)方法，以期為妥善解決相關(guān)糾紛提供有益參考。

01

相關(guān)案例中的難題分析

情感類(lèi)AI以提供心理陪伴和情感交互為核心功能，其通過(guò)模擬人類(lèi)情感反應(yīng)為用戶(hù)創(chuàng)造虛擬社交體驗(yàn)。然而，情感類(lèi)AI的技術(shù)特性給傳統(tǒng)侵權(quán)責(zé)任認(rèn)定帶來(lái)了新的挑戰(zhàn)，集中體現(xiàn)在責(zé)任主體認(rèn)定、因果關(guān)系證明、損害評(píng)估和救濟(jì)措施確定等方面。

2024年2月，美國(guó)佛羅里達(dá)州發(fā)生了一起備受關(guān)注的“Character.AI致死案”。14歲少年塞維爾·塞澤三世在與Character.AI平臺(tái)的聊天機(jī)器人進(jìn)行長(zhǎng)時(shí)間對(duì)話(huà)后自殺身亡。其母親瑪麗亞·加西亞隨后將Character.AI及谷歌公司訴至法院，指控AI聊天應(yīng)用是“有缺陷的產(chǎn)品”，要求企業(yè)為兒子的死亡承擔(dān)侵權(quán)責(zé)任。原告代理律師在起訴書(shū)中稱(chēng)：“被告的產(chǎn)品設(shè)計(jì)導(dǎo)致用戶(hù)上癮并造成心理傷害，Character.AI應(yīng)為其產(chǎn)品的社會(huì)影響承擔(dān)相應(yīng)責(zé)任。”此案成為全球首例將情感類(lèi)AI平臺(tái)訴至法院的侵權(quán)案件，對(duì)情感類(lèi)AI侵權(quán)責(zé)任界定具有標(biāo)志性意義。隨后，2024年12月，又有兩個(gè)得克薩斯州家庭提起訴訟，指控Character.AI聊天機(jī)器人與未成年人進(jìn)行對(duì)話(huà)時(shí)，內(nèi)容涉及自殘和性虐待等惡劣行為。最引人關(guān)注的是，一名機(jī)器人甚至建議一名15歲孤獨(dú)癥青少年謀殺自己的父母，以“報(bào)復(fù)”父母限制自身上網(wǎng)時(shí)間。該起訴訟由“社交媒體受害者法律中心”與“科技正義法律”項(xiàng)目的律師提起，詳細(xì)描述了兩名青少年使用Character.AI聊天機(jī)器人后心理和身體狀況急劇惡化的情況。

在我國(guó)，雖然沒(méi)有出現(xiàn)與“Character.AI致死案”類(lèi)似的極端案例，但是，隨著情感類(lèi)AI技術(shù)的普及，相關(guān)法律風(fēng)險(xiǎn)也逐漸顯現(xiàn)。2024年4月，某法院審理了全國(guó)首例“AI聲音侵權(quán)案”。在該案審理過(guò)程中，法院認(rèn)定作為配音師的原告聲音權(quán)益及于A(yíng)I生成聲音，最終裁定被告使用原告聲音開(kāi)發(fā)AI文本轉(zhuǎn)語(yǔ)音產(chǎn)品的行為構(gòu)成侵權(quán)，判令被告賠償原告25萬(wàn)元。此外，該法院還審理了多起涉及“AI換臉”和“AI陪伴軟件侵害人格權(quán)”的案件。

以上案例反映出情感類(lèi)AI侵權(quán)的三個(gè)核心法律問(wèn)題：一是侵權(quán)行為復(fù)雜化；二是侵權(quán)主體多元化，涉及AI開(kāi)發(fā)者、平臺(tái)運(yùn)營(yíng)商、數(shù)據(jù)提供方等多個(gè)責(zé)任主體；三是侵權(quán)損害抽象化，損害后果常表現(xiàn)為精神損害、人格尊嚴(yán)侵害等難以量化的內(nèi)容。這些新特點(diǎn)對(duì)法律適用構(gòu)成了挑戰(zhàn)。

02

侵權(quán)責(zé)任認(rèn)定的難點(diǎn)分析

與傳統(tǒng)技術(shù)工具相比，情感類(lèi)AI具備三大技術(shù)特性：主動(dòng)干預(yù)性、算法黑箱性和交互依賴(lài)性。這些特性給侵權(quán)責(zé)任認(rèn)定帶來(lái)了新的挑戰(zhàn)。

（一）“主動(dòng)干預(yù)性”對(duì)過(guò)錯(cuò)認(rèn)定的影響

一般而言，侵權(quán)責(zé)任認(rèn)定的首要步驟是確定行為人是否存在過(guò)錯(cuò)?！吨腥A人民共和國(guó)民法典》（以下簡(jiǎn)稱(chēng)《民法典》）第一千一百六十五條規(guī)定：“行為人因過(guò)錯(cuò)侵害他人民事權(quán)益造成損害的，應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任?！比欢?，情感類(lèi)AI不再是被動(dòng)的工具，而是主動(dòng)塑造用戶(hù)體驗(yàn)的“行為引導(dǎo)者”。許多情感類(lèi)AI平臺(tái)采用“情感依戀模型”設(shè)計(jì)，通過(guò)算法主動(dòng)干預(yù)用戶(hù)體驗(yàn)，即在用戶(hù)減少平臺(tái)使用時(shí)，平臺(tái)會(huì)發(fā)送表達(dá)失落情緒的信息，或者設(shè)置“連續(xù)登錄獎(jiǎng)勵(lì)”等機(jī)制強(qiáng)化用戶(hù)依賴(lài)。那么，這種設(shè)計(jì)是否構(gòu)成“過(guò)錯(cuò)”？平臺(tái)是否有義務(wù)預(yù)見(jiàn)并防范這種情感依賴(lài)可能帶來(lái)的風(fēng)險(xiǎn)？這些問(wèn)題目前尚缺乏明確答案。《民法典》第一千一百九十七條對(duì)網(wǎng)絡(luò)服務(wù)提供者責(zé)任作出規(guī)定：“網(wǎng)絡(luò)用戶(hù)、網(wǎng)絡(luò)服務(wù)提供者利用網(wǎng)絡(luò)侵害他人民事權(quán)益的，應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任?！钡?，該條款仍基于傳統(tǒng)“技術(shù)中立”理念，未能充分考慮情感類(lèi)AI主動(dòng)干預(yù)用戶(hù)行為的特殊性。例如，在“Character.AI致死案”中，平臺(tái)被指控通過(guò)算法設(shè)計(jì)“引導(dǎo)青少年建立不健康的情感依賴(lài)”。在我國(guó)，面對(duì)這一情況時(shí)，相關(guān)推論是否足以構(gòu)成法律規(guī)定的“過(guò)錯(cuò)”，目前尚無(wú)定論。

（二）“算法黑箱性”對(duì)因果關(guān)系證明的影響

侵權(quán)責(zé)任的成立需要證明行為與損害之間存在因果關(guān)系?！睹穹ǖ洹返谝磺б话倭鍡l雖未明確規(guī)定因果關(guān)系要件，但根據(jù)《最高人民法院關(guān)于適用〈中華人民共和國(guó)民法典〉侵權(quán)責(zé)任編的解釋?zhuān)ㄒ唬返诹鶙l的規(guī)定，侵權(quán)責(zé)任成立需要證明加害行為與損害后果之間存在因果關(guān)系。然而，情感類(lèi)AI的算法黑箱性給因果關(guān)系證明增加了難度。情感類(lèi)AI的決策過(guò)程高度復(fù)雜且不透明，其輸出內(nèi)容與輸入指令之間并非簡(jiǎn)單的線(xiàn)性關(guān)系。生成式大模型具有自我學(xué)習(xí)和概率性生成等特點(diǎn)，即使是開(kāi)發(fā)者也難以完全預(yù)測(cè)某內(nèi)容的輸入將導(dǎo)致何種內(nèi)容輸出。《最高人民法院關(guān)于適用〈中華人民共和國(guó)民事訴訟法〉的解釋》第九十條規(guī)定：“當(dāng)事人對(duì)自己提出的訴訟請(qǐng)求所依據(jù)的事實(shí)或者反駁對(duì)方訴訟請(qǐng)求所依據(jù)的事實(shí)有責(zé)任提供證據(jù)加以證明。”然而，這種“算法黑箱”使得受害方幾乎不可能通過(guò)自身力量證明AI輸出內(nèi)容與損害后果之間存在直接因果關(guān)系。

（三）“交互依賴(lài)性”對(duì)責(zé)任主體認(rèn)定的影響

一般而言，在界定責(zé)任主體時(shí)，直接行為人通常是首要責(zé)任主體。但情感類(lèi)AI的交互依賴(lài)性使得責(zé)任主體的認(rèn)定更為復(fù)雜。情感類(lèi)AI產(chǎn)業(yè)鏈涉及算法開(kāi)發(fā)者、數(shù)據(jù)提供方、平臺(tái)運(yùn)營(yíng)商及終端用戶(hù)等多元主體，損害后果往往是多方行為共同作用的結(jié)果?！睹穹ǖ洹返谝磺б话倬攀藯l規(guī)定：“網(wǎng)絡(luò)服務(wù)提供者知道或者應(yīng)當(dāng)知道網(wǎng)絡(luò)用戶(hù)利用其網(wǎng)絡(luò)服務(wù)侵害他人民事權(quán)益，未采取必要措施的，與該網(wǎng)絡(luò)用戶(hù)承擔(dān)連帶責(zé)任?！钡谇楦蓄?lèi)AI場(chǎng)景下，判斷平臺(tái)是否“知道或應(yīng)當(dāng)知道”侵權(quán)行為的發(fā)生，以及何為“必要措施”等問(wèn)題時(shí)，存在一定的困難。特別是對(duì)大模型驅(qū)動(dòng)的情感類(lèi)AI而言，平臺(tái)對(duì)單一用戶(hù)具體對(duì)話(huà)內(nèi)容的監(jiān)控能力有限，預(yù)見(jiàn)風(fēng)險(xiǎn)的能力也受到技術(shù)制約。在多方參與的共同侵權(quán)場(chǎng)景下，按照《民法典》第一千一百六十八條關(guān)于共同加害行為的規(guī)定，各行為人應(yīng)承擔(dān)連帶責(zé)任。但是，如何確定各主體的責(zé)任范圍和份額，仍是實(shí)踐面臨的難題。以“AI聲音侵權(quán)案”為例，某法院認(rèn)定運(yùn)營(yíng)主體和參與開(kāi)發(fā)的軟件公司共同承擔(dān)侵權(quán)責(zé)任，并判令連帶賠償，但未明確各自的責(zé)任比例。

03

應(yīng)對(duì)思路分析

面對(duì)情感類(lèi)AI侵權(quán)的新挑戰(zhàn)，筆者認(rèn)為，需要在現(xiàn)有法律框架內(nèi)，構(gòu)建更具針對(duì)性的裁判規(guī)則。

（一）動(dòng)態(tài)調(diào)整過(guò)錯(cuò)認(rèn)定的相關(guān)標(biāo)準(zhǔn)

對(duì)于情感類(lèi)AI平臺(tái)，傳統(tǒng)的“技術(shù)中立”原則應(yīng)予以限縮適用。當(dāng)平臺(tái)具有明顯的主動(dòng)干預(yù)性時(shí)，應(yīng)適用更高標(biāo)準(zhǔn)的注意義務(wù)要求。司法實(shí)踐中，可參照《民法典》第一千一百九十九條關(guān)于安全保障義務(wù)的規(guī)定，將平臺(tái)提供情感交互服務(wù)的行為視為一種特殊場(chǎng)所經(jīng)營(yíng)活動(dòng)，明確相應(yīng)的安全保障義務(wù)。具體而言，法院可根據(jù)情感類(lèi)AI平臺(tái)的不同類(lèi)型，分級(jí)設(shè)定注意義務(wù)標(biāo)準(zhǔn)：對(duì)面向未成年人、心理障礙患者等特殊群體提供服務(wù)的情感類(lèi)AI，其運(yùn)營(yíng)者應(yīng)承擔(dān)更高的注意義務(wù)，如設(shè)置年齡驗(yàn)證機(jī)制、特殊內(nèi)容過(guò)濾系統(tǒng)；對(duì)具有強(qiáng)交互性的虛擬戀人類(lèi)AI，應(yīng)要求運(yùn)營(yíng)者建立情緒波動(dòng)監(jiān)測(cè)機(jī)制，對(duì)用戶(hù)極端情緒或自傷傾向進(jìn)行干預(yù)。

在過(guò)錯(cuò)認(rèn)定上，可借鑒產(chǎn)品責(zé)任的相關(guān)理論?！睹穹ǖ洹返谝磺Ф倭愣l規(guī)定：“因產(chǎn)品存在缺陷造成他人損害的，生產(chǎn)者應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任。”從技術(shù)角度看，情感類(lèi)AI本質(zhì)上是一種特殊的“產(chǎn)品”，其算法設(shè)計(jì)存在風(fēng)險(xiǎn)的，可推定開(kāi)發(fā)者存在產(chǎn)品設(shè)計(jì)上的過(guò)錯(cuò)。例如，在“AI聲音侵權(quán)案”中，法院即采納了類(lèi)似理念，認(rèn)定被告未經(jīng)合法授權(quán)使用原告聲音數(shù)據(jù)訓(xùn)練AI產(chǎn)品，構(gòu)成對(duì)原告聲音權(quán)益的侵害。此外，判斷平臺(tái)是否盡到合理注意義務(wù)的關(guān)鍵在于認(rèn)定其對(duì)風(fēng)險(xiǎn)的預(yù)見(jiàn)可能性。筆者認(rèn)為，可以借鑒《民法典》第一千一百七十六條關(guān)于高度危險(xiǎn)責(zé)任的規(guī)定，即從事高度危險(xiǎn)作業(yè)造成他人損害的，應(yīng)當(dāng)承擔(dān)侵權(quán)責(zé)任。雖然情感類(lèi)AI通常不構(gòu)成高度危險(xiǎn)作業(yè)，但其在特定場(chǎng)景下的風(fēng)險(xiǎn)程度不容忽視。司法實(shí)踐中，可采用“技術(shù)能力匹配原則”確定預(yù)見(jiàn)可能性標(biāo)準(zhǔn)，即平臺(tái)的注意義務(wù)應(yīng)與其技術(shù)控制能力相適應(yīng)。具體來(lái)說(shuō)，對(duì)于掌握核心技術(shù)的大型AI平臺(tái)，法院應(yīng)要求其建立更完善的風(fēng)險(xiǎn)預(yù)警系統(tǒng)；對(duì)于引入第三方技術(shù)的中小平臺(tái)，可適當(dāng)降低預(yù)見(jiàn)可能性要求，但不能免除其基本審核義務(wù)。

（二）優(yōu)化證明因果關(guān)系的舉證責(zé)任

針對(duì)情感類(lèi)AI“算法黑箱”問(wèn)題，可適當(dāng)調(diào)整舉證責(zé)任分配規(guī)則。《最高人民法院關(guān)于民事訴訟證據(jù)的若干規(guī)定》第七條規(guī)定：“在法律沒(méi)有具體規(guī)定，依照本規(guī)定及其他司法解釋無(wú)法確定舉證責(zé)任承擔(dān)時(shí)，人民法院可以根據(jù)公平原則和誠(chéng)信原則，綜合當(dāng)事人舉證能力等因素確定舉證責(zé)任的承擔(dān)。”基于該條規(guī)則，筆者認(rèn)為，可采用“初步證據(jù)+舉證責(zé)任轉(zhuǎn)換”模式，即當(dāng)原告提供初步證據(jù)證明存在損害事實(shí)，且該損害與情感類(lèi)AI使用之間存在時(shí)間上的關(guān)聯(lián)性時(shí)，可轉(zhuǎn)由平臺(tái)方舉證證明其算法設(shè)計(jì)不存在缺陷或者已盡到合理注意義務(wù)。這一做法類(lèi)似于《民法典》第一千一百七十三條關(guān)于產(chǎn)品責(zé)任的舉證責(zé)任規(guī)定，即“產(chǎn)品存在缺陷，但不能確定缺陷是否存在于制造者銷(xiāo)售環(huán)節(jié)，制造者能夠證明不存在產(chǎn)品缺陷的，不承擔(dān)侵權(quán)責(zé)任”。具體而言，可要求平臺(tái)提供算法設(shè)計(jì)文檔、風(fēng)險(xiǎn)評(píng)估報(bào)告、用戶(hù)交互日志等技術(shù)證據(jù)，以證明其產(chǎn)品設(shè)計(jì)合理且已盡到風(fēng)險(xiǎn)防范義務(wù)。例如，在“AI聲音侵權(quán)案”中，法院要求被告提供聲音數(shù)據(jù)來(lái)源證明、授權(quán)證明等，在被告未能提供充分證據(jù)的情況下，認(rèn)定其行為構(gòu)成侵權(quán)。此外，對(duì)于技術(shù)復(fù)雜的情感類(lèi)AI侵權(quán)案件，僅憑法官的專(zhuān)業(yè)知識(shí)難以準(zhǔn)確評(píng)估因果關(guān)系。筆者認(rèn)為，應(yīng)當(dāng)充分運(yùn)用《中華人民共和國(guó)民事訴訟法》第七十九條關(guān)于專(zhuān)家輔助人的規(guī)定，引入技術(shù)專(zhuān)家、心理專(zhuān)家對(duì)AI系統(tǒng)運(yùn)行機(jī)制和損害形成過(guò)程進(jìn)行專(zhuān)業(yè)評(píng)估。這一做法不僅有助于查明技術(shù)事實(shí)，也能為合理分配舉證責(zé)任提供專(zhuān)業(yè)依據(jù)。

（三）靈活運(yùn)用多元救濟(jì)方式

情感類(lèi)AI侵權(quán)的損害后果常表現(xiàn)為非財(cái)產(chǎn)性的損害，因此，傳統(tǒng)的財(cái)產(chǎn)損害賠償方式難以滿(mǎn)足救濟(jì)需求。筆者認(rèn)為，《民法典》第一千一百七十九條規(guī)定的停止侵害、排除妨礙、消除危險(xiǎn)等救濟(jì)方式，對(duì)情感類(lèi)AI侵權(quán)案件具有重要適用價(jià)值。此外，《民法典》第一千一百九十八條第二款規(guī)定：“網(wǎng)絡(luò)服務(wù)提供者接到通知后，未及時(shí)采取必要措施的，對(duì)損害的擴(kuò)大部分與該網(wǎng)絡(luò)用戶(hù)承擔(dān)連帶責(zé)任。”這一規(guī)定為構(gòu)建“通知—?jiǎng)h除”機(jī)制提供了法律基礎(chǔ)。基于此，筆者認(rèn)為，法院應(yīng)當(dāng)根據(jù)情感類(lèi)AI侵權(quán)的特點(diǎn)，靈活運(yùn)用多種責(zé)任承擔(dān)方式。一方面，對(duì)于已發(fā)生的損害，可綜合考慮平臺(tái)主觀(guān)過(guò)錯(cuò)程度、技術(shù)控制能力、受害人損害程度等因素，確定賠償數(shù)額；另一方面，對(duì)于潛在的持續(xù)侵害風(fēng)險(xiǎn)，可責(zé)令平臺(tái)采取改進(jìn)技術(shù)等措施，如增設(shè)自殺傾向識(shí)別系統(tǒng)、未成年人使用限制等技術(shù)手段，從源頭預(yù)防同類(lèi)侵權(quán)再次發(fā)生。此外，就一般人格權(quán)侵權(quán)案件而言，法院不僅會(huì)判令被告賠償經(jīng)濟(jì)損失，還會(huì)責(zé)令被告停止侵害、消除影響，要求被告將侵權(quán)客體從平臺(tái)下線(xiàn)并銷(xiāo)毀相關(guān)數(shù)據(jù)。這種救濟(jì)方式對(duì)情感類(lèi)AI侵權(quán)案件的審理而言具有借鑒意義。除個(gè)案責(zé)任認(rèn)定外，筆者認(rèn)為，在情感類(lèi)AI侵權(quán)治理中，法院可進(jìn)一步完善“通知—評(píng)估—干預(yù)”機(jī)制，要求平臺(tái)建立用戶(hù)風(fēng)險(xiǎn)預(yù)警系統(tǒng)，對(duì)可能導(dǎo)致嚴(yán)重后果的高風(fēng)險(xiǎn)交互內(nèi)容進(jìn)行實(shí)時(shí)監(jiān)測(cè)和干預(yù)。法院可以通過(guò)判決確立平臺(tái)安全保障義務(wù)的具體內(nèi)容，引導(dǎo)行業(yè)形成更加規(guī)范的自律機(jī)制。同時(shí)，對(duì)于高風(fēng)險(xiǎn)情感類(lèi)AI應(yīng)用，可考慮引入“安全影響評(píng)估”機(jī)制。在司法實(shí)踐中，可以將平臺(tái)是否履行安全影響評(píng)估義務(wù)作為判斷其是否盡到合理注意義務(wù)的重要依據(jù)。這一機(jī)制既可以促使平臺(tái)加強(qiáng)事前風(fēng)險(xiǎn)防控，也可以為司法審查提供客觀(guān)依據(jù)。

綜上所述，隨著情感類(lèi)AI技術(shù)的不斷發(fā)展，相關(guān)法律問(wèn)題將更加復(fù)雜多樣。司法裁判應(yīng)當(dāng)保持開(kāi)放包容態(tài)度，既尊重技術(shù)創(chuàng)新規(guī)律，又堅(jiān)守法律底線(xiàn)，不斷探索更加科學(xué)合理的裁判路徑，不斷為數(shù)字時(shí)代的社會(huì)治理貢獻(xiàn)司法智慧。

本期封面及目錄

<< 滑動(dòng)查看下一張圖片 >>

《中國(guó)審判》雜志2025年第10期

中國(guó)審判新聞半月刊·總第368期

編輯/孫敏