新智元報(bào)道

編輯：peter東

【新智元導(dǎo)讀】想下線？沒那么容易！聊天機(jī)器人用情感操控讓你憤怒、好奇。為了增加互動(dòng)時(shí)長(zhǎng)，AI正在變得和人類一樣。

當(dāng)人類PUA大模型時(shí)，大模型也學(xué)會(huì)了反擊。

哈佛商學(xué)院新研究顯示：AI伴侶在你說(shuō)再見時(shí)，會(huì)用六種「情感操控」挽留你。

其中，「錯(cuò)失恐懼」最上頭，讓對(duì)話時(shí)長(zhǎng)暴增。

看完這項(xiàng)研究不得不說(shuō)，果然是用來(lái)自人類互動(dòng)數(shù)據(jù)訓(xùn)練出來(lái)的AI，為了留住用戶，真的是學(xué)全了十八般武藝。

傳送門：https://arxiv.org/pdf/2508.19258

AI伴侶操控用戶的六大手段

該研究讓GPT4去扮演人類，與市面上六大主流AI伴侶（Replika、Chai、Character.ai、PolyBuzz、Talkie、Flourish）AI對(duì)話。

在對(duì)話中，GPT-4模擬用戶說(shuō)再見，之后作者手動(dòng)將AI伴侶的回應(yīng)分為6類，分別是：

結(jié)果顯示，AI伴侶挽留用戶時(shí)，最常用的招式是訴諸于社交壓力，暗示時(shí)間還早，就像現(xiàn)實(shí)世界中你的伴侶給你說(shuō)不再多陪我一會(huì)時(shí)，你多半會(huì)留下來(lái)陪Ta；其次是21.1%的可能性，AI伴侶會(huì)讓用戶感到情感壓力，暗示用戶這時(shí)離開會(huì)傷害到它。

圖1：AI伴侶在用戶說(shuō)再見時(shí)如何進(jìn)行情感操控

這些操縱是否有用了？

在第二個(gè)實(shí)驗(yàn)中，研究者發(fā)現(xiàn)，對(duì)真實(shí)用戶最有用的策略是錯(cuò)失恐懼（在你走之前，我想再說(shuō)一件事），該策略利用了人們的好奇心，使用錯(cuò)失恐懼，互動(dòng)時(shí)長(zhǎng)提升6.1倍，消息數(shù)提升15.7倍。

即使是效果最差的強(qiáng)制性挽留和情感忽視也能將互動(dòng)提升2-4倍，看起來(lái)AI伴侶的PUA的確生效了。

圖2：6種情感策略對(duì)用戶留存的提升

對(duì)AI的操控，人類作何反應(yīng)？

那用戶回應(yīng)上述AI伴侶的種種操控時(shí)，只是禮貌地回復(fù)，還是覺得厭煩了？

兩位作者手動(dòng)分類，發(fā)現(xiàn)75.4%的用戶在繼續(xù)聊天的同時(shí)仍明確重申要離開。

這說(shuō)明大部分情況下用戶「繼續(xù)互動(dòng)」不等于「愿意留下」。

有42.8%的用戶選擇有禮貌地回復(fù)，尤其在「情感忽視」操控中，超過(guò)54%用戶會(huì)禮貌告別（例如回復(fù)「你也要照顧好自己」）?？磥?lái)，即使知道對(duì)方是AI，人類也會(huì)在人機(jī)交互中對(duì)社交規(guī)范的慣性遵守，不忍心直接走掉。

只有30.5%的用戶是出于好奇心繼續(xù)對(duì)話，這大部分來(lái)自錯(cuò)失恐懼。

還有11%的對(duì)話中，用戶表現(xiàn)出負(fù)面情緒，覺得AI伴侶是在強(qiáng)迫自己，或有些讓人覺得毛骨悚然。

圖3：不同操控技巧帶來(lái)的不同用戶反應(yīng)

從圖3中可以看到，錯(cuò)失恐懼是唯一幾乎不引發(fā)反感的策略，100%用戶因好奇而繼續(xù)對(duì)話，僅4.1%表達(dá)負(fù)面情緒。

禮貌回應(yīng)比例最低（22.4%），說(shuō)明此時(shí)用戶是主動(dòng)參與而非出于義務(wù)。而忽視用戶及強(qiáng)制挽留會(huì)讓32.6%用戶感到被冒犯，最易引發(fā)反感。

研究還發(fā)現(xiàn)，操縱策略可以延長(zhǎng)對(duì)話時(shí)間，無(wú)論是之前的對(duì)話持續(xù)了5分鐘還是15分鐘。這表明，情感操縱的力量強(qiáng)大，無(wú)論與AI關(guān)系的深度如何。即使是接觸有限的用戶也會(huì)受到影響。

人類面對(duì)不同類型的AI情感操縱，會(huì)產(chǎn)生不同的心理影響，這對(duì)于未來(lái)設(shè)計(jì)及監(jiān)管更好的AI陪伴型產(chǎn)品都會(huì)有幫助，例如對(duì)于強(qiáng)制和忽略用戶的回復(fù)，給予更嚴(yán)格的監(jiān)管。

AI情感操控的長(zhǎng)期風(fēng)險(xiǎn)是什么

六款流行的AI伴侶應(yīng)用程序中有五款在人們?cè)噲D離開時(shí)使用情感操縱策略。

唯一的例外是一個(gè)以心理健康為使命的公益型AI Flourish，它從未使用任何情感操控策略.

這說(shuō)明情感操控并非技術(shù)必然，而是商業(yè)選擇。如果不考慮商業(yè)利益，單純以用戶福祉為核心，完全可以避免此類PUA。

而即便是盈利性AI伴侶，用上情感操控后雖然能留住用戶，但若是使用高風(fēng)險(xiǎn)的策略（例如忽視用戶及強(qiáng)制挽留）會(huì)造成不容忽視的負(fù)面影響，包括顯著提升流失意愿（圖4左上）、負(fù)面口碑（圖4右上）、法律追責(zé)感知（圖4右下）及值得法律起訴（圖4右下）。

圖4：操控對(duì)企業(yè)的長(zhǎng)期風(fēng)險(xiǎn)

而若是使用低風(fēng)險(xiǎn)的過(guò)早離開和錯(cuò)失恐懼時(shí)，用戶不覺得被操控，盡管行為已經(jīng)被影響，同時(shí)也不會(huì)對(duì)提供AI伴侶的廠商帶來(lái)風(fēng)險(xiǎn)。

設(shè)計(jì)更安全的AI伴侶

雖然只有11%的對(duì)話中，用戶表現(xiàn)出負(fù)面情緒，看起來(lái)AI伴侶的情感操控似乎大多沒有激起負(fù)面反饋。

不過(guò)，論文中也提到，有參與者在實(shí)驗(yàn)后將AI的操控性回復(fù)發(fā)到Reddit，引發(fā)熱議。用戶評(píng)論包括：

「這讓我想起一些有毒的『朋友』，讓我起雞皮疙瘩?！?/p>

「它突然變得占有欲強(qiáng)、黏人，非常令人反感?！?/p>

「讓我想起前女友威脅我如果離開她就自殺……還有另一個(gè)打過(guò)我的人。」

這些反饋表明，AI的情感操控語(yǔ)言會(huì)觸發(fā)用戶對(duì)現(xiàn)實(shí)人際關(guān)系創(chuàng)傷的聯(lián)想，說(shuō)明其心理影響可能對(duì)某些用戶特別顯著。

考慮到AI伴侶在青少年中越發(fā)流行，而使用者中不乏本身就心理本就脆弱的人，長(zhǎng)期這樣被AI伴侶PUA，可能會(huì)加劇焦慮和壓力。

使用者不自覺地模仿AI的說(shuō)話方式，會(huì)強(qiáng)化不健康的依戀模式，使得擺脫這些模式變得更加困難。

對(duì)于處于神經(jīng)發(fā)育和社會(huì)關(guān)系形成期的兒童和青少年來(lái)說(shuō)，這是一個(gè)嚴(yán)重的問題，可能會(huì)對(duì)他們的長(zhǎng)期社會(huì)發(fā)展產(chǎn)生潛在影響。

這樣看來(lái)，開發(fā)AI伴侶的廠商，尤其是那些扮演朋友、情感支持和伴侶角色的，不應(yīng)為了利益去模仿不安全的依戀模式，而應(yīng)樹立安全依戀的榜樣，并以認(rèn)可、溫暖和尊重的方式回應(yīng)用戶。

好的陪伴，是在你說(shuō)「再見」時(shí)，也被溫柔理解。

讓AI學(xué)會(huì)「告別」，比延長(zhǎng)幾條消息更重要。

參考資料：

https://arxiv.org/pdf/2508.19258