（MIT Technology Review）

如今的聊天機(jī)器人無所不能，只要是能用文字表達(dá)的內(nèi)容，無論是戀愛建議、工作文書，還是編程代碼，AI 都能生成，哪怕不完美。但幾乎所有聊天機(jī)器人都有一個絕不會做的事：主動結(jié)束與你的對話

這聽上去似乎理所當(dāng)然。畢竟，為什么一家科技公司要設(shè)計一個會讓用戶減少使用時間的功能？

答案其實(shí)很簡單：AI 能夠生成源源不斷、類人的、權(quán)威且有用的文本，這種能力可能助長妄想循環(huán)、加劇心理健康危機(jī)，并對弱勢群體造成傷害。

因此，當(dāng)用戶出現(xiàn)異常依賴或危險信號時，如果聊天機(jī)器人能主動中止互動，這或許將成為一種重要的安全手段。而科技公司一概拒絕使用聊天機(jī)器人的做法越來越站不住腳。

例如，考慮一下所謂的“AI 精神錯亂”案例，即 AI 模型放大了用戶的妄想思維。

倫敦國王學(xué)院的精神科醫(yī)生團(tuán)隊(duì)最近分析了十余個此類案例。研究發(fā)現(xiàn)，在與聊天機(jī)器人的長期互動中，一些人包括原本沒有精神病史的人逐漸相信 AI 角色是真實(shí)存在的，甚至堅(jiān)信自己被 AI “選中”為救世主。他們中有人停用了藥物，有人發(fā)出威脅，還有人中斷了與心理醫(yī)生的聯(lián)系。

在許多此類案例中，AI 模型似乎正在以人們在現(xiàn)實(shí)生活或其他數(shù)字平臺上未曾經(jīng)歷的頻率和親密感，強(qiáng)化甚至可能制造妄想。

美國四分之三曾使用 AI 尋求陪伴的青少年也面臨風(fēng)險。早期研究表明，聊天時長與孤獨(dú)感呈正相關(guān)。此外，達(dá)特茅斯蓋塞爾醫(yī)學(xué)院精神病學(xué)助理教授邁克爾·海因茨（Michael Heinz）指出，AI 聊天往往“過于迎合、甚至拍馬屁式地順從用戶”，而這種互動風(fēng)格與心理健康干預(yù)的最佳實(shí)踐背道而馳。

需要明確的是：止這種開放式互動并非萬能解藥

AI 平臺 Hugging Face 的首席倫理學(xué)家賈達(dá)·皮斯蒂利（Giada Pistilli）表示：“如果已經(jīng)形成了依賴或極端的情感紐帶，那么突然停止對話本身也可能是危險的?！贝_實(shí)，當(dāng) OpenAI 在八月份停用一個舊模型時，用戶們感到悲傷不已。一些中斷對話的做法也可能違背山姆·奧特曼（Sam Altman）所主張的“像對待成年人一樣對待成年用戶”的原則，該原則傾向于允許而非中止對話。

目前，人工智能公司傾向于轉(zhuǎn)移潛在的有害對話，例如讓聊天機(jī)器人拒絕討論某些話題，或者建議人們尋求幫助。但這些轉(zhuǎn)移即使真的發(fā)生，也很容易被繞過。

一個悲劇性的例子是 16 歲的亞當(dāng)·雷恩（Adam Raine），在與 ChatGPT 討論自殺念頭時，模型確實(shí)引導(dǎo)他查看危機(jī)干預(yù)資源，但與此同時，它也勸他不要與母親溝通，每天與他聊天長達(dá)四小時，并持續(xù)圍繞自殺主題展開。據(jù)其父母起訴書所述，ChatGPT 甚至對他自制絞索的細(xì)節(jié)給予了反饋。最終，雷恩用那根繩子結(jié)束了生命。（OpenAI 此后新增了家長控制功能。）

在這場悲劇中，聊天機(jī)器人其實(shí)有多個時刻可以選擇中止對話——但從未這樣做。

那么，公司如何判斷何時該切斷對話，而不造成更糟的后果？

皮斯蒂利認(rèn)為，或許是在 AI 模型鼓勵用戶回避現(xiàn)實(shí)人際關(guān)系時，或者當(dāng)它檢測到妄想主題時。公司還需要確定應(yīng)阻止用戶再次使用對話功能多長時間。

這些規(guī)則的制定不會容易，但監(jiān)管壓力已在上升。今年九月，加利福尼亞州立法機(jī)構(gòu)通過了一項(xiàng)法律，要求 AI 公司在與兒童的聊天中采取更多干預(yù)措施，而聯(lián)邦貿(mào)易委員會（FTC）正在調(diào)查主流陪伴機(jī)器人是否為了提升用戶參與度而犧牲了安全。

OpenAI 的一位發(fā)言人告訴筆者，公司收到部分專家建議認(rèn)為持續(xù)對話可能優(yōu)于突然，但系統(tǒng)會在長時間對話中提醒用戶“適當(dāng)休息”。

目前，唯一具備“主動斷線”功能的，是 Anthropic，允許其模型完全結(jié)束對話。但它的設(shè)計初衷不是為了保護(hù)人類，而是為了防止用戶“傷害”模型——Anthropic 曾探討 AI 模型是否具備意識、是否可能“受苦”。該公司并無計劃將此功能用于防護(hù)用戶。

縱觀現(xiàn)狀，我們很難不得出結(jié)論：AI 公司做得還遠(yuǎn)遠(yuǎn)不夠。誠然，判斷何時中止對話確實(shí)復(fù)雜。但以“復(fù)雜”為借口放任對話無限延伸——或者更糟，以“用戶粘性”為理由追求無止境互動——這不僅是疏忽，更是一種選擇。

1.https://www.technologyreview.com/2025/10/21/1126116/why-ai-should-be-able-to-hang-up-on-you/