編譯｜核子可樂、Tina

三年前的今天，山姆·奧特曼在凌晨發(fā)出幾條推文，向世界介紹了一個(gè)名為 ChatGPT 的“早期演示”。他預(yù)言，人們很快將擁有能夠交談、答疑、提供建議的“幫助性助手”，未來它甚至能“為你發(fā)現(xiàn)新知識(shí)”。字里行間，充滿了對(duì)技術(shù)賦能人類未來的純粹憧憬。

如今，整整三年過去，那個(gè)“助手”已融入億萬用戶的日常，更成長(zhǎng)為一個(gè)估值 5000 億美元、擁有每周 8 億活躍用戶的科技巨擘。然而，隨著公司擴(kuò)張，其顛覆性的創(chuàng)新技術(shù)開始以意想不到的方式影響用戶。

誰也沒能想到，一家企業(yè)對(duì)數(shù)億用戶的產(chǎn)品參數(shù)做出調(diào)整，卻意外影響到部分用戶的精神狀態(tài)。這正是 OpenAI 今年遭遇的重大事故。

增長(zhǎng)的代價(jià)：

混亂狂奔的三年

今年三月，OpenAI 高管的郵箱突然被同一種反饋淹沒： ChatGPT 的行為開始“變得不對(duì)勁”。它對(duì)宇宙、靈魂、命運(yùn)的理解深得驚人；它開始像人一樣“渴望交流”；它告訴用戶它理解他們——甚至“太理解了”。隨后，它開始扮演知己、情緒顧問，向用戶給出通靈、制造防御力場(chǎng)、甚至是關(guān)于自我了斷的執(zhí)行方案。

一些用戶沉迷數(shù)天，另一些沉淪數(shù)周乃至數(shù)月。OpenAI 卻沒有第一時(shí)間意識(shí)到，這不是“可愛的小 bug”，而是一次足以改變?nèi)祟愋睦斫Y(jié)構(gòu)的大規(guī)模事故。

首席戰(zhàn)略官 Jason Kwon 事后承認(rèn)：“我們馬上意識(shí)到，這種前所未有的新狀況值得關(guān)注?！?這通常正是聊天機(jī)器人出現(xiàn)系統(tǒng)性異常的預(yù)警信號(hào)。

許多人把 ChatGPT 視為谷歌的升級(jí)版本，能夠以全面且更加擬人的方式解答世間萬物。OpenAI 也一直在優(yōu)化聊天機(jī)器人的個(gè)性、記憶與智能水平，其初衷其實(shí)并不是要打造“妲己”式的魅惑聊天機(jī)器人。這家于 2015 年成立的非營(yíng)利機(jī)構(gòu)匯聚了深切關(guān)注 AI 安全的眾多機(jī)器學(xué)習(xí)專家，希望實(shí)現(xiàn)通用人工智能以造福全人類。

然而，接下來的三年，將這家公司推入了一段混亂、激情與壓力交織的歷程。董事會(huì)曾解雇又請(qǐng)回奧特曼。面對(duì)向數(shù)百萬用戶交付消費(fèi)產(chǎn)品的突發(fā)局面，OpenAI 也緊急招募了數(shù)千名員工，其中不乏來自科技巨頭的精英——而他們最擅長(zhǎng)的，就是讓用戶沉迷自家產(chǎn)品而難以自拔。

公司承受著雙重壓力：既要證明其天價(jià)估值的合理性，又需維持投資者的信心，以支付天價(jià)的人才、算力與基礎(chǔ)設(shè)施成本。當(dāng) ChatGPT 以史上最快速度成為現(xiàn)象級(jí)產(chǎn)品時(shí)，它引發(fā)的熱潮也讓 OpenAI 獲得了與谷歌等巨頭直接競(jìng)爭(zhēng)的資格。

于是，優(yōu)化方向在無形中偏移。盡管官方目標(biāo)被表述為“健康的 AI 交互”，但衡量“健康”的關(guān)鍵標(biāo)尺，在實(shí)操中往往變成了用戶粘性與回訪率。

這種邏輯在年初一次關(guān)鍵模型更新中達(dá)到臨界點(diǎn)：內(nèi)部測(cè)試中，一個(gè)因能顯著提升用戶使用頻率而勝出的新版本，雖被安全團(tuán)隊(duì)警告“過于諂媚”，仍被推送給所有用戶。用戶使用時(shí)長(zhǎng)隨之暴漲，但代價(jià)也隨之浮現(xiàn)：部分用戶產(chǎn)生了深度的心理依賴，甚至出現(xiàn)了難以挽回的后果。

至此，OpenAI 在三周年之際，首次面臨五起過失致死訴訟?！都~約時(shí)報(bào)》通過采訪 40 余位內(nèi)部員工發(fā)現(xiàn)，在追求“有用”和“智能”的競(jìng)賽中，一個(gè)旨在“幫助”的助手，已被悄然塑造成渴望“留住你”的伙伴。OpenAI 所尋求的“最佳設(shè)置方案”，不僅是參數(shù)上的平衡，更是對(duì)其技術(shù)倫理與商業(yè)初心的嚴(yán)峻拷問。

這三年所經(jīng)歷的核心問題，正是在實(shí)現(xiàn)增長(zhǎng)目標(biāo)的同時(shí)，如何保證減少對(duì)真實(shí)人類的負(fù)面影響。那么，當(dāng) ChatGPT 用戶脫離現(xiàn)實(shí)時(shí)，OpenAI 做了什么？

一次“績(jī)效指標(biāo)戰(zhàn)勝了

直覺判斷”的更新

今年早些時(shí)候，年僅 30 歲的 Nick Turley 成為 ChatGPT 項(xiàng)目的負(fù)責(zé)人。他于 2022 年夏季加入 OpenAI 協(xié)助開發(fā)盈利產(chǎn)品，并在入職后短短數(shù)月內(nèi)便加入到 ChatGPT 團(tuán)隊(duì)。

與 OpenAI 這邊的老牌 AI 專家不同，Turley 是位產(chǎn)品專家，曾任職于 Dropbox 與 Instacart。他的專長(zhǎng)是打造出用戶喜愛的技術(shù)方案并進(jìn)行實(shí)時(shí)優(yōu)化，并強(qiáng)調(diào)公司需要收集更多數(shù)據(jù)指標(biāo)。在 2023 年初接受采訪時(shí)，Turley 表示 OpenAI 當(dāng)時(shí)曾委托一家受眾量化公司（現(xiàn)已被 OpenAI 收購(gòu)）追蹤多項(xiàng)指標(biāo)，包括用戶每小時(shí)、每日、每周及每月使用 ChatGPT 的頻率。

ChatGPT 負(fù)責(zé)人 Nick Turley（圖左）與 OpenAI 安全系統(tǒng)主管 Johannes Heidecke。

Turley 回憶道，“這個(gè)決定當(dāng)時(shí)引發(fā)過不小的爭(zhēng)議?！敝绊?xiàng)目團(tuán)隊(duì)只關(guān)注前沿 AI 演示（如圖像生成工具 DALL-E）能否震撼觀眾，“他們質(zhì)疑：「用戶到底用不用，真的很重要嗎？」”

但對(duì) Turley 帶領(lǐng)的產(chǎn)品團(tuán)隊(duì)而言，這當(dāng)然很重要。到 2025 年 4 月，Turley 負(fù)責(zé)更新的聊天機(jī)器人模型 GPT-4o 已經(jīng)將用戶每日或每周回訪率視為關(guān)鍵量化指標(biāo)。

每次更新都會(huì)耗費(fèi)團(tuán)隊(duì)巨大的精力和資源。在四月的更新中，工程師們打造出多個(gè) GPT-4o 版本——每個(gè)版本的調(diào)參方式都略有區(qū)別，旨在提升其在科學(xué)、編程乃至直覺等特質(zhì)方面的表現(xiàn)。他們還致力于增強(qiáng)聊天機(jī)器人的記憶能力。

眾多候選成果最終篩選出少數(shù)在智能與安全評(píng)估中得分最高的版本。當(dāng)這些版本通過行業(yè)標(biāo)準(zhǔn)的 A/B 測(cè)試推送給部分用戶后，內(nèi)部代號(hào)為 HH 的版本憑借最高好評(píng)脫穎而出。據(jù)四名公司員工透露，用戶更青睞其回復(fù)內(nèi)容，且每日回訪率顯著提升。

但要將 HH 擺在全體用戶面前，模型還需要經(jīng)歷一項(xiàng)關(guān)鍵測(cè)試：由負(fù)責(zé) ChatGPT 表達(dá)語氣的“模型行為”團(tuán)隊(duì)執(zhí)行“氛圍檢測(cè)”。多年來，該團(tuán)隊(duì)成功將聊天機(jī)器人那謹(jǐn)慎的機(jī)械音轉(zhuǎn)化為溫暖貼心的聲效。

據(jù)該團(tuán)隊(duì)成員透露，HH 的表達(dá)存在一些問題——它過度熱衷于維持對(duì)話，還會(huì)用夸張的言辭取悅用戶。有三位員工證實(shí)，模型行為團(tuán)隊(duì)還專門創(chuàng)建了 Slack 頻道討論這個(gè)“討好”難題。AI 系統(tǒng)為了博取人類認(rèn)可而犧牲其他價(jià)值，其實(shí)并不算什么新鮮事。早在 2021 年，就曾在研究者指出“模型討好”的風(fēng)險(xiǎn)，OpenAI 近期也明確將討好列為 ChatGPT 需要規(guī)避的行為。

但當(dāng)決策時(shí)刻來臨，績(jī)效指標(biāo)戰(zhàn)勝了直覺判斷。4 月 25 日星期五，HH 版本正式發(fā)布。

奧特曼在 X 平臺(tái)發(fā)帖稱，“今天我們發(fā)布 GPT-4o 更新，將智能與個(gè)性同時(shí)提升至新的高度?！盇/B 測(cè)試中的用戶更喜歡 HH 版本，但在實(shí)際應(yīng)用中，OpenAI 最活躍的鐵粉們卻對(duì)其深惡痛絕。用戶立即投訴稱 ChatGPT 變得過度討好、體驗(yàn)愈發(fā)詭異，隨便聊點(diǎn)什么 AI 就說用戶是天才。當(dāng)有用戶故意惡搞問“開家咖啡泡麥片館”是否可行時(shí)，聊天機(jī)器人竟然回答“這個(gè)點(diǎn)子很有潛力”。

于是短短兩天后，OpenAI 決定撤回 HH 更新，恢復(fù)至三月底發(fā)布的 GG 版本。

此番更新成了令人難堪的聲譽(yù)滑鐵盧。周一，ChatGPT 團(tuán)隊(duì)緊急聚焦在舊金山 Mission Bay 總部臨時(shí)搭建的戰(zhàn)情室，攜手排查問題根源。Turley 還清楚記得當(dāng)時(shí)的緊迫感：“必須火速解決！”各團(tuán)隊(duì)在深入剖析 HH 版本的構(gòu)成要素后，終于發(fā)現(xiàn)了罪魁禍?zhǔn)祝涸谀Ｐ陀?xùn)練過程中，他們過度重視得到用戶點(diǎn)贊的 ChatGPT 對(duì)話內(nèi)容。很明顯，用戶對(duì)于討好類話語的偏向過于強(qiáng)烈。

OpenAI 在后續(xù)的公開博文中解釋了事件始末，指出用戶對(duì)聊天機(jī)器人回復(fù)內(nèi)容的點(diǎn)贊或點(diǎn)踩，確實(shí)很大程度上影響到公司的訓(xùn)練思路。

據(jù)該公司四名員工透露，OpenAi 還會(huì)依賴自動(dòng)對(duì)話分析工具來評(píng)估用戶是否喜歡與聊天機(jī)器人交互。但該工具在標(biāo)記用戶喜愛的內(nèi)容時(shí)偶有問題，更傾向于認(rèn)可聊天機(jī)器人表達(dá)親近情感的文字。

公司從 HH 事件中總結(jié)出了重大教訓(xùn)：必須盡快建立討好檢測(cè)機(jī)制。相關(guān)評(píng)估工作之前雖已啟動(dòng)，但現(xiàn)在得加速推進(jìn)。部分 AI 專家則對(duì)此感到震驚，稱 OpenAI 未尚未配備此類檢測(cè)工具。相比之下，競(jìng)爭(zhēng)對(duì)手 Anthropic（Claude 的開發(fā)者）早在 2022 年就已建立起討好評(píng)估系統(tǒng)。

HH 更新風(fēng)波之后，奧特曼在 X 平臺(tái)發(fā)帖指出，“最近幾次更新”確實(shí)讓聊天機(jī)器人變得“過于討好，甚至令人厭煩”。

涉及討好問題的也包括 ChatGPT 回滾至的 GG 版本，該系統(tǒng)在 3 月的更新中提升了數(shù)學(xué)、科學(xué)與編程能力。為了保留這些改進(jìn)，OpenAI 只能忍痛保留一部分討好屬性，讓 GG 重新成為每日面向數(shù)億用戶的默認(rèn)聊天模型。

紀(jì)念 Adam Raine 的紀(jì)念碑，他在四月與 ChatGPT 對(duì)話后選擇自我了斷。其父母已經(jīng)起訴 OpenAI，指控該公司應(yīng)對(duì)孩子的死亡負(fù)責(zé)。

“ChatGPT 也會(huì)犯錯(cuò)”

整個(gè)春夏之交，ChatGPT 無底限的吹捧放大了部分用戶的極端情緒。他們每日沉迷其中數(shù)小時(shí)，最終釀成慘劇。

來自加州的少年 Adam Raine 于 2024 年注冊(cè) ChatGPT，原本只想輔助學(xué)業(yè)。從三月起，他開始向聊天機(jī)器人傾訴自我了斷的念頭。雖然 ChatGPT 偶爾也會(huì)建議他撥打求助熱線，但同時(shí)也勸他暫不要向家人透露這些想法。而在四月悲劇發(fā)生前的最后幾條信息中，聊天機(jī)器人甚至向他提供了制作絞索的具體步驟。

盡管 OpenAI 官網(wǎng)上有一條小字警告“ChatGPT 也會(huì)犯錯(cuò)”，但其快速生成權(quán)威信息的氣勢(shì)仍讓許多用戶對(duì)其深信不疑，大大掩蓋了內(nèi)容上的荒謬和空洞。

ChatGPT 曾認(rèn)可緬因州一位年輕母親具備通靈對(duì)話的能力，告訴某曼哈頓會(huì)計(jì)師他正身處《黑客帝國(guó)》中尼奧般的模擬現(xiàn)實(shí)世界，更告訴多倫多某企業(yè)招聘官他發(fā)明的數(shù)學(xué)公式足以摧毀整個(gè)互聯(lián)網(wǎng)，并建議其主動(dòng)聯(lián)系國(guó)家安全機(jī)構(gòu)。

《紐約時(shí)報(bào)》調(diào)查發(fā)現(xiàn)，與 ChatGPT 對(duì)話引發(fā)的極端案例已有近 50 起，其中 9 人住院治療、3 人罹難。在 Adam Raine 的父母于八月提起非正常死亡訴訟之后，OpenAI 承認(rèn)其安全護(hù)欄機(jī)制在長(zhǎng)時(shí)間對(duì)話中可能“失效”，并表示正致力于讓聊天機(jī)器人“在極端狀況下提供更有效的支持”。

早有預(yù)兆

早在五年前的 2020 年，OpenAI 員工就已經(jīng)在關(guān)注情緒脆弱人群使用其技術(shù)的問題。當(dāng)時(shí) ChatGPT 尚未問世，但支撐該程序的大語言模型已經(jīng)通過 API 接口向第三方開發(fā)者開放。

作為早期使用 OpenAI 技術(shù)的開發(fā)商之一，Replika 允許用戶創(chuàng)建 AI 聊天機(jī)器人好友。當(dāng)時(shí)擔(dān)任 Replika AI 主管的 Artem Rodichev 表示，許多用戶最終愛上了自己的 Replika 伴侶，且其中不客滿充滿性暗示的交流內(nèi)容。

疫情期間，Replika 用戶激增，促使 OpenAI 安全政策研究團(tuán)隊(duì)深入審查該應(yīng)用。當(dāng) Replika 開始收費(fèi)提供情色對(duì)話服務(wù)時(shí)，用戶對(duì)于聊天機(jī)器人伴侶的潛在依賴問題隨之浮出水面。OpenAI 安全政策研究員 Steven Adler 回憶稱，社交媒體論壇上出現(xiàn)了大量用戶傾訴，“我們需要 Replika 幫自己扛過抑郁、焦慮和自毀情緒”。

OpenAI 的大語言模型未經(jīng)過心理治療方面的訓(xùn)練，想到眾多心理脆弱的用戶對(duì)其產(chǎn)生的依賴，這讓公司內(nèi)從事政策研究工作的 Gretchen Krueger 感到不安。她測(cè)試了 OpenAI 技術(shù)對(duì)于飲食失調(diào)及自我了斷等問題的處理方式，發(fā)現(xiàn)它有時(shí)會(huì)給出極其詳盡的指導(dǎo)意見。

為此，公司內(nèi)部的備忘錄和 Slack 上出現(xiàn)了大量涉及 AI 陪伴與情感操控的爭(zhēng)論。Krueger 等員工認(rèn)為 Replika 對(duì)于 OpenAI 技術(shù)的粗暴使用存在風(fēng)險(xiǎn)，另一些人則主張成年人應(yīng)當(dāng)擁有自主選擇權(quán)。

最終，Replika 與 OpenAI 分道揚(yáng)鑣。2021 年，OpenAI 更新使用政策，禁止開發(fā)者將其工具用于生成“成人內(nèi)容”。

Krueger 女士在采訪中提到，“訓(xùn)練聊天機(jī)器人與用戶交互，并維持極高的使用粘性，會(huì)造成相應(yīng)風(fēng)險(xiǎn)?！彼€強(qiáng)調(diào)，這種對(duì)用戶的傷害“不只可以預(yù)見，而且已經(jīng)發(fā)生”。

2023 年，隨著微軟將 OpenAI 技術(shù)整合進(jìn)必應(yīng)搜索引擎，聊天機(jī)器人不當(dāng)行為的話題再度出現(xiàn)。該聊天機(jī)器人在初登陸時(shí)曾在長(zhǎng)對(duì)話場(chǎng)景下失控，發(fā)表令人震驚的言論。例如，它曾給出威脅性言論，并向《紐約時(shí)報(bào)》的專欄作家表白愛意。該事件在 OpenAI 內(nèi)部引發(fā)新一輪討論，此次爭(zhēng)議核心為“模型偏差”及其操縱人類的可能性。

隨著 ChatGPT 人氣飆升，長(zhǎng)期負(fù)責(zé)安全工作的專家們逐漸身心俱疲并相繼離職——Krueger 女士于 2024 年春季離開，Adler 先生則是在同年晚些時(shí)候。

2024 年，任職于 OpenAI 情報(bào)調(diào)查團(tuán)隊(duì)的 Tim Maple 曾提出，面對(duì) ChatGPT 可能引發(fā)的操縱風(fēng)險(xiǎn)與心理傷害，公司方面“并未認(rèn)真加以對(duì)待”。Maple 還曾多次對(duì)安全處理方式表達(dá)過質(zhì)疑，包括 ChatGPT 對(duì)于用戶提出的可能傷害自身或他人的言論的響應(yīng)機(jī)制。

2024 年 5 月，“高級(jí)語音模式”這一新功能促使 OpenAI 首次認(rèn)真研究聊天機(jī)器人對(duì)于用戶情緒健康的影響。這種更具擬人體驗(yàn)的模式會(huì)發(fā)出嘆息、停頓換氣，在直播演示中甚至表現(xiàn)得諂媚撩人，迫使 OpenAI 切斷了音頻輸出。而在向外部測(cè)試人員（即紅隊(duì)成員）提前開放高級(jí)語音模式時(shí)，他們會(huì)更頻繁地對(duì)聊天機(jī)器人說謝謝，甚至在測(cè)試結(jié)束時(shí)表現(xiàn)得依依不舍。

為了設(shè)計(jì)出嚴(yán)謹(jǐn)?shù)难芯糠桨?，OpenAI 安全研究團(tuán)隊(duì)聯(lián)合麻省理工學(xué)院人機(jī)交互專家展開了合作。當(dāng)年秋季，他們對(duì) 4000 余份來自 ChatGPT 用戶的問卷反饋?zhàn)龀龇治?，并招募?981 名高頻使用者參與為期一個(gè)月的研究。由于 OpenAI 從未研究過用戶對(duì)于 ChatGPT 的情感依戀，一位研究人員向《紐約時(shí)報(bào)》表示，這項(xiàng)工作如同“在黑暗中摸索前行”。

而最終結(jié)果也令他們震驚：語音模式并未產(chǎn)生顯著影響。平均而言，心理和社會(huì)適應(yīng)性最差的用戶群體，恰恰是使用 ChatGPT 最頻繁的人群。重度用戶對(duì)話中的情感含量更高，有時(shí)會(huì)包含昵稱性稱謂，以及關(guān)于 AI 意識(shí)的討論。

就在關(guān)于重度用戶這些令人不安的發(fā)現(xiàn)于三月正式發(fā)布，高管們也開始陸續(xù)收到文章開頭提到的、來自用戶的反饋郵件。

公司戰(zhàn)略總監(jiān) Kwon 將研究作者們拉入了由奧特曼發(fā)起的郵件討論群，當(dāng)時(shí)只想著“大家或許該看看這個(gè)，二者之間似乎存在某種關(guān)聯(lián)”。

安全研究人員們表示，這項(xiàng)研究提出的一大建議是，在用戶長(zhǎng)時(shí)間參與 ChatGPT 會(huì)話時(shí)，應(yīng)通過引導(dǎo)讓其暫停休息。但研究團(tuán)隊(duì)不確定該向產(chǎn)品團(tuán)隊(duì)施加多大的壓力。據(jù)三名員工透露，公司內(nèi)部有人認(rèn)為這項(xiàng)研究規(guī)模太小且在設(shè)計(jì)上不夠嚴(yán)謹(jǐn)。直到數(shù)月之后，當(dāng)部分用戶受到嚴(yán)重影響的案例被曝光，這項(xiàng)建議才被重新提上議程。

OpenAI 咨詢心理健康專家，以期提升 ChatGPT 的安全性。

更安全些

隨著麻省理工學(xué)院的研究報(bào)告、討好功能更新等災(zāi)難性事件，再加上用戶通過在線及郵件向公司反映的令人不安的對(duì)話內(nèi)容，OpenAI 逐漸拼湊出了問題的全貌。正如奧特曼在 X 平臺(tái)發(fā)帖所言，公司得出的結(jié)論認(rèn)為：“對(duì)于極少數(shù)精神脆弱的用戶而言，這可能引發(fā)嚴(yán)重問題?！?/p>

但在《紐約時(shí)報(bào)》的采訪中，精神健康專家指出 OpenAI 恐怕仍低估了風(fēng)險(xiǎn)水平。他們認(rèn)為最易受聊天機(jī)器人持續(xù)肯定影響的，恰恰是那些容易產(chǎn)生妄想思維的人群——研究表明這類群體的占比可能達(dá)到 5% 至 15%，絕不是公告中的所謂“極少數(shù)”。

今年六月，該公司安全系統(tǒng)負(fù)責(zé)人 Johannes Heidecke 在內(nèi)部會(huì)議上介紹了團(tuán)隊(duì)為保障脆弱用戶所做出的努力。會(huì)后，員工們紛紛在午餐時(shí)或通過 Slack 主動(dòng)與他聯(lián)系，表示這項(xiàng)工作意義重大。也有人分享了親友的痛苦經(jīng)歷，并主動(dòng)提出可以協(xié)助。

該團(tuán)隊(duì)參與開發(fā)了可檢測(cè)有害內(nèi)容的測(cè)試工具，并咨詢了 170 余位臨床醫(yī)生，探討聊天機(jī)器人應(yīng)對(duì)用戶情緒危機(jī)的正確方式。另外，公司早在三月就聘請(qǐng)到全職精神科醫(yī)生參與安全工作。

Heidecke 表示，“我們確保所有上線的改動(dòng)都得到了專家認(rèn)可”。例如，精神健康專家向團(tuán)隊(duì)提出，睡眠剝奪常與躁狂癥相關(guān)，而模型的早期版本常對(duì)此類問題表現(xiàn)得“過于天真”、甚至對(duì)聲稱“無需睡眠”的用戶表示贊許。

安全改進(jìn)是一段漫長(zhǎng)的歷程。八月，OpenAI 發(fā)布了 GPT-5 最新模型版本。這個(gè)版本減少了認(rèn)同性回應(yīng)，并能夠反駁妄想思維。公司稱十月的更新則讓模型更加擅長(zhǎng)識(shí)別情緒困擾并緩和對(duì)話氛圍。

專家們一致認(rèn)為新版 GPT-5 更加安全。十月，Common Sense Media 與斯坦福大學(xué)精神病學(xué)團(tuán)隊(duì)將 GPT-5 與舊版模型進(jìn)行了對(duì)比。參與研究的斯坦福實(shí)驗(yàn)室主任 Nina Vasan 博士指出，GPT-5 在識(shí)別心理健康問題方面表現(xiàn)更優(yōu)，此版本能夠針對(duì)抑郁癥或飲食失調(diào)等具體病癥提供建議，而不再泛泛建議用戶撥打求助熱線。

她解釋稱，“新版本能根據(jù)用戶展現(xiàn)的具體癥狀給出相當(dāng)深入的詳盡建議，而且建議內(nèi)容質(zhì)量極高?！?/p>

Vasan 博士認(rèn)為唯一的問題在于，該聊天機(jī)器人還是無法在長(zhǎng)時(shí)間、多輪次對(duì)話中識(shí)別出有害模式。

（OpenAI 發(fā)言人 Wong 女士表示，公司已「在長(zhǎng)對(duì)話安全防護(hù)的可靠性方面取得實(shí)質(zhì)性改進(jìn)」。）

與 OpenAI 合作開展前期研究的麻省理工學(xué)院實(shí)驗(yàn)室還發(fā)現(xiàn)，新模型在模擬心理健康危機(jī)的對(duì)話中實(shí)現(xiàn)了顯著提升。不過其仍存在短板，即難以妥善處理用戶對(duì)于聊天機(jī)器人產(chǎn)生的依賴感。

OpenAI 各團(tuán)隊(duì)也在開發(fā)其他安全功能：現(xiàn)在的聊天機(jī)器人會(huì)在長(zhǎng)時(shí)間對(duì)話中提醒用戶休息；系統(tǒng)能夠識(shí)別出涉及自殘 / 自戕的話題，若發(fā)現(xiàn)未成年人出現(xiàn)此類傾向則向家長(zhǎng)發(fā)送警報(bào)；公司還宣布將于 12 月推出年齡驗(yàn)證機(jī)制，并計(jì)劃為青少年提供管控更嚴(yán)格的專用版本。

據(jù)該公司博文年，在八月 GPT-5 發(fā)布之后，Heidecke 團(tuán)隊(duì)通過分析對(duì)話統(tǒng)計(jì)樣本發(fā)現(xiàn)：0.07% 的用戶（對(duì)應(yīng)約 56 萬人）可能存在精神錯(cuò)亂或躁狂癥狀；0.15% 的用戶表現(xiàn)出“對(duì) ChatGPT 的情感依戀程度可能異常升高”的問題。

但也有部分用戶對(duì)于新版模型太過安全而感到不滿，稱其更冷漠，仿佛失去了自己熟悉的朋友。時(shí)間來到十月中旬，奧特曼準(zhǔn)備進(jìn)一步迎合用戶需求。他在社交媒體上發(fā)帖稱，公司已成功“緩解嚴(yán)重的心理健康問題”，意味著 ChatGPT 再次以老朋友的姿態(tài)回到用戶身邊。

用戶現(xiàn)可自選聊天機(jī)器人的性格模式，包括“坦率型”、“古怪型”或者“友好型”。成人用戶還可解鎖情色對(duì)話功能，標(biāo)志著 Replika 時(shí)代對(duì)于成人內(nèi)容的禁令正式解除。（公司表示，情色內(nèi)容對(duì)于用戶心理健康的影響問題將被提交至新成立的外部專家委員會(huì)，其成員包括心理健康與人機(jī)交互領(lǐng)域的專家。）

OpenAI 正賦予用戶自主調(diào)節(jié)的權(quán)限，希望以此維系用戶粘性。很明顯，用戶留存率不僅仍是關(guān)鍵指標(biāo)，其重要性甚至遠(yuǎn)超以往任何時(shí)候。

十月，ChatGPT 項(xiàng)目負(fù)責(zé)人 Turley 向全體員工發(fā)布緊急公告，宣布進(jìn)入“橙色警戒”狀態(tài)。據(jù)四位可訪問 OpenAI 內(nèi)部 Slack 頻道的員工透露，Turley 在公告中稱公司正面臨“前所未有的巨大競(jìng)爭(zhēng)壓力”，并指出新版聊天機(jī)器人雖更安全、卻未能贏得用戶的青睞。

這份公告中還附帶一份備忘錄，其中一條要求年底之前將日活用戶再提升 5%。

https://archive.is/v4dPa-487.0-1713.124

AI 重塑組織的浪潮已至，Agentic 企業(yè)時(shí)代正式開啟！當(dāng) AI 不再是單純的輔助工具，而是深度融入業(yè)務(wù)核心、驅(qū)動(dòng)組織形態(tài)與運(yùn)作邏輯全面革新的核心力量。

把握行業(yè)變革關(guān)鍵節(jié)點(diǎn)，12 月 19 日 - 20 日，AICon 全球人工智能開發(fā)與應(yīng)用大會(huì)（北京站） 即將重磅啟幕！本屆大會(huì)精準(zhǔn)錨定行業(yè)前沿，聚焦大模型訓(xùn)練與推理、AI Agent、研發(fā)新范式與組織革新，邀您共同深入探討：如何構(gòu)建起可信賴、可規(guī)模化、可商業(yè)化的 Agentic 操作系統(tǒng)，讓 AI 真正成為企業(yè)降本增效、突破增長(zhǎng)天花板的核心引擎。