北京
機(jī)器之心報道
編輯：Panda
AI 最臭名昭著的 Bug 是什么？不是代碼崩潰，而是「幻覺」—— 模型自信地編造事實(shí)，讓你真假難辨。這個根本性挑戰(zhàn)，是阻礙我們完全信任 AI 的關(guān)鍵障礙。
大模型會有幻覺，這幾乎已經(jīng)成為一個常識，讓每一個嚴(yán)肅使用大模型的人都不得不謹(jǐn)慎小心。OpenAI 也指出：「ChatGPT 也會產(chǎn)生幻覺。GPT-5 的幻覺明顯更少，尤其是在執(zhí)行推理時，但幻覺仍然會發(fā)生。幻覺仍然是所有大型語言模型面臨的一大根本挑戰(zhàn)。」
盡管現(xiàn)在學(xué)術(shù)界已經(jīng)提出了各種各樣用來降低模型幻覺的方法，但目前尚未出現(xiàn)能徹底「根治」模型幻覺的良方。
那么，大模型究竟為什么會出現(xiàn)幻覺呢？今天，OpenAI 罕見發(fā)表論文，系統(tǒng)性地揭示了幻覺的根源。
首先，定義幻覺。OpenAI 給出的簡單定義是：「模型自信地生成不真實(shí)答案的情況?！?/p>
至于原因，簡單來說就是：標(biāo)準(zhǔn)的訓(xùn)練和評估程序更傾向于對猜測進(jìn)行獎勵，而不是在模型勇于承認(rèn)不確定時給予獎勵
- 論文標(biāo)題：Why Language Models Hallucinate
- 論文地址：https://cdn.openai.com/pdf/d04913be-3f6f-4d2b-b283-ff432ef4aaa5/why-language-models-hallucinate.pdf
下面我們就來具體看看 OpenAI 究竟發(fā)現(xiàn)了什么。
什么是幻覺？
幻覺是語言模型生成的看似合理但卻錯誤的陳述。
即使看似簡單的問題，它們也可能以出人意料的方式出現(xiàn)。OpenAI 舉了個例子，當(dāng)向不同的廣泛使用的聊天機(jī)器人詢問 Adam Tauman Kalai（論文一作）的博士論文標(biāo)題時，它們自信地給出了三個不同的答案，但沒有一個是正確的。
當(dāng)詢問他的生日時，它給出了三個不同的日期，同樣都是錯誤的。
為了測試而學(xué)習(xí)
OpenAI 表示，幻覺持續(xù)存在，部分原因是當(dāng)前的評估方法設(shè)置了錯誤的激勵機(jī)制。雖然評估本身不會直接導(dǎo)致幻覺，但大多數(shù)評估模型性能的方式會鼓勵模型進(jìn)行猜測，而不是誠實(shí)地面對不確定性。
可以把它想象成一個多項選擇題測試。如果你不知道答案，但隨意猜測，你可能會很幸運(yùn)地猜對。留空則必定得零分。同樣，當(dāng)模型僅根據(jù)準(zhǔn)確度（即完全答對問題的百分比）進(jìn)行評分時，它們會被鼓勵進(jìn)行猜測，而不是承認(rèn)「我不知道」。
再舉一個例子，假設(shè)一個語言模型被問及某人的生日，但它不知道。如果它猜測「9 月 10 日」，那么它有 1/365 的概率猜對。說「我不知道」則必定得零分。在數(shù)千道測試題中，猜測型模型最終在記分牌上的表現(xiàn)要優(yōu)于謹(jǐn)慎且承認(rèn)不確定的模型。
對于只有一個「正確答案」的問題，可以考慮三類答案：準(zhǔn)確答案、錯誤答案以及模型不愿冒險猜測的棄權(quán)答案。
OpenAI 表示，棄權(quán)答案是謙遜（humility）指標(biāo)的一部分，而謙遜是 OpenAI 的核心價值觀之一。
大多數(shù)分?jǐn)?shù)指標(biāo)會根據(jù)準(zhǔn)確度對模型進(jìn)行優(yōu)先排序，但錯誤答案比棄權(quán)答案更糟糕。OpenAI 的模型規(guī)范指出，指出不確定性或要求澄清會更好，而不是自信地提供可能不正確的信息
以 GPT5 系統(tǒng)卡中的 SimpleQA 評估為例。
在準(zhǔn)確度方面，更早期的 OpenAI o4-mini 模型表現(xiàn)略好。然而，其錯誤率（即幻覺率）明顯較高。在不確定的情況下進(jìn)行策略性猜測可以提高準(zhǔn)確度，但也會增加錯誤和幻覺。
在對數(shù)十次評估的結(jié)果進(jìn)行平均時，大多數(shù)基準(zhǔn)測試都會剔除準(zhǔn)確度指標(biāo)，但這會導(dǎo)致對錯之間的錯誤二分法。
在像 SimpleQA 這樣的簡單評估中，一些模型的準(zhǔn)確度接近 100%，從而消除了幻覺。然而，在更具挑戰(zhàn)性的評估和實(shí)際使用中，準(zhǔn)確度會固定在 100% 以下，因為有些問題的答案由于各種原因（例如信息不可用、小型模型的思維能力有限或需要澄清的歧義）而無法確定。
盡管如此，僅以準(zhǔn)確度為衡量標(biāo)準(zhǔn)的評估指標(biāo)仍然占據(jù)著排行榜和模型卡的主導(dǎo)地位，這就會鼓勵開發(fā)者構(gòu)建能夠猜測而不是退縮的模型。
正因為此，即使模型變得更加先進(jìn)，它們?nèi)匀粫a(chǎn)生幻覺。原因之一便是它們傾向于自信地給出錯誤答案，而不是承認(rèn)不確定。
更好的評估方法
對此，OpenAI 指出了一個簡單的解決辦法：對自信錯誤（confidential error）的懲罰力度大于對不確定性的懲罰力度，并對恰當(dāng)表達(dá)不確定性的行為給予部分加分。
這個想法并不新鮮。一些標(biāo)準(zhǔn)化測試長期以來一直使用對錯誤答案進(jìn)行負(fù)面評分或?qū)α艨諉栴}給予部分加分的方法來阻止盲猜。一些研究團(tuán)隊也探索了考慮不確定性和校準(zhǔn)的評估方法。
但 OpenAI 表示，僅僅增加一些新的不確定性感知測試是不夠的。廣泛使用的、基于準(zhǔn)確度的評估方法需要更新，使其評分能夠阻止猜測。
如果主要評估指標(biāo)依然繼續(xù)為模型幸運(yùn)的猜測給予獎勵，模型就會繼續(xù)學(xué)習(xí)猜測。修改評估指標(biāo)可以擴(kuò)大降低幻覺技術(shù)的采用范圍，包括新開發(fā)的和先前研究的技術(shù)。
幻覺是如何從下一個詞預(yù)測中產(chǎn)生的
前面已經(jīng)討論過為什么幻覺如此難以擺脫，但這些高度具體的事實(shí)性錯誤究竟從何而來？
畢竟，大型預(yù)訓(xùn)練模型很少出現(xiàn)其他類型的錯誤，例如拼寫錯誤和括號不匹配。
OpenAI 表示，區(qū)別必定在于數(shù)據(jù)中存在哪些模式。
語言模型首先通過預(yù)訓(xùn)練進(jìn)行學(xué)習(xí)，這是一個預(yù)測海量文本中下一個詞的過程。
與傳統(tǒng)的機(jī)器學(xué)習(xí)問題不同，每個語句沒有「真 / 假」標(biāo)簽。該模型只看到流暢語言的正面示例，并且必須去近似整體分布。
當(dāng)沒有任何被標(biāo)注為無效的示例時，區(qū)分有效語句和無效語句會更加困難。但即使有標(biāo)簽，一些錯誤也是不可避免的。
為了理解原因，可以考慮一個更簡單的類比。在圖像識別中，如果數(shù)百萬張貓狗照片被標(biāo)記為「貓」或「狗」，算法可以學(xué)會可靠地對它們進(jìn)行分類。但想象一下，如果用寵物的生日來標(biāo)記每張寵物照片。由于生日本質(zhì)上是隨機(jī)的，無論算法多么先進(jìn)，這項任務(wù)總是會產(chǎn)生錯誤。
同樣的原則也適用于預(yù)訓(xùn)練。拼寫和括號遵循一致的模式，因此這些錯誤會隨著規(guī)模的擴(kuò)大而消失。但像寵物的生日這樣任意的低頻事實(shí)，無法僅憑模式預(yù)測，因此會導(dǎo)致幻覺。
OpenAI 的分析解釋了哪些類型的幻覺會由下一個詞預(yù)測產(chǎn)生。理想情況下，預(yù)訓(xùn)練后的后續(xù)階段應(yīng)該能夠消除這些幻覺，但由于上一節(jié)中描述的原因，這并未完全實(shí)現(xiàn)。
總結(jié)
OpenAI 表示：「我們希望本文中的統(tǒng)計學(xué)視角能夠闡明幻覺的本質(zhì)，并駁斥一些常見的誤解」：
有人宣稱：幻覺可以通過提高準(zhǔn)確度來消除，因為 100% 準(zhǔn)確的模型永遠(yuǎn)不會產(chǎn)生幻覺。
發(fā)現(xiàn)：準(zhǔn)確度永遠(yuǎn)不會達(dá)到 100%，因為無論模型規(guī)模、搜索和推理能力如何，有些現(xiàn)實(shí)世界的問題本質(zhì)上是無法回答的。
有人宣稱：幻覺是不可避免的。
發(fā)現(xiàn)：幻覺并非不可避免，因為語言模型在不確定時可以放棄回答。
有人宣稱：避免幻覺需要一定程度的智能，而這只有大型模型才能實(shí)現(xiàn)。
發(fā)現(xiàn)：小型模型更容易了解自身的局限性。例如，當(dāng)被要求回答毛利語問題時，一個不懂毛利語的小型模型可以直接回答「我不知道」，而一個認(rèn)識一些毛利語的模型則必須確定其置信度。正如論文中所討論的，「校準(zhǔn)」所需的計算量遠(yuǎn)小于保持準(zhǔn)確。
有人宣稱：幻覺是現(xiàn)代語言模型的一個神秘缺陷。
發(fā)現(xiàn)：我們可以理解幻覺產(chǎn)生以及在評估中獲得獎勵的統(tǒng)計學(xué)機(jī)制。
有人宣稱：要測量幻覺，我們只需要一個好的幻覺評估。
發(fā)現(xiàn)：已有研究者發(fā)表了一些幻覺評估。然而，一個好的幻覺評估與數(shù)百種傳統(tǒng)的基于準(zhǔn)確度的評估相比幾乎沒有效果，這些評估會懲罰謙遜并獎勵猜測。相反，所有主要的評估指標(biāo)都需要重新設(shè)計，以獎勵不確定性的表達(dá)。
OpenAI 表示：「我們最新的模型幻覺率更低，并且我們將繼續(xù)努力，進(jìn)一步降低語言模型輸出的置信錯誤率。」
順帶一提，據(jù) TechCrunch 報道，OpenAI 正在重組其模型行為（Model Behavior）團(tuán)隊，這是一支規(guī)模雖小但頗具影響力的研究人員團(tuán)隊，他們決定著該公司的 AI 模型與人互動的方式?，F(xiàn)在，該團(tuán)隊將向 OpenAI 的后期訓(xùn)練主管 Max Schwarzer 匯報。
而該團(tuán)隊的創(chuàng)始負(fù)責(zé)人 Joanne Jang 則將在公司啟動一個新項目，名為 oai Labs。據(jù)她的推文介紹：「這是一個以研究為導(dǎo)向的團(tuán)隊，專注于發(fā)明和設(shè)計人們與 AI 協(xié)作的新界面原型?！?/p>
https://openai.com/index/why-language-models-hallucinate/
https://techcrunch.com/2025/09/05/openai-reorganizes-research-team-behind-chatgpts-personality/
https://x.com/joannejang/status/1964107648296767820
特別聲明：以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布，本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
