本文開始前，「象先志」先問大家三個問題，大家可以一起思考下

1. 1. AI為什么要騙你？

2. 2. 幻覺是大語言模型的bug還是feature？

3. 3. 為什么AI總是一本正經(jīng)地胡說八道？

OpenAI前段時間發(fā)了篇論文，題目叫 《Why language models hallucinate》，解釋為什么大語言模型會產(chǎn)生幻覺?！赶笙戎尽箷冉榻B下論文內(nèi)容，然后「象先志」再聊聊對這個問題一些不一樣的看法。

稍微有點硬核，希望大家耐心看到最后。這篇論文的基本結(jié)論，是大模型產(chǎn)生幻覺，原因是開發(fā)人員在訓(xùn)練它的時候鼓勵它這么做。就是說大模型天性是好的，是跟錯了人，后面路才走歪的。

為什么這么說呢？在訓(xùn)練大模型的時候，廠商內(nèi)部會跑很多的測試，來評價和校準(zhǔn)大模型的好壞。這些測試只看準(zhǔn)確率，不看錯誤率，所以哪怕模型不知道答案是什么，它還是會傾向猜一個答案。就跟我們考試的時候，哪怕不會做，答題卡上也要涂滿是一個道理。

要解決這個問題，那就對癥下藥嘛，論文作者呼吁大家要改變評測基準(zhǔn)，不要再搞那套基于準(zhǔn)確率的評估方法了，要鼓勵大模型承認自己的無知，而不是一本正經(jīng)的瞎咧咧。

論文主要說的就是這事，「象先志」想邏輯大家應(yīng)該很容易理解。坦白講，雖然說論文是OpenAI發(fā)的，但「象先志」覺得沒有什么新東西。當(dāng)然OpenAI出來發(fā)有個好處，人家行業(yè)地位擺著這，出來吼兩嗓子，有助于從業(yè)者更快地認識到問題，然后去針對性地解決。

聊完論文，「象先志」再聊下對模型幻覺問題的理解?！赶笙戎尽拐J為語言模型本質(zhì)上沒有幻覺不幻覺的概念，它們只是基于已有的信息，去預(yù)測下一個token。你訓(xùn)練數(shù)據(jù)里是什么樣的概率分布，它就會盡量去擬合這個分布，僅此而已。不管你怎樣去調(diào)整模型評估的方式方法，它其實仍然是在迎合新的評價指標(biāo)。

比如說，原來答錯不扣分，現(xiàn)在答錯要扣分，那模型肯定更謹(jǐn)慎，不確定的事實，不知道的答案，它就更多承認自己不確定或者不知道。

但這樣還是存在兩個問題。

第一，模型仍然是沒有事實和非事實的概念區(qū)分，它不是因為這個東西是幻覺，它才不輸出；它是因為這個輸出會扣分，它才不輸出。

這就引出了第二個問題。按照這個理解角度，要減少模型的幻覺，就是要合理設(shè)置模型的評估模式，去盡可能引導(dǎo)模型的輸出跟人類認知上的事實陳述重合。

這顯然是一種治標(biāo)不治本的方式，因為模型的輸出結(jié)果跟人類認為的事實是兩個語言集合，我們現(xiàn)在等于沒辦法，直接瞄準(zhǔn)后面這個集合做優(yōu)化，所以只能退而求其次，對前一個集合做間接的限制。

但這樣搞有多大效果？上限在哪里？都是不知道的。

打個比方吧。人發(fā)燒是因為身體內(nèi)的免疫系統(tǒng)在劇烈反應(yīng)，這個反應(yīng)是有一個根本的誘發(fā)因素的，比如說病毒感染。那現(xiàn)在要解決發(fā)燒的問題，一種辦法是直接對病毒做處理，上一些抗病毒的藥物，病毒解決了，身體自然就不發(fā)燒了。

還有一種辦法是什么呢？就是把體溫當(dāng)做優(yōu)化指標(biāo)，用藥物把免疫反應(yīng)按下去，或者在頭上敷冰塊，反正要達到降體溫的目的。

現(xiàn)在OpenAI提的解決方案就類似于后者。這個方法有沒有用？當(dāng)然有用，就像人如果一直發(fā)燒發(fā)高燒，腦子就燒壞掉了，先把體溫降下來、緩解癥狀，是治療步驟中必要的環(huán)節(jié)。

OpenAI新的GPT-5的確也比之前模型要好很多，幻覺癥狀有明顯的緩解。但這能不能解決根本問題呢？我覺得很難，你最后還是需要找到發(fā)燒的原因才行。

只不過跟生病不一樣，人發(fā)燒是有客觀原因的，可能受限于醫(yī)學(xué)發(fā)展程度醫(yī)生找不到，但我們知道這個原因是客觀存在的。而語言模型的幻覺問題有可能是與生俱來的，發(fā)燒就是它身體正常新陳代謝的一部分，你解決不了。沒那個能力，知道吧？

順便說一句 ，剛才「象先志」又被AI給騙了?！赶笙戎尽乖儐柨聺崼@得過幾個世界冠軍時，ChatGPT非常篤定地回答，“截止2025年9月，柯潔共獲得9個世界冠軍，還列出了是哪幾次以及哪一年?！?/strong>

本來以為是GPT語料被污染了，因為年初LG杯決賽時柯潔因不服裁判棄賽，隨后把微博簽名改為“九冠王”。但「象先志」定睛一看，發(fā)現(xiàn)情況并沒有那么復(fù)雜，因為ChatGPT回答里并沒有列出2025年的LG杯。

九冠的柯潔，只是它單純的幻覺。