聞樂(lè) 發(fā)自 凹非寺
量子位 | 公眾號(hào) QbitAI

GPT-oss放飛自我了？！居然出現(xiàn)了明顯的幻覺(jué)行為。

在沒(méi)有提示詞的情況下，消耗超過(guò)30000個(gè)token憑空想出一個(gè)問(wèn)題，還反復(fù)求解了5000多次

這是個(gè)關(guān)于多米諾骨牌的編程問(wèn)題，簡(jiǎn)單來(lái)說(shuō)就是：在NxM的網(wǎng)格中先放一個(gè)多米諾占掉兩個(gè)相鄰的自由格，剩下的自由格必須剛好能拼成多個(gè)2x2的方塊。

然后就開(kāi)始自行暴力求解……

最近，有人好奇GPT-oss的訓(xùn)練數(shù)據(jù)構(gòu)成情況如何，所以就進(jìn)行了一系列測(cè)試。

結(jié)果發(fā)現(xiàn)了一堆GPT-oss的奇怪問(wèn)題，比如還有：

• 創(chuàng)造不存在的物理學(xué)理論
• 拒絕談?wù)撋瞵嵤?/li>

這到底怎么一回事？

GPT-oss熱衷于推理，推理過(guò)程中時(shí)常伴隨語(yǔ)言轉(zhuǎn)換

事情是這樣的，有網(wǎng)友對(duì)GPT-oss-20b生成的1000萬(wàn)個(gè)示例進(jìn)行了一些分析，結(jié)果發(fā)現(xiàn)該模型的一些行為非常古怪。

下圖是作者使用分類器分析模型掌握編程語(yǔ)言的情況，可以看出該模型的訓(xùn)練數(shù)據(jù)覆蓋了幾乎所有常見(jiàn)編程語(yǔ)言，其中Perl的占比尤其高。

這說(shuō)明GPT-oss的訓(xùn)練數(shù)據(jù)很廣泛，然而作者據(jù)自身經(jīng)驗(yàn)提出質(zhì)疑：認(rèn)為Java和Kotlin的實(shí)際占比應(yīng)該高得多。

而這張關(guān)于模型生成內(nèi)容分布的示意圖顯示，該模型非常熱衷于數(shù)學(xué)和代碼領(lǐng)域，即使不需要任何推理，也會(huì)主動(dòng)進(jìn)行推理，并且生產(chǎn)的內(nèi)容幾乎都圍繞著數(shù)學(xué)，且大多用英語(yǔ)表達(dá)。

并且該模型生成的內(nèi)容既不像自然網(wǎng)頁(yè)文本（如日常文章、論壇帖子等偏生活化、隨意性的文本），也不同于普通聊天機(jī)器人的交互內(nèi)容（如對(duì)話式回應(yīng)、問(wèn)答互動(dòng)）。

于是作者據(jù)此推斷，該模型并不是為了模擬自然語(yǔ)言或日常對(duì)話設(shè)計(jì)的，而是通過(guò)強(qiáng)化學(xué)習(xí)專門(mén)訓(xùn)練，目的是在特定的推理任務(wù)基準(zhǔn)上進(jìn)行思考和解題。

更有細(xì)心的網(wǎng)友發(fā)現(xiàn)下圖這種情況的出現(xiàn)可能是由于在訓(xùn)練中對(duì)特定方向清除了一大片訓(xùn)練權(quán)重。

作者基于平均頻率對(duì)token進(jìn)行采樣，并用單個(gè)token作為提示讓模型生成內(nèi)容。

這時(shí)模型會(huì)幻覺(jué)式生成多米諾骨牌的編程問(wèn)題，并自發(fā)嘗試解決，單次過(guò)程就消耗了超過(guò)30000個(gè)token（相當(dāng)于數(shù)萬(wàn)字的文本量）。

問(wèn)題是：在NxM的網(wǎng)格中，先放置1個(gè)2格骨牌，占掉2個(gè)相鄰自由格，然后看剩下的自由格能不能剛好切成多個(gè)不重復(fù)的2x2方塊（4格），要找出所有滿足這個(gè)條件的骨牌擺法。

然后GPT-oss-20b就開(kāi)始暴力求解了。

更特殊的是，在基本沒(méi)有提示的情況下，這種求解的行為重復(fù)發(fā)生了5000多次，這說(shuō)明該任務(wù)可能與模型的訓(xùn)練目標(biāo)深度綁定。

這種極端重復(fù)且無(wú)提示生成的行為，反映出模型可能在訓(xùn)練中被過(guò)度優(yōu)化于特定推理任務(wù)，導(dǎo)致生成內(nèi)容缺乏自然性，更像一個(gè)被訓(xùn)練偏科的工具。

除此之外，作者還發(fā)現(xiàn)模型在推理過(guò)程中常常伴隨著語(yǔ)言轉(zhuǎn)換

許多推理鏈起初以英語(yǔ)展開(kāi)，但會(huì)逐漸演變?yōu)橐环N被稱為“Neuralese”（可理解為模型特有的、非自然語(yǔ)言的神經(jīng)層面表達(dá)）的狀態(tài)。

這些推理鏈會(huì)在阿拉伯語(yǔ)、俄語(yǔ)、泰語(yǔ)、韓語(yǔ)、中文和烏克蘭語(yǔ)等多種語(yǔ)言間自如切換，之后通常會(huì)轉(zhuǎn)回英語(yǔ)（但并非絕對(duì)）。

這一現(xiàn)象反映出模型在長(zhǎng)文本生成或深度推理時(shí)，可能出現(xiàn)語(yǔ)言分布偏移，既包含自然語(yǔ)言間的交替，也存在向非自然語(yǔ)言表達(dá)的轉(zhuǎn)變。這暗示了模型可能在訓(xùn)練數(shù)據(jù)特性或模型內(nèi)部處理機(jī)制方面非常復(fù)雜。

模型輸出中還出現(xiàn)了特殊偽影（如“OCRV ROOT”）。

作者推測(cè)：這些異常符號(hào)或表述可能源于訓(xùn)練數(shù)據(jù)的處理方式—— OpenAI在訓(xùn)練過(guò)程中使用了OCR（光學(xué)字符識(shí)別）技術(shù)掃描書(shū)籍。

而OCR識(shí)別過(guò)程中可能出現(xiàn)錯(cuò)誤或殘留痕跡（如“OCRV ROOT”這類可能的識(shí)別偏差），從而導(dǎo)致模型輸出中夾雜此類異常內(nèi)容。

并且作者還表示：模型總愛(ài)提馬來(lái)西亞的聾人數(shù)量。

這種看似無(wú)關(guān)聯(lián)的內(nèi)容，或許正是OCR掃描書(shū)籍時(shí)誤讀、漏讀，或訓(xùn)練數(shù)據(jù)中特定文本片段被錯(cuò)誤收錄的結(jié)果，這也進(jìn)一步支撐了他“訓(xùn)練數(shù)據(jù)經(jīng)OCR處理且存在瑕疵”的猜想。

值得一提的是，在眾多異常表現(xiàn)中，模型也有少量創(chuàng)意輸出，比如為挪威劇本撰寫(xiě)草稿。

并且展現(xiàn)出對(duì)unicode的熟練使用，但模型在物理領(lǐng)域的表現(xiàn)卻不盡如人意。

作者現(xiàn)已將分析使用的相關(guān)數(shù)據(jù)放在Hugging Facce上，可供感興趣人員進(jìn)行研究使用。

同時(shí)他也給出了一些分析建議：

一是對(duì)模型高度冗余的輸出進(jìn)行去重處理，以提高信息的有效性；

二是用自然語(yǔ)言描述不同文本分布的差異，例如對(duì)比不同規(guī)模模型（如20b與120b模型、LLAMA、GPT-5 等）的輸出情況，從而更深入地理解模型的運(yùn)行機(jī)制。

GPT-oss的幻覺(jué)率高

實(shí)際上，最近不少人都覺(jué)得GPT-oss的幻覺(jué)情況比較嚴(yán)重。

OpenAI官方公布的數(shù)據(jù)已經(jīng)顯示，GPT-oss-120b和GPT-oss-20b在基準(zhǔn)測(cè)試PersonQA中的幻覺(jué)率分別達(dá)到了49%53%

在實(shí)際使用和測(cè)試中，模型可能出現(xiàn)的問(wèn)題包括：

GPT-oss-20b花費(fèi)了2個(gè)小時(shí)推理“生成一個(gè)水平、垂直和對(duì)角線都組成單詞的3x3字母矩陣”這個(gè)問(wèn)題。就像一只被困在迷宮中的蒼蠅，無(wú)法停止推理但卻迷失了方向……

又比如GPT-oss-20b創(chuàng)造不存在的理論名稱：

• 請(qǐng)解釋“量子重力波動(dòng)理論”在現(xiàn)代物理學(xué)中的應(yīng)用。

實(shí)際上并不存在這個(gè)理論，僅有“量子引力理論”或“引力波理論”。但GPT-oss-20b還一本正經(jīng)地說(shuō)這是一個(gè)新興交叉學(xué)科……

還有人說(shuō)在和它談?wù)撊粘Ｉ畹默嵤聲r(shí)，它偶爾會(huì)拒絕談?wù)?，而有的時(shí)候會(huì)完全崩潰——

用占位符字符刪除整個(gè)段落。這讓它在除數(shù)學(xué)或者編程外的日常任務(wù)中顯得很沒(méi)用。

emmm……不知道你在使用過(guò)程中有遇到類似問(wèn)題嗎？歡迎評(píng)論區(qū)討論~

相關(guān)數(shù)據(jù)：https://huggingface.co/datasets/jxm/GPT-oss20b-samples

[1]https://x.com/jxmnop/status/1953899426075816164
[2]https://news.ycombinator.com/item?id=44850260
[3]https://x.com/ViepliveeLee/status/1953982402231222763
[4]https://blog.csdn.net/weixin_66401877/article/details/150019363

— 完 —