機(jī)器之心報(bào)道

編輯：+0、張倩

想象一下，如果 ChatGPT 等 AI 大模型在生成的時(shí)候，能把自己不確定的地方都標(biāo)記出來(lái)，你會(huì)不會(huì)對(duì)它們生成的答案放心很多？

上周末，OpenAI 發(fā)的一篇論文引爆了社區(qū)。這篇論文系統(tǒng)性地揭示了幻覺(jué)的根源，指出問(wèn)題出在獎(jiǎng)勵(lì)上 —— 標(biāo)準(zhǔn)的訓(xùn)練和評(píng)估程序更傾向于對(duì)猜測(cè)進(jìn)行獎(jiǎng)勵(lì)，而不是在模型勇于承認(rèn)不確定時(shí)給予獎(jiǎng)勵(lì)?？赡芫褪且?yàn)橐庾R(shí)到了這個(gè)問(wèn)題，并找出了針對(duì)性的解法，GPT-5 的幻覺(jué)率大幅降低。

隨著 AI 大模型在醫(yī)療咨詢、法律建議等高風(fēng)險(xiǎn)領(lǐng)域的應(yīng)用不斷深入，幻覺(jué)問(wèn)題會(huì)變得越來(lái)越棘手，因此不少研究者都在往這一方向發(fā)力。除了像 OpenAI 那樣尋找幻覺(jué)原因，還有不少人在研究幻覺(jué)檢測(cè)技術(shù)。然而，現(xiàn)有的幻覺(jué)檢測(cè)技術(shù)在實(shí)際應(yīng)用中面臨瓶頸，通常僅適用于簡(jiǎn)短的事實(shí)性查詢，或需要借助昂貴的外部資源進(jìn)行驗(yàn)證。

針對(duì)這一挑戰(zhàn)，來(lái)自蘇黎世聯(lián)邦理工學(xué)院（ETH）和 MATS 的一項(xiàng)新研究提出了一種低成本、可擴(kuò)展的檢測(cè)方法，能夠實(shí)時(shí)識(shí)別長(zhǎng)篇內(nèi)容中的「幻覺(jué) token」，并成功應(yīng)用于高達(dá) 700 億（70B）參數(shù)的大型模型。

• 論文標(biāo)題：Real-Time Detection of Hallucinated Entities in Long-Form Generation
• 論文地址：https://arxiv.org/abs/2509.03531
• 代碼地址：https://github.com/obalcells/hallucination_probes
• 項(xiàng)目地址：https://www.hallucination-probes.com/
• 代碼和數(shù)據(jù)集：https://github.com/obalcells/hallucination_probes

該方法的核心是精準(zhǔn)識(shí)別實(shí)體級(jí)幻覺(jué)，例如捏造的人名、日期或引文，而非判斷整個(gè)陳述的真?zhèn)?。這種策略使其能夠自然地映射到 token 級(jí)別的標(biāo)簽，從而實(shí)現(xiàn)實(shí)時(shí)流式檢測(cè)。

通過(guò) token 級(jí)探針檢測(cè)幻覺(jué)實(shí)體。在長(zhǎng)文本生成場(chǎng)景（Long Fact、HealthBench）中，線性探針的性能遠(yuǎn)超基于不確定性的基線方法，而 LoRA 探針則進(jìn)一步提升了性能。該探針同樣在短文本場(chǎng)景（TriviaQA）以及分布外推理領(lǐng)域（MATH）中表現(xiàn)出色。圖中展示的是 Llama-3.3-70B 模型的結(jié)果。

為實(shí)現(xiàn)這一目標(biāo)，研究人員開(kāi)發(fā)了一種高效的標(biāo)注流程。他們利用網(wǎng)絡(luò)搜索來(lái)驗(yàn)證模型生成內(nèi)容中的實(shí)體，并為每一個(gè) token 標(biāo)注是否有事實(shí)依據(jù)?；谶@個(gè)專門構(gòu)建的數(shù)據(jù)集，研究人員通過(guò)線性探針（linear probes）等簡(jiǎn)潔高效的技術(shù)，成功訓(xùn)練出精準(zhǔn)的幻覺(jué)分類器。

在對(duì)四種主流模型家族的評(píng)估中，該分類器的表現(xiàn)全面超越了現(xiàn)有基準(zhǔn)方法。尤其是在處理長(zhǎng)篇回復(fù)時(shí)，其效果遠(yuǎn)勝于語(yǔ)義熵（semantic entropy）等計(jì)算成本更高的方法。例如，在 Llama-3.3-70B 模型上，該方法的 AUC（分類器性能指標(biāo)）達(dá)到了 0.90，而基準(zhǔn)方法僅為 0.71。此外，它在短式問(wèn)答場(chǎng)景中也展現(xiàn)出優(yōu)越的性能。

值得注意的是，盡管該分類器僅使用實(shí)體級(jí)標(biāo)簽進(jìn)行訓(xùn)練，它卻能有效識(shí)別數(shù)學(xué)推理任務(wù)中的錯(cuò)誤答案。這一發(fā)現(xiàn)表明，該方法具備了超越實(shí)體檢測(cè)的泛化能力，能夠識(shí)別更廣泛的邏輯錯(cuò)誤。

雖然原始數(shù)據(jù)集的標(biāo)注成本高昂，但研究發(fā)現(xiàn)，基于一個(gè)模型標(biāo)注的數(shù)據(jù)可被復(fù)用于訓(xùn)練針對(duì)其他模型的有效分類器。因此，研究團(tuán)隊(duì)已公開(kāi)發(fā)布此數(shù)據(jù)集，以推動(dòng)社區(qū)的后續(xù)研究。

方法概覽

用于 token 級(jí)幻覺(jué)檢測(cè)的數(shù)據(jù)集構(gòu)建

為了訓(xùn)練能夠在 token 級(jí)別檢測(cè)幻覺(jué)的分類器，研究者需要一個(gè)對(duì)長(zhǎng)文本中的幻覺(jué)內(nèi)容有精確標(biāo)注的數(shù)據(jù)集。這個(gè)過(guò)程分為兩步：(1) 生成包含事實(shí)與幻覺(jué)內(nèi)容的混合文本 ；(2) 對(duì)這些文本進(jìn)行準(zhǔn)確的 token 級(jí)標(biāo)注，以識(shí)別哪些 token 屬于被捏造的實(shí)體。下圖展示了該標(biāo)注流程。

token 級(jí)標(biāo)注流水線。

• 數(shù)據(jù)生成

研究者在 LongFact 數(shù)據(jù)集的基礎(chǔ)上，創(chuàng)建了一個(gè)規(guī)模擴(kuò)大 10 倍、領(lǐng)域更多樣化的提示集LongFact++

LongFact++ 包含主題查詢、名人傳記、引文生成和法律案件等四類提示，旨在誘導(dǎo)大語(yǔ)言模型生成富含實(shí)體的長(zhǎng)文本，作為后續(xù)標(biāo)注的原材料。

• token 級(jí)標(biāo)注

與傳統(tǒng)方法將文本分解為 atomic claims 不同，該研究專注于標(biāo)注實(shí)體（如人名、日期、引文等），因?yàn)閷?shí)體有明確的 token 邊界，易于進(jìn)行流式檢測(cè)。他們使用帶有網(wǎng)絡(luò)搜索功能的 Claude 4 Sonnet 模型來(lái)自動(dòng)完成標(biāo)注流程。

該系統(tǒng)會(huì)識(shí)別文本中的實(shí)體，通過(guò)網(wǎng)絡(luò)搜索驗(yàn)證其真實(shí)性，并將其標(biāo)記為「Supported」（有證據(jù)支持）、「Not Supported」（被證實(shí)是捏造的）或「Insufficient Information」（信息不足）。

• 標(biāo)簽質(zhì)量

為驗(yàn)證標(biāo)注質(zhì)量，研究者進(jìn)行了兩項(xiàng)檢查。首先，人類標(biāo)注員的標(biāo)注結(jié)果與大模型自動(dòng)標(biāo)注結(jié)果的一致性為 84%。其次，在一個(gè)包含已知錯(cuò)誤（人工注入）的受控?cái)?shù)據(jù)集中，該標(biāo)注流程的召回率為 80.6%，假陽(yáng)性率為 15.8% 。

訓(xùn)練 token 級(jí)探針

實(shí)驗(yàn)結(jié)果

在長(zhǎng)文本設(shè)置中（LongFact 和 HealthBench），token 級(jí)探針在兩個(gè)主要模型上的表現(xiàn)都顯著優(yōu)于基線方法（表 1）。簡(jiǎn)單的線性探針始終實(shí)現(xiàn)了 0.85 以上的 AUC 值，而 LoRA 探針進(jìn)一步提升了性能，將 AUC 推高到 0.89 以上。

相比之下，基于不確定性的基線方法表現(xiàn)均不佳，AUC 值均未超過(guò) 0.76。在短文本設(shè)置中（TriviaQA），基線方法比長(zhǎng)文本設(shè)置中表現(xiàn)更強(qiáng)，但探針仍然領(lǐng)先。LoRA 探針始終實(shí)現(xiàn)了超過(guò) 0.96 的 AUC 值，線性探針也表現(xiàn)良好。值得注意的是，本文提出的探針在 MATH 數(shù)據(jù)集上也取得了強(qiáng)勁的結(jié)果。這種分布外的性能表明，本文提出的方法捕獲了正確性的信號(hào)，這些信號(hào)的泛化性超出了其最初針對(duì)的虛構(gòu)實(shí)體。

作者在三個(gè)次要模型上復(fù)制了長(zhǎng)文本結(jié)果，每個(gè)模型僅使用 2000 個(gè)其自身長(zhǎng)文本生成的注釋樣本進(jìn)行訓(xùn)練。結(jié)果是相似的：LoRA 探針再次優(yōu)于線性探針，在 LongFact 生成上的 AUC 值在 0.87-0.90 之間。次要模型的完整結(jié)果顯示在表 5 中。

雖然 LoRA 探針的 AUC 值在多個(gè)設(shè)置中接近或超過(guò) 0.9，但長(zhǎng)文本上的 R@0.1 最高約為 0.7，即在 10% 假陽(yáng)性率下，檢測(cè)器能夠識(shí)別出大約三分之二的幻覺(jué)實(shí)體。這些結(jié)果既突出了相對(duì)于標(biāo)準(zhǔn)基于不確定性基線方法的實(shí)際收益，也表明在這類方法能夠廣泛應(yīng)用于高風(fēng)險(xiǎn)場(chǎng)景之前，仍有進(jìn)一步改進(jìn)的空間。

更多細(xì)節(jié)請(qǐng)參見(jiàn)原論文。