新智元報道

編輯：Aeneas 好困

【新智元導(dǎo)讀】GPT-5.2打贏Gemini 3.0 Pro，竟是靠高推理與海量Token「作弊」？網(wǎng)友的這個發(fā)現(xiàn)，在AI社區(qū)一石激起千層浪。更多網(wǎng)友七嘴八舌表示：GPT-5.2，并沒有那么好用！

太戲劇了。

OpenAI昨天剛放出大殺器GPT-5.2，今天就被曝疑似虛假營銷？

凌晨的科技圈，被一則爆料點燃——

一位用戶通過精細計算發(fā)現(xiàn)了「華點」：OpenAI在最新發(fā)布的基準(zhǔn)測試中，可能通過調(diào)整模型「推理力度」參數(shù)，讓GPT-5.2在關(guān)鍵評測中使用了遠超對手的算力資源。

一句話總結(jié)就是：在調(diào)整token使用后，GPT-5.2和Gemini 3 Pro在ARC AGI 2上的表現(xiàn)基本相當(dāng)。

具體來說，問題就出在這幾張圖上。

可以看到，OpenAI在基準(zhǔn)測試中使用了額外的token，至少是Gemini 3.0 Pro的兩倍。

這就像兩個棋手對弈，一方被允許思考一個小時，另一方卻只有十分鐘，然后宣布前者獲勝。

在這種情況下，結(jié)果還公平嗎？

OpenAI勝過谷歌，其實靠作弊？

昨天的AI圈，都被GPT-5.2吊打Gemini 3.0 Pro的結(jié)論所震撼，而前者在ARC AGI 2的精彩表現(xiàn)，則尤為出圈，被AI社區(qū)大加贊賞。

但現(xiàn)在，這些結(jié)果很可能注了水？

比如在備受關(guān)注的ARC AGI 2測試中，GPT-5.2 xhigh版得分52.9%，每個任務(wù)消耗約13.5萬個token。

按API定價計算，每個任務(wù)僅算力成本就高達1.9美元。

相比之下，谷歌Gemini 3.0 Pro以6.7萬token取得相似成績，效率高出整整一倍。

如果我們將算力投入標(biāo)準(zhǔn)化，就會發(fā)現(xiàn)兩個模型的真實能力幾乎并駕齊驅(qū)。

如果這一假設(shè)普遍成立，那么GPT 5.2在使用token數(shù)超過Gemini 3的兩倍的情況下，仍然在HLE、MMMU-Pro、Video-MMMU和Frontier Math Tier 4中表現(xiàn)不佳。

在GPQA上，它們也才基本相當(dāng)。而在Frontier Math Tier 3中，GPT 5.2 xhigh也就比Gemini 3 Pro高出2.7%的成績。

唯一例外的是GDPVal——一個由OpenAI自己創(chuàng)建的測試集。既當(dāng)裁判又當(dāng)運動員，結(jié)果的客觀性就有待考量了。

Ilya：我早說過了

其實，Ilya在之前的采訪中就已經(jīng)說過，現(xiàn)在的大模型基本都是為了榜單定向優(yōu)化的，榜單結(jié)果的水分都大得很。

業(yè)內(nèi)人士都知道，如今AI基準(zhǔn)測試的「軍備競賽」早已超出單純的技術(shù)競爭。各家廠商都在競相推出自己的評測標(biāo)準(zhǔn)，而這些標(biāo)準(zhǔn)往往有意無意地偏向自家模型。

這么干的也絕不僅僅是OpenAI一家。

在谷歌推出的FACTS Benchmark中，Gemini 2.5 Pro超越GPT-5的結(jié)果，也同樣得打個問號。

在SWE Bench（軟件工程評測）中，情況就更加復(fù)雜了。

不同模型在不同編程任務(wù)上各有所長，但沒有一個模型能在所有任務(wù)上全面領(lǐng)先。顯然，真實世界的問題遠比單一分?jǐn)?shù)復(fù)雜。

所以，這次事件就反映出了AI評測的根本困境——

如果GPT-5.2僅僅是通過消耗更多算力獲得了性能提升，那真的能智能進步嗎？還是僅僅是「暴力計算」的勝利呢？

對于這次OpenAI的「虛假營銷」，網(wǎng)友們也是議論紛紛。

有人表示，如果用戶得到的「推理力度」參數(shù)是一樣的，也用的是同樣的token，那OpenAI就不算虛假營銷。

但如果測評的和用戶使用的根本不是同樣的版本，那就是欺騙了。

也有一些人是站在OpenAI這一邊的。

他們覺得，即使增加Gemini 3的token數(shù)量，它也未必就能趕超GPT-5.2，這一點來說，前者的確落后了。

也有人說，既然模型的價格都是公開的，那就不構(gòu)成欺騙。

巧了不是，緊接著我們就發(fā)現(xiàn)，「貨不對板」這個問題的確有人提出來了。

在社區(qū)的另一篇帖子中，也有人指出了OpenAI的作弊問題——

早在GPT-5.1發(fā)布時，所有基準(zhǔn)測試中用的都是高推理力度（high），然而plus用戶卻只能使用中等的版本。

而現(xiàn)在的5.2版本中，OpenAI增加了更高的「xhigh」推理力度，所以基準(zhǔn)測試中顯示的性能，要遠遠超過ChatGPT付費用戶的實際體驗。

GPT-5.2的實際體驗如何

不看榜單，我們就來看看用戶的實際體驗究竟如何。

一位網(wǎng)友發(fā)帖稱，自己對GPT-5.2的第一印象并不是太好。

比如在檢查代碼時，它的幻覺現(xiàn)象非常嚴(yán)重。

網(wǎng)友本以為GPT-5.2會比5.1好得多，但實際用起來并非如此，它并不能理解他寫的函數(shù)代碼。

另一些網(wǎng)友反饋說，GPT-5.2似乎把成年人當(dāng)學(xué)齡前兒童對待，感覺不像是升級，反而是倒退。

OpenAI的核心用戶群體，仍然最想念GPT-4o。

總之，GPT-5.2的實際體驗跟基準(zhǔn)測試似乎相差很多，保不齊又是一個在紅色警報狀態(tài)下倉促拿出的產(chǎn)品。

被谷歌打得匆匆忙忙、連滾帶爬的OpenAI變成今天這個樣子，顯然不是一朝一夕的事。

OpenAI，變了

畢竟，當(dāng)一家機構(gòu)既是「研究AI的人」，又是「靠AI賣故事的人」，它還能誠實地面對那些刺耳的真相嗎？

根據(jù)Wired的最新調(diào)查，OpenAI內(nèi)部正在經(jīng)歷一場關(guān)于「真話權(quán)」的劇烈地震。

在面對「AI是否會搶走你的飯碗」這類致命問題時，OpenAI的策略已悄然轉(zhuǎn)變：閉上嘴，專心賣貨。

這種為了商業(yè)利益而犧牲學(xué)術(shù)獨立性的轉(zhuǎn)向，直接「氣跑」了自家的研究員。

「我們成了老板的喉舌」

回望2023年，OpenAI發(fā)布的重磅論文《GPTs Are GPTs》，直白地剖析了哪些行業(yè)最容易被AI顛覆，并在第二年登上了Science。

那時的他們，還敢于直視「技術(shù)性失業(yè)」的陰影。

論文地址：https://arxiv.org/abs/2303.10130

Science：https://www.science.org/doi/10.1126/science.adj0998

但到了今年9月，畫風(fēng)突變。

在新任首席經(jīng)濟學(xué)家Aaron Chatterji的帶領(lǐng)下，OpenAI發(fā)布了一份名為《全球用戶如何使用ChatGPT》的報告。

從學(xué)生寫作業(yè)到職場人做表，報告事無巨細地描繪了AI的美好圖景。

結(jié)論毫無懸念地一邊倒：AI是生產(chǎn)力的引擎，是經(jīng)濟價值的創(chuàng)造者。

企業(yè)用戶被引述稱，ChatGPT每天能幫他們省下40到60分鐘。

報告地址：https://www.nber.org/papers/w34255

對此，一位前員工吐槽道：「這簡直是為『AI創(chuàng)造價值』這一命題量身定做的軟廣，充滿了粉飾太平的味道?！?/p>

離職信里的「真相」

矛盾的爆發(fā)點，是報告作者之一、OpenAI經(jīng)濟研究骨干Tom Cunningham的離職。

過去一年，OpenAI對「負面研究」的審查愈發(fā)嚴(yán)苛。

那些探討AI如何替代入門級白領(lǐng)（如客服、行政）的課題，要么被要求「軟化措辭」，要么直接被束之高閣。

忍無可忍的Cunningham在Slack上留下了一封直白的告別信：

我們曾致力于嚴(yán)謹(jǐn)?shù)膶W(xué)術(shù)研究，現(xiàn)在卻淪為了公司的宣傳部門。

他認為，團隊不僅失去了研究AI負面影響的自由，反而被迫為公司「貼金」。

Cunningham并非個例。

• 前政策研究主管Miles Brundage離職時直言，公司「太高調(diào)、限制太多」，讓他「無法發(fā)表真正重要的觀點」。

• 超級對齊團隊的William Saunders因不滿公司「只顧推新產(chǎn)品、無視用戶風(fēng)險」而憤然出走。

• 前安全研究員Steven Adler更是公開炮轟ChatGPT可能誘發(fā)用戶的「精神危機和妄想」。

價值一萬億美元的「沉默」

面對Cunningham的離職，OpenAI高層上演了一出教科書般的危機公關(guān)。

首席戰(zhàn)略官Jason Kwon在備忘錄中回應(yīng)道：

既然是我們把AI推向了世界，我們就得負責(zé)構(gòu)建解決方案，而不是光盯著問題看。

翻譯一下就是：別再發(fā)論文論證AI會導(dǎo)致失業(yè)了，這不利于帶貨；多想想怎么夸我們的產(chǎn)品能提效吧。

OpenAI為什么要這么做？答案藏在賬本里。

如今的OpenAI早已不是當(dāng)年的非營利實驗室，它正沖刺1萬億美元的驚人估值，并籌備著史上最大規(guī)模的IPO。

• 它拿了微軟幾百億美元；

• 它需要芯片大佬們再投1000億；

• 它承諾未來要付給微軟2500億美元買云服務(wù)。

在天文數(shù)字的利益面前，「誠實」成了最昂貴的奢侈品。

如果你正準(zhǔn)備上市，正試圖說服全世界擁抱AI，你絕不希望自家的研究員跳出來說：「嘿，根據(jù)數(shù)據(jù)，這波AI可能會讓30%的白領(lǐng)失業(yè)?！?/p>

「歲月靜好」的另一邊

有趣的是，老對手Anthropic似乎拿到了完全相反的「劇本」。

他們的CEO Dario Amodei甚至公開「唱反調(diào)」，警告到2030年AI可能取代一半的入門級白領(lǐng)。

當(dāng)然，這未必全是出于誠實——很多人解讀，這不過是Anthropic為了換取監(jiān)管紅利而刻意販賣的「焦慮」。

但回看OpenAI，情況更為微妙。

如今掌管其經(jīng)濟研究團隊的，是前克林頓顧問、有著「災(zāi)難大師」之稱的頂級危機公關(guān)專家——Chris Lehane。

在這個精心修訂的新版本里，AI絕不可能是引發(fā)社會動蕩的「怪物」，它只會是幫你「每天省下40分鐘」的乖巧助手。

至于那些關(guān)于失業(yè)、動蕩和泡沫的尷尬真相？

噓，為了那1萬億的估值，請保持安靜。

參考資料

https://www.reddit.com/r/singularity/comments/1pkeb7v/deceptive_marketing_from_oai_benchmarks_were_run/

https://futurism.com/artificial-intelligence/openai-researcher-quits-hiding-truth

秒追ASI

?點贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點亮星標(biāo)，鎖定新智元極速推送！