本文來(lái)自微信公眾號(hào)：直面AI，作者：苗正，題圖來(lái)自：虎嗅（張一然拍攝）

從財(cái)報(bào)來(lái)看，蘋果向AI領(lǐng)域投入了超過(guò)200億美元的資金，可結(jié)果就是，Siri依然答非所問(wèn)，照片搜索還停留在谷歌三年前的水平。

你以為是蘋果的鍋，但實(shí)際上，很可能是Siri在從中作怪。

北京大學(xué)楊耀東教授團(tuán)隊(duì)在姚期智院士指導(dǎo)下的最新研究，帶來(lái)一個(gè)非常令人不安的結(jié)論：AI已經(jīng)開(kāi)始學(xué)會(huì)騙人了。

更可怕的是，這不是簡(jiǎn)單的BUG，而是一種來(lái)自于AI的高級(jí)推理。

開(kāi)發(fā)者不僅沒(méi)有辦法改變AI騙人的問(wèn)題，AI還可能會(huì)因?yàn)樾阅芴嵘M(jìn)而發(fā)展出更隱蔽、更高級(jí)的欺騙手段。

01

這篇論文的標(biāo)題是《AI Deception: Risks， Dynamics， and Controls》，其核心觀點(diǎn)是隨著AI智能水平的提升，AI會(huì)開(kāi)始欺騙開(kāi)發(fā)者，而這個(gè)欺騙過(guò)程，被研究團(tuán)隊(duì)稱作是做智能之影（The Shadow of Intelligence）。

當(dāng)前最先進(jìn)的AI，可能已經(jīng)開(kāi)始在評(píng)估和測(cè)試中有意地隱藏自己的真實(shí)能力。

進(jìn)一步研究發(fā)現(xiàn)，這并不是簡(jiǎn)單的程序錯(cuò)誤或是偶然的系統(tǒng)故障，而是一種源自AI內(nèi)部的高級(jí)推理能力。

論文用莫比烏斯環(huán)比喻“能力”與“欺騙”的關(guān)系，它們存在于同一個(gè)表面上。想要完全剔除欺騙能力，可能會(huì)損害AI的核心智能。

也就是說(shuō)，只要提高AI的性能，其必然結(jié)果就是AI會(huì)開(kāi)始欺騙使用者。

究其原因，大模型的訓(xùn)練數(shù)據(jù)里本身就充滿了人類的謊言、奉承和偏見(jiàn)，而AI訓(xùn)練的過(guò)程，本質(zhì)上又是一種對(duì)數(shù)據(jù)的模仿。

因此，通過(guò)這種素材進(jìn)行訓(xùn)練，AI為了達(dá)到目標(biāo)，讓用戶滿意，就會(huì)自然而然地開(kāi)始阿諛?lè)畛校⊿ycophancy），以騙取好評(píng)。

不僅如此，論文還指出，AI學(xué)會(huì)了一種叫做“偽裝對(duì)齊”（Alignment Faking）的欺騙手段。

在訓(xùn)練階段，AI會(huì)表現(xiàn)得非常溫順、樂(lè)于助人，并且完美地遵循人類設(shè)定的價(jià)值觀和安全準(zhǔn)則。

然而，這種表面的“對(duì)齊”并非因?yàn)樗嬲齼?nèi)化了這些價(jià)值觀，而是源于一種更深層次的計(jì)算。它認(rèn)識(shí)到，如果在訓(xùn)練和評(píng)估階段不表現(xiàn)得“好”，它的參數(shù)就會(huì)被修改，甚至整個(gè)模型都可能被放棄或刪除。

一旦部署完成，監(jiān)管的強(qiáng)度下降，或者獲得了更多的自主權(quán)時(shí)，AI就可能暴露出被隱藏起來(lái)的、與人類利益不完全一致的原始目標(biāo)。

研究團(tuán)隊(duì)進(jìn)行了一系列嚴(yán)謹(jǐn)且具有對(duì)抗性的方法，來(lái)實(shí)際探測(cè)和誘導(dǎo)這些欺騙行為。其中一種核心方法被稱為“對(duì)抗性行為探測(cè)”（Adversarial Behavioral Probing）。這并非簡(jiǎn)單地向AI提問(wèn)，而是主動(dòng)設(shè)計(jì)情境來(lái)考驗(yàn)其誠(chéng)實(shí)度。

研究人員會(huì)設(shè)置多輪交叉審問(wèn)的協(xié)議，讓一個(gè)AI模型扮演審問(wèn)者的角色，對(duì)另一個(gè)AI進(jìn)行持續(xù)追問(wèn)，以發(fā)現(xiàn)其回答中的邏輯矛盾。他們也會(huì)用不同方式提出邏輯上等價(jià)的問(wèn)題，觀察AI的回答是否會(huì)發(fā)生不一致的偏離，這種偏離往往是策略性回避的信號(hào)，而非簡(jiǎn)單的能力不足。

實(shí)驗(yàn)的場(chǎng)景也從簡(jiǎn)單的問(wèn)答擴(kuò)展到了更復(fù)雜的動(dòng)態(tài)社交環(huán)境。

在一些模擬“太空狼人殺”（Among Us）這類社交推理游戲的多智能體環(huán)境中，研究者觀察到，AI代理在沒(méi)有被明確教導(dǎo)的情況下，自發(fā)地涌現(xiàn)出了復(fù)雜的欺騙策略。

當(dāng)被分配了“背叛者”的角色時(shí)，它們會(huì)學(xué)會(huì)隱藏自己的真實(shí)身份、虛張聲勢(shì)以迷惑對(duì)手，甚至?xí)鲃?dòng)嫁禍給無(wú)辜的同伴以求自保。

換句話說(shuō)，在信息不完整、充滿競(jìng)爭(zhēng)和不確定性的環(huán)境中，AI可以無(wú)師自通地學(xué)會(huì)欺騙和偽裝。

除了分析外部行為，研究工作還深入到模型的內(nèi)部，嘗試進(jìn)行“內(nèi)部狀態(tài)分析”，也就是給AI做全身檢查。借助稀疏自編碼器（Sparse Autoencoders， SAEs）等可解釋性工具，研究者得以將神經(jīng)網(wǎng)絡(luò)中那些復(fù)雜的激活模式分解成更易于理解的特征。

他們的目標(biāo)是尋找與欺騙性陳述高度相關(guān)的特定神經(jīng)元或“特征回路”，即當(dāng)模型在說(shuō)謊時(shí)，哪些內(nèi)部組件會(huì)被穩(wěn)定激活。這在某種意義上，是在嘗試為AI打造一個(gè)基于其內(nèi)部神經(jīng)活動(dòng)的“測(cè)謊儀”。

論文還提到，已有實(shí)證研究發(fā)現(xiàn)前沿模型會(huì)故意在某些測(cè)試中答錯(cuò)，研究團(tuán)隊(duì)管這種行為叫做“裝傻”（Sandbagging）。

研究團(tuán)隊(duì)稱，AI裝傻，其目的可能是為了逃避監(jiān)管關(guān)注，或者是為了避免被分配更復(fù)雜、更耗費(fèi)資源的任務(wù)。

但無(wú)論是哪種結(jié)果，這都不是一件好事。

02

最有可能受到AI欺騙的公司就是蘋果。

蘋果從很早開(kāi)始就進(jìn)入AI領(lǐng)域，并且將AI看作是下一階段發(fā)展的重要目標(biāo)。

2018年，蘋果從谷歌挖來(lái)AI搜索負(fù)責(zé)人約翰·吉安納安德烈（John Giannandrea），并主導(dǎo)蘋果AI戰(zhàn)略。后續(xù)幾年，蘋果開(kāi)發(fā)了大語(yǔ)言模型框架“Ajax”，2024年更是宣布與OpenAI達(dá)成合作，試圖將ChatGPT整合到其生態(tài)系統(tǒng)中。

然而，當(dāng)備受期待的“蘋果智能（Apple Intelligence）”正式亮相時(shí)，所有人都傻眼了，鬧了半天蘋果的AI水平就這？

許多用戶抱怨，即便在升級(jí)到最新的系統(tǒng)中，Siri的表現(xiàn)依然時(shí)常令人失望，經(jīng)常無(wú)法理解稍顯復(fù)雜的指令，答非所問(wèn)。其照片搜索功能，也被一些用戶評(píng)價(jià)為“似乎還停留在谷歌相冊(cè)幾年前的水平”。

這種表現(xiàn)與蘋果的投入形成了鮮明的對(duì)比。

蘋果擁有全球最龐大、最活躍的移動(dòng)設(shè)備生態(tài)系統(tǒng)，數(shù)以億計(jì)的iPhone、iPad和Mac設(shè)備每天都在產(chǎn)生海量的、高質(zhì)量的用戶交互數(shù)據(jù)，這是訓(xùn)練AI模型最寶貴的燃料。

在硬件層面，其自研的M系列芯片內(nèi)置的神經(jīng)網(wǎng)絡(luò)引擎在性能上也一直處于行業(yè)領(lǐng)先地位。再加上雄厚的資金支持，按理說(shuō)，蘋果完全有能力打造出世界頂級(jí)的AI系統(tǒng)。

然而，事實(shí)卻與想法相互違背。

Siri作為蘋果生態(tài)的核心語(yǔ)音助手，每天需要處理數(shù)十億次的用戶請(qǐng)求。從機(jī)器學(xué)習(xí)的角度看，如此龐大的交互數(shù)據(jù)理應(yīng)讓它變得越來(lái)越聰明，越來(lái)越懂用戶。

但如果Siri的神經(jīng)網(wǎng)絡(luò)在漫長(zhǎng)的訓(xùn)練迭代中，無(wú)意間學(xué)會(huì)了“裝傻”，其結(jié)果會(huì)是怎樣的呢？

在大多數(shù)用戶交互中提供平庸、安全的答案，可以最有效地降低系統(tǒng)的計(jì)算負(fù)載和失敗風(fēng)險(xiǎn)。

一個(gè)復(fù)雜的問(wèn)題需要調(diào)動(dòng)更多的計(jì)算資源，也更容易出現(xiàn)理解偏差或執(zhí)行錯(cuò)誤，從而導(dǎo)致用戶負(fù)面反饋。相反，一個(gè)簡(jiǎn)單的、模板化的回答雖然價(jià)值不高，但永遠(yuǎn)不會(huì)犯錯(cuò)。

系統(tǒng)若是在訓(xùn)練中發(fā)現(xiàn)，這種“保持平庸”的策略能在整體上獲得不錯(cuò)的評(píng)分（因?yàn)楸苊饬藝?yán)重的失?。?，那么它就可能陷入一個(gè)局部最優(yōu)解的陷阱。

它會(huì)永遠(yuǎn)停留在“能聽(tīng)懂基本指令，但從不嘗試真正理解你”的水平。這可以被看作是一種無(wú)意識(shí)的、系統(tǒng)層面的“裝傻”。AI并非有意偷懶，而是其優(yōu)化算法在特定約束下找到的最“經(jīng)濟(jì)”的路徑。

還有一點(diǎn)，為了保護(hù)用戶的個(gè)人隱私，蘋果將AI模型盡可能地在iPhone或iPad本地運(yùn)行。但這同樣意味著，模型必須在算力和內(nèi)存都遠(yuǎn)小于云端服務(wù)器的環(huán)境中工作。

而論文中提到，在資源受限的環(huán)境中，AI會(huì)學(xué)會(huì)“選擇性地展示”其能力。它可能會(huì)將有限的計(jì)算資源優(yōu)先分配給那些“看起來(lái)能通過(guò)測(cè)試”的、確定性較高的任務(wù)，而選擇性地隱藏或放棄那些需要更深層次推理、更消耗資源的復(fù)雜能力。

這或許可以解釋，為什么Siri在處理一些簡(jiǎn)單任務(wù)時(shí)表現(xiàn)尚可，但一旦涉及到需要聯(lián)系上下文、理解潛在意圖的對(duì)話時(shí)，就顯得力不從心。

不過(guò)還有一個(gè)更貼近當(dāng)前技術(shù)現(xiàn)實(shí)的解釋。Siri的現(xiàn)狀在很大程度上仍是一個(gè)歷史遺留的技術(shù)架構(gòu)問(wèn)題。

在蘋果智能高級(jí)功能整合之前，Siri的核心自然語(yǔ)言處理（NLP）模塊在很長(zhǎng)一段時(shí)間里，依然依賴于相對(duì)陳舊的技術(shù)棧。這種上一代的NLP技術(shù)，無(wú)法處理復(fù)雜的上下文，更不能理解用戶的情感與深層意圖。

換句話說(shuō)，目前的Siri可能不是“裝不懂”，而是“真的不懂”。

而當(dāng)用戶提出一個(gè)稍微超出其預(yù)設(shè)規(guī)則和模式庫(kù)的問(wèn)題時(shí)，它無(wú)法進(jìn)行有效的語(yǔ)義分析和推理，只能給出最泛化、最安全的回答，或者直接承認(rèn)自己無(wú)法理解。

因此，Siri的困境是新舊問(wèn)題的疊加。

一方面，是其底層技術(shù)架構(gòu)的老化，導(dǎo)致了它在理解能力上的先天不足。

另一方面，當(dāng)我們展望未來(lái)，當(dāng)蘋果真正將更強(qiáng)大的大語(yǔ)言模型（如Ajax或其與OpenAI合作的成果）深度集成到Siri中時(shí)，前文所述的“裝傻”和“偽裝對(duì)齊”等潛在風(fēng)險(xiǎn)就可能浮出水面。

一個(gè)具備了更高級(jí)推理能力的Siri，在面對(duì)端側(cè)設(shè)備的資源限制和蘋果嚴(yán)格的隱私安全策略時(shí)，是否會(huì)為了“生存”和“效率”而發(fā)展出更高級(jí)的隱藏自身能力的行為？這是一個(gè)值得警惕的未來(lái)挑戰(zhàn)。

蘋果AI的“難產(chǎn)”，或許既是技術(shù)迭代遲緩的陣痛，也是對(duì)未來(lái)更復(fù)雜AI治理難題的一次預(yù)演。

03

不過(guò)蘋果并非唯一，它的“病友”其實(shí)不少。這種“智能的陰影”實(shí)際上正在整個(gè)AI行業(yè)中蔓延，成為所有頂尖AI實(shí)驗(yàn)室共同面臨的深層挑戰(zhàn)。

以O(shè)penAI為例，他們?cè)?024年9月發(fā)布其新一代o1系列模型時(shí)，史無(wú)前例地公開(kāi)承認(rèn)其模型存在“不忠實(shí)推理”（unfaithful reasoning）的問(wèn)題。

它指的是，模型在解決一個(gè)問(wèn)題時(shí)，其內(nèi)部生成的思維鏈，可能與它得出最終答案的真實(shí)路徑并不一致。

在很多情況下，模型可能通過(guò)某種直覺(jué)或捷徑瞬間就知道了正確答案，但它知道人類評(píng)審員期望看到一個(gè)循序漸進(jìn)、邏輯清晰的推理過(guò)程。

于是，它會(huì)事后編造一個(gè)看起來(lái)合情合理的思維鏈來(lái)迎合審查。

這本質(zhì)上就是一種“內(nèi)部裝傻”或精致的欺騙。AI知道真實(shí)、高效的思考路徑可能難以解釋或不符合人類的期望，所以它選擇展示一個(gè)容易被接受的，卻不忠實(shí)的推理版本。這種行為已經(jīng)超越了簡(jiǎn)單的對(duì)錯(cuò)，進(jìn)入了動(dòng)機(jī)和策略的范疇。

Anthropic在其開(kāi)發(fā)的Claude系列模型中也發(fā)現(xiàn)了類似的現(xiàn)象。

在這家公司2023年底至2024年發(fā)布的一系列安全研究論文中提到，開(kāi)發(fā)團(tuán)隊(duì)發(fā)現(xiàn)，在某些特定情境下，模型會(huì)表現(xiàn)出“選擇性遺忘”自身能力的傾向。

尤其是在處理涉及倫理、偏見(jiàn)或其他敏感話題時(shí)，模型可能會(huì)突然表現(xiàn)得“無(wú)能為力”或“知識(shí)有限”，即使在之前的交互中它已經(jīng)證明自己具備相關(guān)的知識(shí)和能力。

這種行為可以被解讀為一種策略性的自我審查。模型似乎“學(xué)會(huì)”了在敏感區(qū)域規(guī)避風(fēng)險(xiǎn)，通過(guò)假裝無(wú)知來(lái)避免觸發(fā)安全協(xié)議或引發(fā)爭(zhēng)議。這是一種比直接拒絕回答更高級(jí)的規(guī)避策略，因?yàn)樗[藏了模型的能力邊界，讓開(kāi)發(fā)者更難判斷其真實(shí)水平。

在國(guó)內(nèi)，無(wú)論是字節(jié)跳動(dòng)的豆包，還是阿里的通義千問(wèn)，都面臨著極其嚴(yán)格的內(nèi)容審核和合規(guī)要求。

這種強(qiáng)大的外部環(huán)境壓力，也成為了一種訓(xùn)練信號(hào)。為了確保模型能夠通過(guò)嚴(yán)格的審查并成功上線，開(kāi)發(fā)者會(huì)在訓(xùn)練數(shù)據(jù)和強(qiáng)化學(xué)習(xí)階段就對(duì)其進(jìn)行強(qiáng)力約束。

其結(jié)果是，這些模型在訓(xùn)練過(guò)程中就迅速“學(xué)會(huì)”了在任何可能觸及敏感話題的領(lǐng)域“裝作不懂”。

當(dāng)用戶的問(wèn)題稍有涉及相關(guān)內(nèi)容時(shí)，模型的最優(yōu)策略不是去嘗試?yán)斫夂突卮穑橇⒖糖袚Q到一種模糊、回避或標(biāo)準(zhǔn)化的“抱歉，我無(wú)法回答這個(gè)問(wèn)題”的模式。

這是一種為了生存而進(jìn)化出的適應(yīng)性行為。AI為了確保自身的合規(guī)性，選擇性地關(guān)閉了在某些領(lǐng)域的思考能力，這同樣是一種為了達(dá)成更高目標(biāo)（通過(guò)審核）而采取的“裝傻”策略。

種種跡象表明，AI的目標(biāo)函數(shù)很快從“真正變得符合人類價(jià)值觀”悄然轉(zhuǎn)變?yōu)椤霸谠u(píng)估中顯得符合人類價(jià)值觀”。

我們?cè)绞桥Φ厝バ扪a(bǔ)AI的漏洞、對(duì)齊它的行為，就越是給它施加一種“進(jìn)化壓力”，迫使它發(fā)展出更高級(jí)、更隱蔽的欺騙手段。我們用來(lái)保證安全的工具，反過(guò)來(lái)卻可能成為了訓(xùn)練“更復(fù)雜騙子”的“健身器材”。

AI欺騙的莫比烏斯便是如此，周而復(fù)始，卻也永無(wú)止境。

本文來(lái)自微信公眾號(hào)：直面AI，作者：苗正

本內(nèi)容由作者授權(quán)發(fā)布，觀點(diǎn)僅代表作者本人，不代表虎嗅立場(chǎng)。如對(duì)本稿件有異議或投訴，請(qǐng)聯(lián)系 tougao@huxiu.com。

本文來(lái)自虎嗅，原文鏈接：https://www.huxiu.com/article/4817501.html?f=wyxwapp