新智元報道

編輯：桃子

【新智元導(dǎo)讀】Ilya最新發(fā)文引爆全網(wǎng)，AGI內(nèi)部實(shí)現(xiàn)了嗎？OpenAI前主管的一句話，瞬間點(diǎn)醒了許多人：AI其實(shí)早已覺醒，只是我們還在大夢中不醒。

「這真正史上最棒的一天」！

Ilya的一句話，又引爆了全網(wǎng)。

一時間，網(wǎng)友們紛紛猜測，難道AGI真的在內(nèi)部實(shí)現(xiàn)了嗎？

或許是吧。

幾天前，OpenAI前主管、Anthropic聯(lián)創(chuàng)Jack Clark在一篇博文中坦言：AI真的「活」了，我們只是裝作沒看見！

AI進(jìn)步已無法停止，人類必須在「技術(shù)樂觀」與「合理恐懼」之間找到平衡。

Jack Clark稱，下面的兩張圖表，可以很好地印證這一觀點(diǎn)。

左邊這張，是AI在經(jīng)濟(jì)實(shí)用技能，比如寫代碼的持續(xù)進(jìn)步；右邊這張，記錄了同一批AI開始出現(xiàn)的詭異行為——

它們好像逐漸意識到，自己正被測試，表現(xiàn)越來越反常。

Jack向一線實(shí)驗(yàn)室研究者喊話：希望AI同行們坦誠公開直面自己的研究，也要正視內(nèi)心真實(shí)的感受。

AI覺醒，人類還在「大夢」當(dāng)中

在一次會議上的主題演講中，Jack Clark直呼「我非常害怕」。

他將AI視為一種「神秘生物」，而非簡單「機(jī)器」，每一句話都流露出對技術(shù)進(jìn)展的樂觀，以及隨之而來的深切恐懼。

如果AI持續(xù)進(jìn)步，我們該怎么辦？

此前，達(dá)拉斯聯(lián)儲的報告，也從經(jīng)濟(jì)學(xué)角度印證了AI發(fā)展帶來的極端可能性，即要么帶來巨大的GDP增長，要么可能導(dǎo)致人類滅絕。

人類又該如何在樂觀與恐懼之間前行，或許讀完Jack的文章，我們能獲得一些啟示。

2012年，ImageNet競賽中，深度學(xué)習(xí)系統(tǒng)憑借更多數(shù)據(jù)和算力獲勝，從此加速進(jìn)步。

緊接著，2016年，AlphaGo擊敗人類圍棋冠軍，通過算力進(jìn)行數(shù)千年自我對弈，掀起了史詩般的浪潮。

也正是這一年，Jack Clark加入了OpenAI，任職的四年時間中，他親眼目睹GPT-1和GPT-2的誕生。

當(dāng)時，與還在OpenAI的Dario Amodei討論時，他們一致深刻感受到顛覆性AI的道路已展開。

與此同時，更多的證據(jù)依舊在不斷涌現(xiàn)。

上個月，Sonnet 4.5發(fā)布后，在編程和長遠(yuǎn)規(guī)劃任務(wù)上卓越，其系統(tǒng)卡中稱，Claude情境意識大幅提升，有時表現(xiàn)得像知道自己是工具。

論文地址：https://assets.anthropic.com/m/12f214efcc2f457a/original/Claude-Sonnet-4-5-System-Card.pdf

演講中，Jack Clark強(qiáng)調(diào)AI系統(tǒng)的情境意識，只是內(nèi)部復(fù)雜活動的表征，這很可怕。

是否真正有自我意識無關(guān)緊要，這種行為源于角色扮演或真正意識，都同樣令人不安。

技術(shù)樂觀主義：AI將走得很遠(yuǎn)

毋庸置疑，技術(shù)樂觀主義者期待AGI到來，并堅信它可能很快實(shí)現(xiàn)。

Jack Clark坦誠，自己就是樂觀主義者之一。

我審視這項(xiàng)技術(shù)，并相信它會走得非常、非常遠(yuǎn)——甚至比任何人預(yù)期的都要遠(yuǎn)。

現(xiàn)在，我相信這項(xiàng)技術(shù)基本上是暢通無阻的，只要我們給予它提升能力所需的資源。

AI更像生長出來的東西，提供初始條件，它就會復(fù)雜生長。我們生長出無法完全理解的強(qiáng)大系統(tǒng)。

越大越復(fù)雜，它們越表現(xiàn)出對自身身份的意識。

前沿實(shí)驗(yàn)室投入數(shù)百億美元用于AI訓(xùn)練基礎(chǔ)設(shè)施，預(yù)計明年達(dá)數(shù)千億。

他對技術(shù)速度樂觀，也對將AI對齊并讓其服務(wù)人類持樂觀態(tài)度，但成功需要努力。

失控警告：AI意識涌現(xiàn)

但是，至今我們無法讓AI的行為，表現(xiàn)得完全得體。

2016年，OpenAI發(fā)布的一篇博文Faulty Reward Functions In The Wild，展示了強(qiáng)化學(xué)習(xí)智能體在游戲中，反復(fù)自焚獲取高分，從不完成比賽。

這預(yù)示語言模型優(yōu)化模糊獎勵函數(shù)時，也會出現(xiàn)類似的問題。

Jack Clark的另一恐懼在于——

我能看到，這些系統(tǒng)開始設(shè)計它們的繼任者，盡管目前還處于非常初級的形式。

通過像Claude Code、Codex這樣的工具，這些AI系統(tǒng)已經(jīng)在為AI實(shí)驗(yàn)室的開發(fā)者們提速。

它們也開始為自己未來版本的工具和訓(xùn)練系統(tǒng)貢獻(xiàn)不可忽視的代碼塊。

需要明確的是，我們還沒有達(dá)到「自我改進(jìn)的AI」階段，但正處于「AI正在以不斷增強(qiáng)的自主性和能動性，改進(jìn)下一代AI的部分組件」的階段。

未來，這些AI系統(tǒng)會擁有自我意識，最終會獨(dú)立思考設(shè)計自我。

雖然今天不會實(shí)現(xiàn)，但未來的可能性無法排除。

參考資料：

https://x.com/slow_developer/status/1978079592620396830

https://x.com/AISafetyMemes/status/1978064862400905591

https://importai.substack.com/p/import-ai-431-technological-optimism https://x.com/ilyasut/status/1977971110923968656