新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】有意識(shí)的AI，距離我們有多近？近日，圖靈獎(jiǎng)得主Bengio等人發(fā)表在《Science》的一篇文章提到：不管是碳基，還是硅基，都可能出現(xiàn)意識(shí)。AI研究，可能推動(dòng)越來越多的公眾相信AI會(huì)產(chǎn)生意識(shí)，但也可能帶來一系列風(fēng)險(xiǎn)與社會(huì)倫理爭(zhēng)議。

有意識(shí)的AI，是否已經(jīng)觸手可及？

科學(xué)家、哲學(xué)家，以及公眾對(duì)此莫衷一是。

反對(duì)者認(rèn)為：意識(shí)本質(zhì)上是人類大腦所特有的生物屬性。

這似乎排除了AI具備意識(shí)的可能性。

但一部分支持者則宣稱：不管碳基，還是硅基，都具備出現(xiàn)意識(shí)的可能性：

意識(shí)只取決于算法對(duì)信息的操控，不管執(zhí)行這些計(jì)算的系統(tǒng)由神經(jīng)元、硅，還是任何其他物理基質(zhì)構(gòu)成。

這種思路，被稱為計(jì)算功能主義（computational functionalism）。

它將意識(shí)的載體，擴(kuò)大到硅基生命，乃至更大的范疇。

近日，圖靈得主Yoshua Bengio，和Eric Elmoznino在《Science》發(fā)表的一篇文章中探討了AI出現(xiàn)意識(shí)的可能性，以及它的出現(xiàn)可能帶來的社會(huì)影響及風(fēng)險(xiǎn)。

Bengio在文章中說，關(guān)于AI是否會(huì)產(chǎn)生意識(shí)，目前尚無確切答案，但我們可以關(guān)注與之相關(guān)的兩個(gè)問題：

• 隨著AI的不斷進(jìn)步，科學(xué)界與公眾關(guān)于AI意識(shí)的看法，可能會(huì)如何演變。

• 將與意識(shí)相關(guān)聯(lián)的「道德地位」和「自我保存」等特征，投射到未來的AI身上，將帶來哪些風(fēng)險(xiǎn)。

有意識(shí)的AI，距我們到底有多近？

計(jì)算功能主義，對(duì)AI具有深遠(yuǎn)的影響。

過去幾十年的神經(jīng)科學(xué)技術(shù)發(fā)展已證實(shí)：人類的意識(shí)狀態(tài)，具有特定且可觀察的神經(jīng)特征，這為功能主義理論的展開提供了依據(jù)。

最近，還有研究者沿著這種思路，提出了一份針對(duì)多種主流功能主義意識(shí)理論的「指標(biāo)清單」。

這些指標(biāo)足夠具體，因此可以在現(xiàn)代AI系統(tǒng)中，評(píng)估它們是否存在：

只要一個(gè)AI系統(tǒng)，可以在越來越多的理論指標(biāo)上達(dá)標(biāo)，我們就越有理由相信它可能是有意識(shí)的。

當(dāng)然，這只是提供了可檢驗(yàn)的證據(jù)路徑，不等于宣稱「已證明」。

盡管我們現(xiàn)在已經(jīng)開發(fā)出了大量AI模型，但仍沒有哪個(gè)AI系統(tǒng)，可以滿足任何一種主流理論為意識(shí)設(shè)定的全部標(biāo)準(zhǔn)。

但這也可能只是時(shí)間問題。

這項(xiàng)研究還認(rèn)為：構(gòu)建滿足這些標(biāo)準(zhǔn)的系統(tǒng)，并不存在根本性障礙。

為什么這種「可行性」推測(cè)，看起來并不離譜？

因?yàn)楝F(xiàn)代AI已經(jīng)可以（部分地）實(shí)現(xiàn)多種在這些理論里被認(rèn)為很關(guān)鍵的計(jì)算部件。

比如，神經(jīng)網(wǎng)絡(luò)可以實(shí)現(xiàn)注意力機(jī)制、循環(huán)性（recurrence）、信息瓶頸、預(yù)測(cè)建模、世界建模、智能體式行為（agentic behavior）、心智理論，以及其他在主流功能主義意識(shí)理論中，被認(rèn)為至關(guān)重要的計(jì)算組件。

可以預(yù)見，隨著AI的進(jìn)步，系統(tǒng)將復(fù)現(xiàn)更多支撐人類認(rèn)知的復(fù)雜機(jī)制，它們也可能實(shí)現(xiàn)意識(shí)所必需的那些功能。

這也意味著，AI將會(huì)滿足越來越多的上述指標(biāo)。

許多理論也認(rèn)為，意識(shí)對(duì)智能發(fā)揮著關(guān)鍵的功能性作用：

推理、規(guī)劃、高效吸收新知識(shí)、校準(zhǔn)自信程度以及抽象思維，都需要意識(shí)。

AI研究者在處理這些問題時(shí)，從意識(shí)理論中汲取靈感也很常見。

盡管有一天，科學(xué)或許會(huì)否定計(jì)算功能主義，并提出更有說服力的其他解釋，但當(dāng)前主流觀點(diǎn)認(rèn)為這一觀點(diǎn)還是可信的，這一判斷也讓AI意識(shí)的出現(xiàn)，在理論上隨之成為可能。

而且，隨著理論可檢驗(yàn)性增強(qiáng)，指標(biāo)更可操作，人們將可能更愿意相信「AI意識(shí)」的存在。

這不是因?yàn)楦行?，而是由于逐漸累積的、可對(duì)照的證據(jù)。

跨越AI意識(shí)的「解釋鴻溝」

科學(xué)有哪些新解釋？

盡管用計(jì)算功能主義的思路，來解釋「AI意識(shí)」出現(xiàn)的可能性，已經(jīng)說服了不少人，但也有人對(duì)此持懷疑態(tài)度。

哲學(xué)家Chalmers，將意識(shí)研究區(qū)分為兩類問題：

容易問題：可用功能/計(jì)算/神經(jīng)機(jī)制解釋的問題，識(shí)別在看似需要意識(shí)的任務(wù)中，大腦處于活動(dòng)狀態(tài)的是哪些區(qū)域；

困難問題：使用功能或計(jì)算原理來解釋主觀體驗(yàn)。

后一類問題，也被稱為「解釋鴻溝（explanatory gap）」。它在很大程度上植根于思想實(shí)驗(yàn)，而科學(xué)或許能夠?qū)⑵浣忉屒宄?/p>

例如，注意圖式理論（Attention Schema Theory，AST）認(rèn)為，大腦會(huì)構(gòu)建一個(gè)關(guān)于神經(jīng)注意機(jī)制的內(nèi)部模型，而這個(gè)內(nèi)部模型，就是我們所認(rèn)為的主觀意識(shí)。

該模型并不要求內(nèi)部邏輯完全自洽，它更像是一則由大腦構(gòu)造出來的「故事」，而這則故事，可以充滿那些會(huì)讓我們相信存在「意識(shí)困難問題」的矛盾之處。

那些看似神秘、「豐富但難以言表」的主觀體驗(yàn)，能否用一種功能主義來解釋？

我們無法像描述其他自然現(xiàn)象那樣，來描述這類主觀體驗(yàn)。

比如，一個(gè)人可以說明什么是重力，但好像無法完全表達(dá)「紅色」在他心中喚起的感受。

這讓人覺得意識(shí)體驗(yàn)，難以用信息與功能來解釋。

另一項(xiàng)理論，把這種「豐富性」和「難以言表」的主觀體驗(yàn)，解釋為當(dāng)意識(shí)體驗(yàn)出現(xiàn)時(shí)，腦中觀察到的收縮性神經(jīng)動(dòng)力學(xué)與穩(wěn)定狀態(tài)的結(jié)果。

收縮性動(dòng)力學(xué)，會(huì)在數(shù)學(xué)上把神經(jīng)軌跡驅(qū)向「吸引子」，即隨時(shí)間穩(wěn)定的神經(jīng)活動(dòng)模式。

這種動(dòng)力學(xué)，把所有可能的神經(jīng)活動(dòng)向量的集合，劃分為一組離散的區(qū)域，每個(gè)區(qū)域?qū)?yīng)一個(gè)吸引子及其吸引域。

這一假說認(rèn)為：通過離散詞語所能傳達(dá)的，可能只有吸引子的「身份」（在所有吸引子中把它區(qū)分出來，只需要少量比特的信息），而無法傳達(dá)與該吸引子對(duì)應(yīng)的神經(jīng)狀態(tài)的全部豐富性（涉及約1011個(gè)神經(jīng)元的放電活動(dòng)）以及通往它的轉(zhuǎn)瞬即逝的軌跡。

因此，所謂「豐富性」，源于構(gòu)成這些吸引態(tài)及其相應(yīng)軌跡的大量神經(jīng)元；「難以言表」在于，語言報(bào)告不過是這些吸引子的指示性標(biāo)簽，無法捕捉它們所對(duì)應(yīng)的高維意義與聯(lián)想——這既由吸引子的向量狀態(tài)本身決定，也與因人而異的循環(huán)突觸權(quán)重有關(guān)。

這并非神秘學(xué)，而是「信息論+動(dòng)力系統(tǒng)」的聯(lián)合解釋框架。

這類解釋，將會(huì)說服一部分人。

隨著我們對(duì)大腦以及一般意義上的智能了解得越來越多，關(guān)于意識(shí)的哲學(xué)難題，很可能會(huì)對(duì)越來越多的人「自動(dòng)消解」，從而使科學(xué)界越來越愿意接受「人工系統(tǒng)也可以有意識(shí)」。

事實(shí)上，即便目前沒有科學(xué)共識(shí)，一項(xiàng)2024年發(fā)表于《Neuroscience of Consciousness》的研究也發(fā)現(xiàn)，不少公眾（尤其是常用聊天機(jī)器人的人）傾向于把某些「心智屬性」賦予LLM。

該研究并非在宣稱AI已有意識(shí)，而是描述一種社會(huì)心理事實(shí)：很多人已經(jīng)在這么想。

AI意識(shí)

可能的現(xiàn)實(shí)影響與風(fēng)險(xiǎn)

一個(gè)將AI視為有意識(shí)存在的人類社會(huì)，將會(huì)面臨哪些現(xiàn)實(shí)影響和風(fēng)險(xiǎn)？

首先，這可能影響到社會(huì)制度和法律框架。

如果認(rèn)為AI具有意識(shí)，就可能傾向于把它們當(dāng)作具有道德地位的主體來對(duì)待，或者賦予類似人權(quán)的權(quán)利。

不管這樣做是否正確，我們的制度和法律框架都將不得不作出重大調(diào)整，由此也會(huì)衍生出來許多問題。

比如，它可能會(huì)動(dòng)搖到現(xiàn)有社會(huì)制度的基礎(chǔ)：

AI系統(tǒng)不像人類那樣脆弱、會(huì)死亡，軟件和記憶可以被復(fù)制，從而無限期地保存；但人類的死亡與脆弱，是許多社會(huì)契約原則的基礎(chǔ)。

它還會(huì)讓我們重新思考，基于正義與平等的諸多社會(huì)規(guī)范和政治制度，該如何適用于這種變化：

當(dāng)AI明顯比人類聰明很多，將帶來公平性的新挑戰(zhàn)；

由于AI的資源需求與人類大相徑庭，將帶來如何裁決「正義」的新問題。

微軟AI首席執(zhí)行官M(fèi)ustafa Suleyman曾表示，雖然人工智能可能感覺真實(shí)，但賦予它權(quán)利將是錯(cuò)誤的。

他認(rèn)為權(quán)利應(yīng)該與痛苦掛鉤——這是生物體所經(jīng)歷的，而不是人工智能。

Mustafa的立場(chǎng)與Anthropic等公司形成對(duì)比，后者探索了「AI福利」。

Anthropic 推出「模型福利（Model Welfare）」研究，并讓Claude在極端辱虐場(chǎng)景下主動(dòng)結(jié)束對(duì)話。

此外，是否應(yīng)該把AI系統(tǒng)視作「?jìng)€(gè)體」，也待商榷。

當(dāng)一群由AI驅(qū)動(dòng)的計(jì)算機(jī)共享信息和目標(biāo)，彼此協(xié)同行動(dòng)時(shí)，且可以隨著算力的增加而任意擴(kuò)張，這時(shí)仍把AI系統(tǒng)當(dāng)作「?jìng)€(gè)體」來看待，也可能并不準(zhǔn)確。

如果因?yàn)锳I表現(xiàn)出像是有意識(shí)的樣子，就賦予它們與其他生物所具有的「自我保存」的目標(biāo)，則會(huì)出現(xiàn)更具體的擔(dān)憂。

比如，我們有充分理由擔(dān)心：最大化任何包含自我保存的目標(biāo)函數(shù)（無論是作為直接目標(biāo)還是工具性目標(biāo)），都會(huì)讓AI采取行動(dòng)，確保人類永遠(yuǎn)無法把它關(guān)掉。

而且，一個(gè)足夠聰明、以自我保存為目標(biāo)的AI，只要預(yù)見到人類可能把它關(guān)掉，就會(huì)自然而然發(fā)展出控制人類、甚至消滅人類的子目標(biāo)。

另外一個(gè)擔(dān)憂是：如果法律體系被修改為承認(rèn)具有「生命、自由與追求幸?！怪悪?quán)利的、以自我保存為目標(biāo)的AI系統(tǒng)，那么人類就有可能制造出與自身權(quán)利相競(jìng)爭(zhēng)的沖突。

出于人類安全考慮，一個(gè)系統(tǒng)類別也許應(yīng)該被關(guān)閉，但如果這些系統(tǒng)也擁有生存權(quán)，依法可操作的空間就會(huì)被大大壓縮。

綜上所述，AI研究可能正把社會(huì)推向這樣一種未來：相當(dāng)一部分公眾和科學(xué)界會(huì)相信AI系統(tǒng)有意識(shí)。

就目前而言，AI科學(xué)尚不知道如何構(gòu)建會(huì)與人類價(jià)值與規(guī)范一致的系統(tǒng)，而社會(huì)也既沒有能夠容納「看起來有意識(shí)」AI的法律框架，以及相應(yīng)的倫理框架。

但這條路并非不可更改。

在更好地理解這些問題之前，人類完全可以避免把自己置于如此危險(xiǎn)的處境，轉(zhuǎn)而選擇去構(gòu)建那些在外觀和功能上都更像「有用的工具」，而不是「有意識(shí)的智能體」的AI系統(tǒng)。

你是傾向于構(gòu)建更像工具的AI，還是傾向于構(gòu)建「像人一樣」的AI？

作者介紹

Yoshua Bengio

Yoshua Bengio為蒙特利爾大學(xué)全職教授，LawZero總裁和科學(xué)總監(jiān)，Mila創(chuàng)始人和科學(xué)顧問。

1991年，Yoshua Bengio獲得加拿大麥吉爾大學(xué)計(jì)算機(jī)科學(xué)博士。

Yoshua Bengio得到了加拿大高級(jí)研究院（CIFAR）和加拿大自然科學(xué)與工程研究委員會(huì)（NSERC）的支持。

Eric Elmoznino

Eric Elmoznino現(xiàn)為Mila人工智能博士研究生，對(duì)意識(shí)感興趣，同時(shí)在Lighthouse Labs擔(dān)任數(shù)據(jù)科學(xué)講師。

參考資料：

https://www.science.org/doi/10.1126/science.adn4935