導語

當數(shù)學函數(shù)被擴展到億萬維空間，它們似乎獲得了“智能”，一種從規(guī)模中涌現(xiàn)出的新特性。物理學家開始重新追問：當智能成為自然的一種現(xiàn)象，我們是否也需要建立“AI的物理學”？本期我們訪談中山大學黃海平教授，圍繞“AI的物理學”話題展開，探討是否可以找到物理的第一性原理理解大模型的行為、揭示智能的生成機制，以及這一探索如何反照人類自身的認知與意識。

黃海平丨受訪者

集智俱樂部｜整理

目錄

1. 用統(tǒng)計物理研究AI的起點在哪里？

2. 大模型興起前后研究路徑有何不同？

3. 第三條路可能是什么？

4. 您在這個領域做出了哪些成果？

5. 未來會朝向哪些方向繼續(xù)展開？

6. 如何看待新概念，例如“AI的數(shù)學”“AI的物理學”？

7. AI的物理學真的能建立起來嗎？

8. 如果AI的物理學建立起來，會帶來哪些改變？

9. “如果物理學不存在，可能只剩關聯(lián)或動力”，如何理解？

統(tǒng)計物理與AI結合需要走出第三條路

Q1：用統(tǒng)計物理研究AI的起點在哪里？

：去年（2024年）諾貝爾物理學獎頒獎的時候，有些人重新挖掘了這段歷史。我想做一個比較形象的比喻：我們可以把這段歷史看作是一部好萊塢大片。因為我們知道，好萊塢大片在講故事時，總會有一條清晰的邏輯線。當然，實際上在20世紀80年代，這段科學史存在著兩條并行的邏輯線。

第一條線可以追溯到1972年，實驗物理發(fā)現(xiàn)了一種奇怪的相，后來我們知道Giorgio Parisi解決了這個難題。那是從凝聚態(tài)物理中分離出來的研究方向，核心是“自旋玻璃”（spin glass）理論。它用來解釋某些磁性材料或摻雜材料中出現(xiàn)的“玻璃相”——也就是類似我們?nèi)粘Ｋ姷牟ＡB(tài)。對自然界這一復雜狀態(tài)的理解，正是從那里逐步演化出來的。Parisi 完成這項研究后，引發(fā)了人們對高維體系的關注，比如著名的 Sherrington–Kirkpatrick 模型的解析解就是這些發(fā)展中的里程碑。這條研究線由此奠定。與此同時，從1982年開始，另一條故事線也被開啟。John Hopfield 開始思考“大腦是如何工作的”。表面上看，自旋玻璃與大腦毫無關系，但是那時候剛好有人對這個問題感興趣（當然包括Hinton）。Hopfield 周圍也有很多的物理學大家，包括Philip Anderson、Giorgio Parisi、David Thouless等人，這些科學家后來都拿過諾貝爾獎。周圍有這樣一群人讓 Hopfield 意識到，高維系統(tǒng)的思想或許能與大腦相對應，于是他開啟了第二條研究路徑。當然，高維神經(jīng)計算在1970年代也有日本數(shù)學家Amari的重要貢獻。

這兩條線是并行發(fā)展的。Parisi 那條路線主要提供了方法和理論思想；而 Hopfield 那條線，則不斷帶來新的問題和挑戰(zhàn)。自1982年之后，人們開始嘗試用動力系統(tǒng)的方法去解釋真實大腦的活動，或者利用神經(jīng)動力學模擬大腦的集群行為。直到今天，人工智能（AI）與神經(jīng)科學（Neuroscience）的融合仍在繼續(xù)。許多從事理論物理的學者依然在使用 Parisi 那一套技術、概念與方法，持續(xù)探索這條研究路線與大腦模型之間的對應關系。

從現(xiàn)在回望過去幾十年的歷史，你會發(fā)現(xiàn)：今天那些在這一領域做得最出色的科學家，基本就是在這兩條故事線里面跳來跳去的。他們并非只沿著一條路徑前行，而是對兩條線都極為熟悉。

Q2：大模型興起前后研究路徑有何不同？

：大語言模型這個概念實際上在2017年就已經(jīng)存在，但當時并沒有將相應的產(chǎn)品開發(fā)出來。一直到2023年，才終于出現(xiàn)了這種現(xiàn)象級的產(chǎn)品（例如ChatGPT）。這一產(chǎn)品的出現(xiàn)，就對前面提到的那兩條故事線提出了更大的挑戰(zhàn)。我的判斷是，從2023年開始，那兩條原有的故事線仍在發(fā)展，但與此同時，又出現(xiàn)了一條新的故事線。這就好比好萊塢大片發(fā)展到某個高潮之后，再添加一條新的故事線。然而，這條故事線并非人為添加，而是理解自然界的必然步驟。

大模型本質(zhì)上是高維空間的計算，作為自然界的一部分，雖然是人類創(chuàng)造的產(chǎn)物，但與我們的生活息息相關，因此衍生出了第三條故事線。為什么說它是第三條故事線？因為它實際上挑戰(zhàn)了我們傳統(tǒng)的數(shù)學體系。我們從小學起學習各種函數(shù)，從最簡單的線性函數(shù)、再到非線性函數(shù)，進入大學又學習物理學中的各種函數(shù)模型。然而，從某種意義上說，這些函數(shù)都是“沒有生命的”，它們只是我們手中的數(shù)學工具。但在2023年之后，就發(fā)生了一件很奇怪的事情，當這些函數(shù)以特殊方式表現(xiàn)并擴大規(guī)模后，竟然展現(xiàn)出了智能。這可能是人類科學發(fā)端以來史無前例的沖擊，我們的函數(shù)中竟然蘊藏著智能。

當你把它縮小規(guī)模時，它不具備這種性質(zhì)；但當你把規(guī)模擴大時，函數(shù)本身并沒有變，然而卻出現(xiàn)了智能。這就是工業(yè)界所說的“規(guī)模效應”，人們開始相信，只要把模型的規(guī)模足夠擴大，就一定會產(chǎn)生新的能力。然而，這種能力究竟從何而來？

對于統(tǒng)計物理學而言，規(guī)模本就是其核心概念。舉個例子：當你只有兩個氣體分子時，不可能定義溫度或壓強，也沒有所謂的理想氣體定律；但當你把氣體數(shù)量不斷增大后，就會出現(xiàn)熱力學第二定律、溫度效應等宏觀規(guī)律。因此，大模型的“規(guī)模效應”可以類比為從微觀到宏觀的統(tǒng)計物理映射。然而，當這一概念應用到神經(jīng)網(wǎng)絡中時，問題變得極為棘手。從某種意義上說，當前推進緩慢的原因可能在于新的數(shù)學工具尚未被創(chuàng)建出來。

這正是我將其稱為“AI的物理學”的原因。我希望當新的數(shù)學工具被開創(chuàng)并發(fā)展成熟后，能夠形成一個與物理學四大力學平行的學科和研究方向。未來我們可能需要一本教科書，如同四大力學一樣，來描述數(shù)學規(guī)模增大后為何會出現(xiàn)這種新的物理效應，而那時候，我們與大模型的對話是日常生活的一部分，我們必須理解這些高維計算的原理。

Q3：第三條路可能是什么？

：從2023年開始，大模型出現(xiàn)后，我們帶領研究生持續(xù)討論這一問題。我們先把大模型的各項能力列成一個表，然后逐項檢視哪些能夠被解釋。對于如此復雜的系統(tǒng)，我們當然不可能用一個模型把所有功能全部解釋清楚；到目前為止，我們也還看不到這種希望。但我們可以抓住某一個功能切入。

如果讓我總結，主要有三個方向：一是示例泛化，不需要重新訓練就能識別規(guī)律；二是思維鏈；三是幻覺現(xiàn)象。我認為，如果未來十年內(nèi)要實現(xiàn)突破，應該在這三個方向齊頭并進。如果這些問題能夠被突破，我認為這將是人類科學史上一個極其重要的時刻，必將載入史冊。

就近期動向而言，美國西蒙斯基金會投入約七年、大概一億多元的資金，資助理論科學家專門思考這幾類問題，希望他們能在七年內(nèi)找到答案。所以在這一領域的未來重要問題上，國際競爭極為激烈。

研究成果與未來方向

Q4：您在這個領域做出了哪些成果？

：十年前，我們開始研究感知機（perceptron）的解空間。也就是現(xiàn)在所說的深度學習（deep learning），其本質(zhì)就是在學習一組矩陣的元素?；蛘哒f我們叫“字節(jié)跳動”，因為每個矩陣的元素可能是一個比特（bit），那可能就是“bit dancing”。所以，在字節(jié)跳動的過程中，你覺得它會在空間的哪個地方跳動呢？這其實是一個非?；A的科學問題。因為只要你知道它在空間的哪個位置，就可以用來理解機器到底是怎么想的、怎么思考的。

于是，我們一開始就研究了在高維空間的結構問題。后來我們使用數(shù)學方法進行了推導，借助了來自 Parisi 那條研究路線中的Franz–Parisi 勢能。這一勢能形式大約在1995年提出，而我在2013年發(fā)現(xiàn)它在神經(jīng)網(wǎng)絡中存在對應關系，這是第一次實現(xiàn)這樣的映射。我們算出來之后，會發(fā)現(xiàn)這個高維空間很奇怪，就長得像高爾夫球洞——它不是連成一片的，而是一個個分開的。當然，高維空間很難想象，但是你可以把它映射到低維空間，一個類比就是相當于三維空間中的高爾夫球洞。

這個事情出來之后，就不得了了。有很多人去想：當我們用反向傳播（backpropagation）或隨機梯度下降（SGD）算法去尋找最優(yōu)解時，算法能否真正找到這些“球洞”？因為正如打高爾夫一樣，要精準擊中球洞并不容易。后來，人們發(fā)展出一種新的數(shù)學工具，結合了大偏差理論（large deviation theory）。這個很有技術性，但形象地說，他們發(fā)現(xiàn)在那些“球洞”周圍，還存在一些“更大的洞”——即更容易到達的區(qū)域。我們稱之為大偏差，或更廣義的非平衡物理，因為它們超出了傳統(tǒng)平衡態(tài)物理的刻畫范圍。

然后，人們就去研究這個很大的洞什么時候消失，發(fā)現(xiàn)這個很大的洞實際上會隨著訓練數(shù)據(jù)量，或者各種外部條件而消失掉。所以，消失之后，這個問題就變得很難。于是，它就立刻就跟數(shù)學或計算機中的NP問題（或者NP不等于P）聯(lián)系在一起，找到了一個統(tǒng)計物理計算的東西跟真實算法計算難度之間的基本關系。所以，從2013年開始，發(fā)展到今天還在進化。最近，MIT的數(shù)學家提出了重合度間隙性質(zhì)的概念，與我們更早前用物理導出的幾何分離圖景一致，這種幾何圖景于2021年也被美國的數(shù)學家嚴格證明了。這相當于它走向了可能解決NP到底等于P還是不等于P，目前數(shù)學上還不能嚴格證明。這個就是從我們剛開始研究這種高維景觀的物理學事情，最后走向了那一塊，就是去刻畫學習什么時候容易、什么時候難。這是一個根本性問題。這是我們課題組在國際上第一個被大家認可的工作，從2014年持續(xù)影響到現(xiàn)在，還有人不停地在引用我們提出高爾夫球洞的那個工作。

后面，我就大概轉向了無監(jiān)督學習，就是Hinton的受限玻爾茲曼機，到底它在學習的時候是什么樣的內(nèi)部機制。簡單來講，數(shù)據(jù)驅(qū)動了對稱性破缺，這個最近也被意大利物理學家證明在更復雜的神經(jīng)網(wǎng)絡學習中具有普適性。最近我們研究了大模型的示例泛化，把它跟伊辛模型對應起來，解釋了通用人工智能為什么是可能的，而為什么它目前來說是不可能理解物理世界的。我們最近也發(fā)展出了很多動力學的方法，想用動力學的方法去重新替代Transformer和生成擴散模型。當然，這個方向我們還在進展當中，還沒有最終形成統(tǒng)一的認識，但跟大腦緊密聯(lián)系。

Q5：未來會朝向哪些方向繼續(xù)展開？

：我們想發(fā)展出一條自己獨有的道路。最終的目的，是看能否用物理學的第一性原理來統(tǒng)一我們現(xiàn)在看到的紛繁復雜的各種神經(jīng)網(wǎng)絡架構、各種算法、不同表現(xiàn)與性能等。我們相信，從物理學角度，一定存在一個簡單的第一性原理，只需畫出圖像或給出直觀解釋，就能把問題說明白。

所以，我們瞄準這一未來方向。這一方向也與我們之前所說的“AI 的物理學”相一致：其背后的數(shù)學尚未被創(chuàng)建，我們同樣以此為目標。就說假如20年之后，你要跟那時候的大學生去講解 AI 或大模型的機制時，是否能提出一個易于理解的 principle（原理），尤其是物理學視角下容易把握的 principle。沿著這條 principle，把我們所說的“第三條故事線”講清楚。所以，這個就是我們未來想要達成的一個基本目標。

AI的物理學的三層標準

Q6：如何看待新概念，例如“AI的數(shù)學”“AI的物理學”？

：現(xiàn)在我們談“AI 的可解釋性”。無論是“AI 的數(shù)學”還是“AI 的物理學”，本質(zhì)上都是可解釋性的內(nèi)容。它實際上有三層標準。

第一層標準，我提出一個C（computation，計算）就是第一個級別。你告訴我“AI的數(shù)學”、“AI的物理學”都可以，但首先必須說明你要解決什么問題，這個問題背后的 computation 是如何實現(xiàn)的。比如，大模型能做泛化、做推斷，那么它背后的computation是什么？但是，需要注意的是，如果你從可解釋性去討論的話，computation 不能簡單等同于“給我看一整套訓練代碼”（例如 deepseek 的訓練代碼），那樣沒有意義。如果這個是computation的話，那很多東西都被解釋了，所以它沒用。真正的 computation，應當類似 Hopfield 的做法：要理解記憶問題，可以用“小球在能量景觀上滾動”的圖像，將滾動過程表述為蒙特卡羅采樣，并可用數(shù)學加以解釋，這才是 computation。但是現(xiàn)在的話，我們所有的大模型里面，很多東西不論你是用怎樣的概念去解釋，到目前為止，無法定義這個computation的事情，因此在第一個層級上就過不了關。

當 computation 被定義后，第二個層次是M（mechanicsm，機制）。就是你必須把那個機制搞清楚。然后，機制搞清楚的話，實際上是一種降維的過程。我們知道，大模型的 computation 具有極高維度，比如有幾萬億參數(shù)；這些參數(shù)的運動如何被簡化為有限維、可求解和可研究的數(shù)學表達式（積分方程或微分方程均可）？維度不能與原始維度相同，否則無法理解。能否將其降到一個“比較漂亮的低維方程”，然后去理解背后的這個機制。在 Hopfield 模型中可以看到：它把數(shù)千個神經(jīng)元的運動降到一維函數(shù)方程的求解，用一維去理解高維，而且做到了。大模型若要真正達到可解釋，也必須達到這一層級。

第三個層次是產(chǎn)生可驗證的假說 (hypothesis, 簡記H）。一方面是從實驗去證實，另一方面可以去改造或設計算法。當模型完成“可解釋”之后，接下來能做什么？對我們設計新的算法有沒有幫助？對我們?nèi)パ芯看竽X的的相關假說有沒有幫助？如果這兩個都沒有，那可能不是一個好的理論。

因此，需要以 computation → mechanic → hypothesis或算法上的貢獻，那么你才能夠強調(diào)這是“AI的數(shù)學”，或者“AI的物理學”。所以，我們可以想象在未來，如果我們大家能寫一本書，來講述這個21世紀初期人類創(chuàng)造出來的智能體的時候，即便不逐條寫明這三個 principle，但是要讓學生去讀的話，能夠感受到我們是沿著這三個 principle 將問題講明白的。這就是我們的最終標準。

研究AI的物理學指向理解人類自身

Q7：AI的物理學真的能建立起來嗎？

：我認為，這本質(zhì)上是一種信仰的問題。為什么這樣說？因為在許多時候，我們的科學研究并不知道最終答案。但最重要的是，保持強烈的好奇心以及一種信仰：不論走到哪里，只要一步一步推進、不斷敲打問題，每次都能敲出一點東西來，我就會感到開心。如果你有這樣的想法的話，那么我覺得你，很多時候會享受很多exciting的時刻。

然后，另外一個更大的信仰，這也是我個人的信仰：我相信，世界上我們所看到的一切，都是數(shù)學。假設存在“上帝之手”的話，那么它是通過數(shù)學創(chuàng)造世界的。最簡單的例子是：萬物由原子構成，而在微觀尺度，我們可以用量子力學來表述，用波函數(shù)來描述微觀運動，而波函數(shù)的本質(zhì)就是一個函數(shù)。在這一層面上存在波函數(shù)，那么在更大的層面上，無論是計算機算法還是智能，那它背后是不是最終就是一個number？或者用安德森的話來說，任何復雜性都從簡單性中涌現(xiàn)，是由不斷的規(guī)模效應所產(chǎn)生。

如果你相信這種“從簡單到復雜，或者從復雜到簡單”是可能的話，那么你將保持你的好奇心去探索，然后你能夠享受你探索的這個路程的每一處風景。最后我總結一下：當任何一個人詢問“AI 的物理學是否可能”時，可以反問自己——黎曼猜想如此困難，為什么仍有那么多數(shù)學家愿意投入去解決它？

Q8：如果AI的物理學建立起來會帶來哪些改變？

：如果有一天這一問題被解決，那么從“飛機設計”這一路徑來看（人類已經(jīng)走過來的一條路），結果將類似于我們今天的出行：可以方便地飛往遠方，并且安全、有保障。所以呢，從這一點來看的話，一旦被解決，必將在某種意義上把人工智能推升到一個更安全、更可靠、也更令人信服的層次。至于那時候那個智能大概長什么樣，我們現(xiàn)在無法想象，但可以肯定的是，它會比今天更好（better）。但是不是best我們不知道，better這個是一定的。

但是，我認為最重要的是：尋找“AI 的物理學”的首要目標，并不是解決 AI 本身，或創(chuàng)造更好的 AI。對科學家而言，更重要的是理解“人”本身。為什么這樣說？在 AI 研究中，你總是會想象一個事情，就是說這個智能到底是從哪里來的？智能與意識的關系是什么？為何人類能夠創(chuàng)造出智能體？為什么人類現(xiàn)在被很多精神疾病所困擾？或者說我們?nèi)祟愃ダ蠟楹伟殡S大腦的退化？

如果把大腦視為一個超級高維系統(tǒng)，那么當我們建立起“AI 的物理學”，這個高維數(shù)學的基本理論，能不能用來理解我們大腦的很多疾病，等我們衰老的時候，我們能不能去控制，甚至我們年輕的時候，我們能不能去控制我們的精神狀態(tài)，那么這個是惠及人類本身的。

即使沒有 DeepSeek、沒有 ChatGPT，只要我們能夠在某種意義上理解人的感知與精神狀態(tài)，那便意味著一種“自然科學對人文科學的入侵”。過去，我們常以文學來“凈化心靈”，比如閱讀《百年孤獨》等經(jīng)典作品。但是，我們有一天能不能用數(shù)學，去搞清楚我們的精神狀態(tài)？

在這一意義上，我們不僅理解自身。我也相信，任何優(yōu)美、能夠刻畫自然規(guī)律的數(shù)學，必然會帶來源源不斷的財富與應用，我覺得那個是副產(chǎn)品，而不是終極的目標，我們終極的目標是理解自己。也只有如此，才能保持強大的好奇心去研究。所以我覺得有一個比喻很夸張，你研究神經(jīng)網(wǎng)絡就是研究你自己。

Q9：“如果物理學不存在，可能只剩關聯(lián)或動力”，如何理解？

：當然，這是一種猜想。就目前而言，只要是基于大模型的系統(tǒng)，其中大模型本質(zhì)上是在刻畫統(tǒng)計關聯(lián)。它通過計算 attention matrix（注意力矩陣）進行打分，以一個很大的 block matrix為載體，輸入token后不停地計算它的關聯(lián)，然后就能識別出某種規(guī)律或函數(shù)。

從人類的理解方式來看，這些“函數(shù)”需要被清楚地寫下來、被認識與研究，這才叫“搞清楚”。但是大模型不用，通過這種打分，實際上它本質(zhì)上不需要知道這個函數(shù)。這一點頗為詭異，會促使人反思：我們?nèi)祟惼駝?chuàng)造的一切知識，或自然現(xiàn)象的呈現(xiàn)，是否都可以通過一個“關聯(lián)打分矩陣”把它再現(xiàn)出來？或者說，只要找到這個矩陣，所有規(guī)律都沒必要把它清晰地寫下來？這很可能是當今以Transformer為代表的人工智能努力的方向。

然而，如果你的目標在于 prediction（預測）——例如蛋白質(zhì)折疊，或我們在生命科學、天文數(shù)據(jù)分析等領域的研究——其實更關心的是預測能力。如果你關注這一點，我認為大模型完全可以把整個人類的知識體系，通過矩陣及其變換來刻畫其“關聯(lián)”。

至于“動力”，可能是未來的一個方向：因為動力過程更接近類腦?？梢韵胂?，我們的思維可能是一種動力過程。它與大模型不同：我們并不需要消耗巨量算力與數(shù)據(jù)，我們感知世界是被動力學預測的，但我們有記憶系統(tǒng)（memory system），需要睡覺來管理記憶，所以很多時候，我們有很多生理的現(xiàn)象，會跟計算捆綁在一起。因此，這是一種持續(xù)的 dynamics（動力學）過程，然后這一個過程到底隱藏著什么樣的秘密、與思維和意識什么關系，我們還沒有搞懂。

但不可否認的是：迄今為止，人類對自然界的理解，都是通過“動力系統(tǒng)”完成的，這個動力系統(tǒng)就是每個人的大腦。把知識寫成書，相當于獲得一種額外的記憶，是大腦記憶的延拓。大科學家之所以寫書，是因為人的壽命有限；那如果他不通過寫作表達他的作品的話，那可能他就沒有辦法被人類社會延續(xù)下去。況且大腦會衰減，可能出現(xiàn)阿爾茨海默病等問題。將記憶系統(tǒng)延拓到存儲硬盤、計算機與互聯(lián)網(wǎng)，本質(zhì)上是一種“遷移”。

如果把“關聯(lián)”與“動力”這兩部分吃透，那么有一天，若你關心 prediction，世界上可能就沒有太多難題。因為你所有的創(chuàng)造，歸根結底，由背后的“關聯(lián)”與“動力”這兩個方向所決定。

本文根據(jù)訪談內(nèi)容進行了書面化整理，內(nèi)容刪減僅涉及重復表述與非核心細節(jié)。

本文為科普中國創(chuàng)作培育計劃作品 受訪者：黃海平 中山大學物理學院教授 創(chuàng)作團隊：集智俱樂部 審核專家：張江 北京師范大學系統(tǒng)科學學院教授 出品：中國科協(xié)科普部 監(jiān)制：中國科學技術出版社有限公司、北京中科星河文化傳媒有限公司

本文轉載自《集智俱樂部》微信公眾號

《物理》50年精選文章