導(dǎo)語

大語言模型的涌現(xiàn)能力是一個(gè)有趣的現(xiàn)象，也是研究的一大挑戰(zhàn)。復(fù)雜性科學(xué)領(lǐng)域的學(xué)者早在大語言模型誕生之前就一直致力于破解涌現(xiàn)謎題，衍生出了自組織、分形等重要概念，所以研究大語言模型的涌現(xiàn)也是復(fù)雜性科學(xué)與當(dāng)下最前沿技術(shù)的一次對(duì)話。我們要如何量化和解釋大語言模型的涌現(xiàn)現(xiàn)象？作為一個(gè)復(fù)雜系統(tǒng)，它的內(nèi)部結(jié)構(gòu)究竟發(fā)生了什么樣的演化？來自田納西大學(xué)的助理教授肖熊燁老師的團(tuán)隊(duì)在這方面有一個(gè)最新的進(jìn)展，通過多重分形分析的方法來回答我們關(guān)于大語言模型涌現(xiàn)的困惑。

關(guān)鍵詞：大語言模型、涌現(xiàn)、分形、利普希茨-霍爾德指數(shù)、多重分形譜

楊明哲丨作者

肖熊燁丨審校

引言

如今，大語言模型（LLM）的技術(shù)仍在飛速發(fā)展，人們還在訓(xùn)練更大規(guī)模的LLM。除了神經(jīng)標(biāo)度律給予我們信心，讓我們相信更大規(guī)模的LLM會(huì)有更出色的表現(xiàn)，大語言模型的涌現(xiàn)現(xiàn)象也讓我們期待LLM會(huì)在規(guī)模超過一定閾值后，給我們意想不到的驚喜。2022年，Jason Wei 等人正式提出大語言模型的涌現(xiàn)能力這一概念。此后，越來越多的學(xué)者開始研究對(duì)大語言模型的涌現(xiàn)的度量和解釋。

討論這樣的話題，我們首先需要對(duì)涌現(xiàn)（emergence）這一概念本身進(jìn)行闡述。根據(jù)Goldstein在1999年給出的說法，“涌現(xiàn)是指在自組織過程中出現(xiàn)新穎且連貫的結(jié)構(gòu)、模式和特性”。單看這樣一個(gè)定性的定義，涌現(xiàn)實(shí)際上與自組織（self-organization）過程有關(guān)。自組織同樣是復(fù)雜性科學(xué)中的一個(gè)重要概念。自組織是指一個(gè)集體系統(tǒng)驅(qū)動(dòng)自身走向更有序狀態(tài)，并在面對(duì)擾動(dòng)時(shí)保持其功能的能力。比如團(tuán)結(jié)的蟻群，自發(fā)生成的圖靈斑圖等，都是自組織的典型案例。它們都是在沒有外部設(shè)計(jì)的情況，通過微觀個(gè)體彼此交互，從而在系統(tǒng)層面產(chǎn)生了超越所有個(gè)體的宏觀性質(zhì)。

觀察生物界的這些案例，我們發(fā)現(xiàn)，出現(xiàn)涌現(xiàn)現(xiàn)象不只是因?yàn)橐粋€(gè)系統(tǒng)很大，更在于組成單元之間要有復(fù)雜的交互。同樣的道理，在研究LLM的涌現(xiàn)時(shí)，我們也不應(yīng)只關(guān)注模型的規(guī)模，而是應(yīng)當(dāng)關(guān)注神經(jīng)元之間的交互作用。這正是肖熊燁團(tuán)隊(duì)在新研究工作中所強(qiáng)調(diào)的。除了關(guān)注模型大小的變化，他們還關(guān)注涌現(xiàn)程度隨訓(xùn)練次數(shù)的變化。

神經(jīng)交互網(wǎng)絡(luò)

為了能對(duì)AI的結(jié)構(gòu)進(jìn)行分析，我們要將一個(gè)LLM轉(zhuǎn)化為一個(gè)神經(jīng)交互網(wǎng)絡(luò)（Neuron Interaction Networ，NIN）。NIN是一個(gè)有向圖，圖中的節(jié)點(diǎn)就是人工神經(jīng)網(wǎng)絡(luò)里的神經(jīng)元，而連邊上的權(quán)重則是原始權(quán)重的絕對(duì)值的倒數(shù)ωab = |wab|-1——即原始權(quán)重越小，表示兩個(gè)神經(jīng)元之間的距離越大。轉(zhuǎn)換過程如下圖所示。

在這個(gè)圖上，我們可以定義兩節(jié)點(diǎn)之間的最短路徑距離。

從公式中可以看出，該距離由兩部分組成，第一部分是考慮連邊權(quán)重的最短距離，而另一部分則是路徑節(jié)點(diǎn)數(shù)量。超參數(shù)則在調(diào)控兩部分的占比。進(jìn)一步的，我們可以定義一個(gè)節(jié)點(diǎn)的鄰居。給定一個(gè)閾值，所有和某節(jié)點(diǎn)的最短路徑距離小于該閾值的節(jié)點(diǎn)都是該節(jié)點(diǎn)的鄰居。

對(duì)于一個(gè)閾值（半徑）來說，鄰居數(shù)量可以說是一個(gè)盒子（圓）所覆蓋的“質(zhì)量”。下圖a中便是在展現(xiàn)，隨著盒子半徑（r）增大，其覆蓋的質(zhì)量也一定在增大。而在真實(shí)實(shí)驗(yàn)中觀察到，質(zhì)量與半徑呈現(xiàn)出一種冪律關(guān)系（如圖b所示）。這說明，我們可以假設(shè)神經(jīng)網(wǎng)絡(luò)中存在著分形結(jié)構(gòu)。

什么是分形

對(duì)于初識(shí)復(fù)雜性科學(xué)的讀者，這里有必要介紹一下什么是分形（Fractal）。1975年，曼德布洛特首次提出“分形”這一概念，大名鼎鼎的分形圖案曼德布洛特集就是以他的名字命名的。他認(rèn)為，分形是由與整體在某些方面相似的部分構(gòu)成的圖形。從這張圖中我們可以體會(huì)到，當(dāng)你對(duì)其中某一個(gè)局部不斷放大觀察時(shí)，會(huì)發(fā)現(xiàn)局部的圖形和它整體的形狀是相似的。也就是說，你在任意一個(gè)尺度上去觀察它，得到的都是一模一樣的結(jié)果。像這樣的分形特性，在大自然中非常普遍，包括海岸線、山脈、作用性細(xì)胞骨架等等。所以具有分形性質(zhì)的系統(tǒng)有著巨大的研究?jī)r(jià)值。

不同的分形系統(tǒng)有著不一樣的分形維數(shù)。分形維數(shù)的計(jì)算如下式所示，是描述分形的一個(gè)重要參量。它的含義便是，你用一個(gè)盒子（平面上便是一個(gè)小正方形或圓）去覆蓋一個(gè)個(gè)分形體。隨著盒子半徑的變化，覆蓋的分形體數(shù)量也會(huì)以冪律的關(guān)系發(fā)生變化，這里的冪律指數(shù)便是分形維度。

對(duì)于分形更進(jìn)一步的介紹，讀者可參考文章?；氐絃LM上，我們發(fā)現(xiàn)作者構(gòu)建出的相應(yīng)的NIN有著分形的特性，可以在分形的假設(shè)下展開進(jìn)一步的研究。

多重分形分析

正是基于這樣的背景，肖熊燁團(tuán)隊(duì)提出了基于神經(jīng)元的多重分形分析（Neuron-based Multifractal Analysis，NeuroMFA）的框架。他們首先定義了NIN的配分函數(shù)：

其中表示l層中的節(jié)點(diǎn)i在某個(gè)半徑r下的鄰居數(shù)量占該節(jié)點(diǎn)所有鄰居數(shù)量的比例。作者們發(fā)現(xiàn)，配分函數(shù)的大小與當(dāng)前半徑和最大半徑的比值有著一個(gè)冪律關(guān)系，冪指數(shù)和失真因子q有關(guān)。

這里的冪律指數(shù)Τ(q)被稱為質(zhì)量指數(shù)。經(jīng)過勒讓德變換，便可以進(jìn)一步得到利普希茨-霍爾德指數(shù)α(q)和多重分形譜f(α)，其計(jì)算公式分別如下所示，

這里涉及的抽象概念比較多，我們重點(diǎn)解釋最后得到的兩個(gè)核心指標(biāo)。α(q)就像城市里一個(gè)“崎嶇度”探測(cè)器，用來衡量系統(tǒng)里某個(gè)局部區(qū)域的個(gè)體分布有多么不規(guī)則。在NIN中α(q) 衡量的是神經(jīng)元局部連接模式的規(guī)整性。一個(gè)低α(q)值意味著該區(qū)域的神經(jīng)元連接方式很均勻、有秩序；一個(gè)高α(q)值則意味著連接方式很混亂、無序。f(α)則像一幅城市復(fù)雜性地圖或全景圖。它告訴我們，擁有不同“崎嶇度”(α)的區(qū)域在整個(gè)城市中有多常見。f(α)值越高，說明這種類型(α)的區(qū)域越多。

我們把出現(xiàn)頻率最高的區(qū)域類型挑出來，它的不規(guī)整程度便可以代表整個(gè)系統(tǒng)的不規(guī)則性。如下式所示，我們定義了不規(guī)則度α0。

我們還可以計(jì)算多重分形譜的譜寬，即最不規(guī)則區(qū)域和最規(guī)則區(qū)域的差異有多大：

這便是系統(tǒng)的異質(zhì)性指標(biāo)。從多重分形譜的最小值調(diào)到最大值，背后的調(diào)節(jié)器就是計(jì)算配分函數(shù)時(shí)引入的因子q。它是人為給定的參數(shù)，就好像是我們使用的不同倍率的顯微鏡。當(dāng)q是極大的正數(shù)時(shí)，它會(huì)放大那些連接稠密（對(duì)于較小的r就有非常多的鄰居）的區(qū)域的作用（在配分函數(shù)中的占比），因?yàn)楸环糯蟮氖悄切┙咏?的pl,i(r)。與之相反，當(dāng)q是特別大的負(fù)數(shù)時(shí)，被放大的就是那些連接非常稀疏（只有r非常大時(shí)才有較多的鄰居）的區(qū)域。當(dāng)q約為0時(shí)，所有區(qū)域都被抹平為同質(zhì)的區(qū)域。

涌現(xiàn)的度量

有了不規(guī)則性和異質(zhì)性的度量，我們便可以定義如何計(jì)算涌現(xiàn)了。如下式所示，涌現(xiàn)是一個(gè)與時(shí)間有關(guān)的指標(biāo)。

它由兩項(xiàng)相乘而得。第一部分與異質(zhì)性有關(guān)，它的含義是，在某一時(shí)刻，如果異質(zhì)性更高，那么涌現(xiàn)的程度便更高。第二部分與不規(guī)則性有關(guān)，如果t時(shí)刻不規(guī)則程度更低，那么系統(tǒng)就有更高的涌現(xiàn)程度。其中這些指標(biāo)與0時(shí)刻的數(shù)值做比值，可以理解為是對(duì)指標(biāo)E進(jìn)行標(biāo)準(zhǔn)化處理?？梢钥闯觯撝笜?biāo)依賴于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)以及時(shí)間的變化。在該指標(biāo)度量下，涌現(xiàn)程度高的LLM（NIN）應(yīng)該是有著多種多樣規(guī)整的斑圖的大系統(tǒng)。

實(shí)驗(yàn)分析

下圖展示了對(duì)不同規(guī)模的 Pythia 系列模型（從14M到2.8B參數(shù)）在訓(xùn)練過程中的內(nèi)部網(wǎng)絡(luò)結(jié)構(gòu)演變進(jìn)行的可視化分析。每張子圖的橫軸是利普希茨-霍爾德指數(shù)，縱軸是多重分形譜。從藍(lán)色的線到紅色的線，代表著訓(xùn)練迭代次數(shù)越來越多。

可以看出隨著訓(xùn)練的進(jìn)行，多重分形譜越來越寬了，這意味著系統(tǒng)內(nèi)部的異質(zhì)性越來越高了。這就像一個(gè)城市從單一的村莊發(fā)展成擁有金融區(qū)、住宅區(qū)、工業(yè)區(qū)等多種功能區(qū)的繁華大都會(huì)。而對(duì)于規(guī)模較大的模型，到了一定程度，多重分形譜就不再顯著變寬，開始出現(xiàn)向左漂移的現(xiàn)象。這意味著不規(guī)則的程度在降低，即頻率最高的利普希茨-霍爾德指數(shù)在變小。這種不規(guī)則程度降低的現(xiàn)象在很小的模型（14M）中是不存在的。

另外，文章中將涌現(xiàn)度指標(biāo)與兩個(gè)公認(rèn)的下游任務(wù)性能基準(zhǔn)（Lambada OpenAI 和 PIQA）進(jìn)行比較，發(fā)現(xiàn)它們之間有很強(qiáng)的相關(guān)性。

下圖則是用一張雷達(dá)圖展示了涌現(xiàn)度指標(biāo)與其他四個(gè)下游任務(wù)基準(zhǔn)的關(guān)聯(lián)。這些任務(wù)基準(zhǔn)分別是：

• A: LAMBADA - 評(píng)估模型的語境理解和長(zhǎng)距離依賴處理能力。

• B: SciQ - 評(píng)估模型的科學(xué)知識(shí)和推理能力。

• C: PIQA - 評(píng)估模型的物理常識(shí)推理能力。

• D: ARC-easy - 評(píng)估模型的基礎(chǔ)科學(xué)知識(shí)和簡(jiǎn)單推理能力。

下圖則展示了不同模型大小下，不同訓(xùn)練程度時(shí)，各個(gè)指標(biāo)的得分情況。它揭示出，訓(xùn)練充分時(shí)判斷模型涌現(xiàn)的必要條件，當(dāng)訓(xùn)練不充分時(shí)（Epoch 512），所有指標(biāo)得分都近乎為0。而當(dāng)訓(xùn)練足夠充分后，所有指標(biāo)的變化趨勢(shì)都是類似的，都會(huì)隨模型變大而增長(zhǎng)。

總結(jié)

這篇工作開創(chuàng)性地以多重分形分析的視角來研究LLM的涌現(xiàn)現(xiàn)象，把我們對(duì)一個(gè)具有涌現(xiàn)的復(fù)雜系統(tǒng)網(wǎng)絡(luò)的期待能夠量化出來，并且在實(shí)驗(yàn)上與下游任務(wù)表現(xiàn)做了驗(yàn)證。這為我們理解大語言模型在發(fā)展時(shí)，內(nèi)部結(jié)構(gòu)究竟發(fā)生了什么樣的變化提供了一個(gè)洞察的視角。

相比于以前對(duì)涌現(xiàn)的研究，它還探求了隨著訓(xùn)練進(jìn)行涌現(xiàn)度的變化。不過文章中并未闡明這與LLM的頓悟（grokking）現(xiàn)象的關(guān)系，有待進(jìn)一步區(qū)分和研究。另外，它是否能識(shí)別（甚至預(yù)測(cè)）大語言模型涌現(xiàn)的突變點(diǎn)（模型大小的臨界閾值）也是一個(gè)有趣的問題。

如今，我們已經(jīng)有很多從復(fù)雜性科學(xué)視角研究LLM涌現(xiàn)的學(xué)術(shù)工作了，包括分形、滲流相變、信息涌現(xiàn)等等。感興趣的朋友可以進(jìn)一步閱覽集智百科對(duì)于該問題梳理的詞條（見：）。

大模型可解釋性讀書會(huì)

集智俱樂部聯(lián)合上海交通大學(xué)副教授張拳石、阿里云大模型可解釋性團(tuán)隊(duì)負(fù)責(zé)人沈旭、彩云科技首席科學(xué)家肖達(dá)、北京師范大學(xué)碩士生楊明哲和浙江大學(xué)博士生姚云志共同發(fā)起。本讀書會(huì)旨在突破大模型“黑箱”困境，嘗試從以下四個(gè)視角梳理大語言模型可解釋性的科學(xué)方法論：

自下而上：Transformer circuit 為什么有效？

自上而下：神經(jīng)網(wǎng)絡(luò)的精細(xì)決策邏輯和性能根因是否可以被嚴(yán)謹(jǐn)、清晰地解釋清楚？

復(fù)雜科學(xué)：滲流相變、涌現(xiàn)、自組織等復(fù)雜科學(xué)理論如何理解大模型的推理與學(xué)習(xí)能力？

系統(tǒng)工程：如何擁抱不確定性，在具體的業(yè)界實(shí)踐中創(chuàng)造價(jià)值？

五位發(fā)起人老師會(huì)帶領(lǐng)大家研讀領(lǐng)域前沿論文，現(xiàn)誠邀對(duì)此話題感興趣的朋友，一起共創(chuàng)、共建、共享「大模型可解釋性」主題社區(qū)，通過互相的交流與碰撞，促進(jìn)我們更深入的理解以上問題。無論您是致力于突破AI可解釋性理論瓶頸的研究者，探索復(fù)雜系統(tǒng)與智能本質(zhì)的交叉學(xué)科探索者，還是追求模型安全可信的工程實(shí)踐者，誠邀您共同參與這場(chǎng)揭開大模型“黑箱”的思想盛宴。

讀書會(huì)已于2025年6月19日啟動(dòng)，每周四晚19:30-21:30，預(yù)計(jì)持續(xù)分享8-10周左右。

詳情請(qǐng)見：

1.

2.

3.

4.

5.

6.

7.