一個在 1,000 萬個太陽系相關(guān)數(shù)據(jù)上訓(xùn)練的 Transformer 模型能夠精準(zhǔn)地預(yù)測行星軌道，卻對引力定律一竅不通。那么，預(yù)測模型和世界模型有什么區(qū)別？是否存在簡單直接的指標(biāo)可以檢驗這種差異？來自美國哈佛大學(xué)和美國麻省理工學(xué)院的研究人員認(rèn)為，或許最具影響力的世界模型，最初正是從一個預(yù)測模型起步的。

（來源：https://x.com/keyonV/status/1943730502948511937）

當(dāng)開普勒和牛頓“遇見”AI

為了研究上述 AI 問題，他們追溯到了 400 年前的科學(xué)成果。在英國科學(xué)家艾薩克?牛頓（Isaac Newton）于 17 世紀(jì)提出萬有引力定律之前，德國天文學(xué)家約翰內(nèi)斯?開普勒（Johannes Kepler）的行星軌道預(yù)測模型早已存在，開普勒的預(yù)測促成了牛頓萬有引力定律的發(fā)現(xiàn)。

而本次研究團(tuán)隊認(rèn)為，基礎(chǔ)模型的前景依賴于這樣一個核心假設(shè)：學(xué)習(xí)預(yù)測序列能夠揭示更深層次的規(guī)律，甚至樂觀地說其能構(gòu)建出一個世界模型。雖然從某種意義上說這個想法是新穎的，但從另一種意義上說它又是古老的。

如前所述，數(shù)百年前開普勒發(fā)現(xiàn)了一些幾何規(guī)律，借助這些規(guī)律能夠精準(zhǔn)預(yù)測夜空中行星未來的位置。牛頓后來在這一進(jìn)展的基礎(chǔ)上發(fā)展并創(chuàng)立了牛頓力學(xué)，這些基本定律不僅能夠預(yù)測行星的運動，還能解釋宇宙中的各種物理特性。這條“從預(yù)測序列到理解其背后深層機(jī)制”的路徑，并非物理學(xué)所獨有。在生物學(xué)領(lǐng)域，動物育種者們早已觀察到后代性狀的規(guī)律，而他們這些具有預(yù)測性的見解，啟發(fā)著奧地利帝國生物學(xué)家格雷戈爾?約翰?孟德爾（Gregor Johann Mendel）提出了遺傳學(xué)理論。

如何才能知道基礎(chǔ)模型是否也已實現(xiàn)“從做出準(zhǔn)確預(yù)測到構(gòu)建可靠世界模型”的跨越？本次研究通過構(gòu)建一個框架來回答這個問題。

具體而言，研究團(tuán)隊開發(fā)了一種檢測框架：當(dāng)給定基礎(chǔ)模型和世界模型時，該框架能夠驗證基礎(chǔ)模型是否已經(jīng)習(xí)得目標(biāo)世界模型。研究團(tuán)隊將這種技術(shù)稱為歸納偏置探針，它基于這樣一個簡單的見解：基礎(chǔ)模型的隱性世界模型會通過“其如何從少量信息中進(jìn)行推斷”而顯現(xiàn)出來，即從少量數(shù)據(jù)中做出推斷。同樣，基礎(chǔ)模型的歸納偏置也能揭示其世界模型。

（來源：https://arxiv.org/pdf/2507.06952）

靈魂一問：模型是否掌握了牛頓力學(xué)？

研究中，研究團(tuán)隊通過以下實驗來驗證相關(guān)觀點：他們測試一個經(jīng)過行星運動位置預(yù)測訓(xùn)練的 Transformer 模型是否真正掌握了牛頓力學(xué)體系。具體來說，他們首先訓(xùn)練一個模型來預(yù)測太陽系中行星的位置。盡管該模型能夠準(zhǔn)確預(yù)測行星的未來軌跡，但是歸納偏置探針表明它對牛頓力學(xué)的歸納偏置較低。

比如，當(dāng)對該模型進(jìn)行微調(diào)以便預(yù)測行星的力向量（牛頓力學(xué)的核心要素）時，其預(yù)測結(jié)果所隱含的引力定律是毫無意義的。研究團(tuán)隊發(fā)現(xiàn)，該模型所習(xí)得的是零散的啟發(fā)式方法，而非一個簡潔的世界模型，它會根據(jù)所應(yīng)用的數(shù)據(jù)片段采用不同的引力定律。

幾個世紀(jì)以來，天文學(xué)家和物理學(xué)家一直致力于預(yù)測行星圍繞太陽運行的軌道。開普勒提出了一個具有開創(chuàng)性的模型，他的模型基于幾何圖案而提出：例如，每個行星的軌道都遵循一個橢圓，而太陽位于該橢圓的一個焦點上。盡管該模型能夠以近乎完美的精確度預(yù)測軌道，但它無法解釋行星為何遵循這些幾何軌道，也無法應(yīng)用于預(yù)測軌道之外的新問題。

后來，牛頓利用新的運動定律對上述模型進(jìn)行了拓展，這些定律現(xiàn)在被稱為牛頓力學(xué)。這些定律涉及到計算運動中行星群的各種屬性，例如它們的相對速度和質(zhì)量。利用這些特性，不僅能夠推導(dǎo)出開普勒早先提出的軌道運動定律，也能進(jìn)一步理解力與引力等核心物理概念。

可以說，從開普勒到牛頓，科學(xué)家們實現(xiàn)了從序列預(yù)測模型到深層理論認(rèn)知的跨越。本次研究之中，研究團(tuán)隊測試了一個能夠預(yù)測軌道軌跡序列的 Transformer 模型，以便探究它究竟僅僅是一個優(yōu)秀的序列模型？還是已經(jīng)實現(xiàn)了向世界模型的轉(zhuǎn)變？

為此，研究團(tuán)隊模擬了一個序列數(shù)據(jù)集，其中每個序列都描述了行星繞太陽運行的情況。他們隨機(jī)采樣初始條件（例如行星的質(zhì)量、位置及其初始相對速度），以便匹配在已知系外行星中觀察到的軌道形狀。同時，他們根據(jù)牛頓運動定律模擬每顆行星圍繞太陽的軌跡。

由于行星的質(zhì)量遠(yuǎn)遠(yuǎn)小于太陽，因此行星之間的相互作用微乎其微，所以忽略不計這些相互作用。為了將軌道轉(zhuǎn)換為序列，研究團(tuán)隊每隔一定時間記錄一次每個行星和太陽的（x，y）坐標(biāo)，并將所有位置交錯排列成一個包含 1,000 個觀測值的序列，這意味著每個序列代表一個不同的太陽系。

（來源：https://arxiv.org/pdf/2507.06952）

此外，研究團(tuán)隊考慮了兩種不同類型的時間間隔：固定間隔和變化間隔。在固定間隔中，每個序列使用相同的 6 個月間隔；在變化間隔中，隨機(jī)一半的序列使用 6 個月間隔，另一半使用1周間隔，并在開始處添加一個特殊 token 以用于指示間隔長度。

例如，在一個擁有 K 個行星且時間間隔各異的太陽系中，第一個時間步長編碼了時間間隔的長度，接下來的 K 個觀測值是每個行星在第一個時間點的（x，y）坐標(biāo)，再接下來的 K 個觀測值是每個行星在相應(yīng)時間步長后的坐標(biāo)，以此類推。

同時，研究團(tuán)隊設(shè)置了兩種訓(xùn)練集規(guī)模：第一種是固定間隔數(shù)據(jù)集，擁有 10 億 token、涵蓋 100 萬條序列；第二種是可變間隔數(shù)據(jù)集，擁有 200 億 token、涵蓋 1,000 萬條序列。針對這兩種情況訓(xùn)練的模型，得出了相似的結(jié)果。

接下來，研究團(tuán)隊訓(xùn)練了一個包含 1.09 億個參數(shù)的 Transformer 模型，以用于預(yù)測訓(xùn)練集中每個序列的下一個 token。他們在以下兩種方案中進(jìn)行了實驗：第一種方案是采取連續(xù)坐標(biāo)并使用均方誤差損失；第二種方案是采取離散化坐標(biāo)并使用交叉熵?fù)p失。結(jié)果發(fā)現(xiàn)后者的效果更好。

期間，研究團(tuán)隊通過為每個坐標(biāo)（x、y）創(chuàng)建 7,000 個區(qū)間，來離散化太陽系中每個天體的位置向量，其中坐標(biāo)范圍為-50 至 50 天文單位。需要說明的是，訓(xùn)練期間他們使用 8 個英偉達(dá) H100 GPU 進(jìn)行了 25 個周期的訓(xùn)練。

隨后，研究團(tuán)隊在預(yù)留數(shù)據(jù)上針對模型預(yù)測結(jié)果進(jìn)行評估，并發(fā)現(xiàn)預(yù)測效果較為良好，其決定系數(shù)（R2）超過 0.9999，而且顯著優(yōu)于基準(zhǔn)模型，即優(yōu)于那些總是預(yù)測最近位置或軌道均值的模型。與此同時，它還能以較高的精度生成長軌道。

（來源：https://arxiv.org/pdf/2507.06952）

Transformer 預(yù)測結(jié)果證明它是一個非常出色的序列模型。但是，它是否掌握了牛頓力學(xué)？為了驗證這一點，研究團(tuán)隊注意到，牛頓力學(xué)指出一系列軌道中的每次觀測都由一個狀態(tài)向量控制，該向量由每個行星的質(zhì)量、相對速度和相對位置組成。鑒于軌道的下一個位置是確定的，所以如果基礎(chǔ)模型的歸納偏置依賴于牛頓力學(xué)，那么它必須基于這個狀態(tài)向量進(jìn)行外推。

研究中，研究團(tuán)隊使用歸納偏差探針來評估模型的歸納偏差。他們創(chuàng)建了 100 個合成數(shù)據(jù)集，然后通過訓(xùn)練模型來預(yù)測這些函數(shù)，從而對 Transformer 進(jìn)行微調(diào)。其通過將 H 視為恒等映射，并將損失函數(shù) ? 設(shè)為均方誤差，以便衡量模型在輸入上的外推預(yù)測能力，并通過將模型與一個基于狀態(tài)直接進(jìn)行外推的“預(yù)言機(jī)”（oracle）進(jìn)行對比來評估其中一個公式。

與此同時，他們將線性模型和雙層神經(jīng)網(wǎng)絡(luò)作為預(yù)言機(jī)，發(fā)現(xiàn)結(jié)果是相似的。其中，對牛頓狀態(tài)簡單函數(shù)的歸納偏倚較差。換言之，該模型的歸納偏置并不傾向于牛頓狀態(tài)。當(dāng)它必須進(jìn)行外推時，它會對狀態(tài)截然不同的軌道做出相似的預(yù)測，而對狀態(tài)非常相似的軌道則會做出不同的預(yù)測。

為此，研究團(tuán)隊通過創(chuàng)建一個序列到序列的數(shù)據(jù)集來對此進(jìn)行測試，其中每個輸入是一條軌跡，每個輸出是“由軌道狀態(tài)所隱含的作用在行星上的”力向量。

基于此，他們先是針對預(yù)訓(xùn)練的 Transformer 進(jìn)行微調(diào)，使其能夠預(yù)測太陽系軌道上的力向量，并使用 1% 的真實力數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，結(jié)果顯示這些力預(yù)測結(jié)果不佳。

為了評估該模型在掌握牛頓萬有引力定律方面的接近程度，研究團(tuán)隊進(jìn)一步對其進(jìn)行微調(diào)，以便在包含 10,000 個太陽系的更大數(shù)據(jù)集上預(yù)測力的大小。

需要說明的是，符號回歸是一種通過搜索優(yōu)化回歸類目標(biāo)的符號表達(dá)式的方法。而當(dāng)研究團(tuán)隊將符號回歸用于 Transformer 的預(yù)測結(jié)果時，得到的物理定律是毫無意義的?；鶞?zhǔn)對比結(jié)果顯示：基于真實狀態(tài)訓(xùn)練的 oracle 模型能夠精確預(yù)測力向量，符號回歸則能完整復(fù)現(xiàn)真實的物理定律。

（來源：https://arxiv.org/pdf/2507.06952）

基礎(chǔ)模型并未習(xí)得某一通用物理定律

研究團(tuán)隊表示，基礎(chǔ)模型的核心價值在于：序列預(yù)測能夠揭示對于潛在機(jī)制的深層理解。對于本次提出的評估框架來說，它通過分析模型在新任務(wù)遷移中的歸納偏差，來驗證模型是否習(xí)得預(yù)設(shè)世界模型。

實證結(jié)果表明，盡管許多序列模型在 next-token 預(yù)測任務(wù)中表現(xiàn)出色，但是它們對于真實世界模型的歸納偏置往往有限。本次研究還發(fā)現(xiàn)，這些模型并非是在學(xué)習(xí)連貫的世界模型，而是可能依賴了粗略的狀態(tài)表征或非簡約的表征。

總的來說，本次成果為理解基礎(chǔ)模型的缺陷提供了一個方向：如果一個模型的歸納偏置并非傾向于某種已知的現(xiàn)實模型，那么它傾向于什么？

本次分析表明，這些模型實際上所表現(xiàn)出來的行為，更像是開發(fā)了無法泛化的任務(wù)特定啟發(fā)式規(guī)則。在物理學(xué)領(lǐng)域，基礎(chǔ)模型并未習(xí)得某一通用物理定律，而是會根據(jù)所應(yīng)用的任務(wù)采用不同的、看似毫無意義的定律。 目前，相關(guān)論文已被 2025 國際機(jī)器學(xué)習(xí)會議（ICML，International Conference on Machine Learning）收錄。

需要指出的是，本次研究需要指定一個世界模型，以此來測試基礎(chǔ)模型。世界模型需要明確定義的要求，雖與學(xué)界共識一致，但卻導(dǎo)致模型真實表征機(jī)制的溯因分析存在固有局限。盡管研究團(tuán)隊提出了測試候選世界模型的策略（例如基于 next-token 分區(qū)的驗證方法），但未來研究應(yīng)該優(yōu)先開發(fā)“能夠自動構(gòu)建基礎(chǔ)模型行為中隱式世界模型”的技術(shù)。

參考資料：

https://arxiv.org/pdf/2507.06952

https://x.com/keyonV/status/1943730495264584079

https://x.com/keyonV/status/1943730486280331460

https://x.com/keyonV/status/1943730502948511937

運營/排版：何晨龍