Minimal-Dissipation Learning for Energy-Based Models

能量模型的最小耗散學(xué)習(xí)

https://arxiv.org/pdf/2510.03137v1

論文《Minimal-Dissipation Learning for Energy-Based Models》提出了一種新的學(xué)習(xí)范式，將持久鏈能量基模型（EBM）的訓(xùn)練過程與熱力學(xué)聯(lián)系起來，目標(biāo)是以最小的能量耗散（excess work）來訓(xùn)練模型。

本文重點(diǎn)概述如下：

• 理論聯(lián)系：論文建立了持久鏈 EBM 近似最大似然估計(jì)（MLE）目標(biāo)的偏差與過阻尼朗之萬動(dòng)力學(xué)系統(tǒng)的熱力學(xué)過量功（能量耗散）之間的精確聯(lián)系。
• 最小耗散學(xué)習(xí)（MDL）：研究探討了在有限時(shí)間內(nèi)以最小過量功（即最小能量耗散）訓(xùn)練 EBM 的可能性，并將這種最小化能量耗散的學(xué)習(xí)過程稱為“最小耗散學(xué)習(xí)”。
• 理論可行性：研究發(fā)現(xiàn)，具有恒定方差的高斯能量函數(shù)可以通過僅控制學(xué)習(xí)率來實(shí)現(xiàn)最小過量功訓(xùn)練。這證明了在有限時(shí)間內(nèi)以最小耗散訓(xùn)練持久鏈 EBM 是可能的，并為計(jì)算所需的能量提供了一個(gè)下限。
• 推廣與應(yīng)用：論文將這種最佳學(xué)習(xí)率排程推廣到一般勢(shì)能（general potentials），并發(fā)現(xiàn)它在 MLE 目標(biāo)上引入了一種自然梯度流（natural gradient flow），這是一種已知的二階優(yōu)化方法。
• 靈感來源：這項(xiàng)技術(shù)借鑒了統(tǒng)計(jì)物理學(xué)和熱力學(xué)的原理，將其應(yīng)用于機(jī)器學(xué)習(xí)領(lǐng)域，特別是生成模型。

總結(jié)來說，該論文的核心貢獻(xiàn)在于從熱力學(xué)角度重新審視 EBM 的訓(xùn)練過程，提出了一種潛在更高效、能量利用率更高的學(xué)習(xí)方法。

我們證明：持久鏈能量模型（energy-based model, EBM）的近似最大似然估計(jì)（maximum-likelihood estimation, MLE）目標(biāo)函數(shù)所具有的偏差，恰好等于一個(gè)過阻尼朗之萬（overdamped Langevin）動(dòng)力系統(tǒng)的熱力學(xué)過剩功（excess work）。進(jìn)而，我們探討了此類模型能否在有限時(shí)間內(nèi)以最小過剩功（即最小能量耗散）完成訓(xùn)練的問題。我們發(fā)現(xiàn)：對(duì)于固定方差的高斯能量函數(shù)，僅通過調(diào)控學(xué)習(xí)率（learning rate）即可實(shí)現(xiàn)最小過剩功的訓(xùn)練。這表明：在有限時(shí)間內(nèi)以最小耗散訓(xùn)練持久鏈EBM是可行的；同時(shí)，該結(jié)果也給出了此類計(jì)算所需能量的一個(gè)下限。我們將這種使過剩功最小化的學(xué)習(xí)過程稱為最小耗散學(xué)習(xí)（minimal-dissipation learning）。隨后，我們將最優(yōu)學(xué)習(xí)率調(diào)度方案推廣至一般勢(shì)函數(shù)（general potentials）的情形，并發(fā)現(xiàn)該推廣自然導(dǎo)出了MLE目標(biāo)函數(shù)上的自然梯度流（natural gradient flow）——一種廣為人知的二階優(yōu)化方法。

I. 引言

機(jī)器學(xué)習(xí)中的諸多成功技術(shù)往往借鑒了統(tǒng)計(jì)物理與熱力學(xué)的思想。早期的例子包括霍普菲爾德網(wǎng)絡(luò)（Hopfield network）[1] 和玻爾茲曼機(jī)（Boltzmann machine）[2–4]，二者均屬于一類更廣泛的模型——能量模型（energy-based models, EBM）[5]。近期另一個(gè)體現(xiàn)機(jī)器學(xué)習(xí)對(duì)統(tǒng)計(jì)物理模仿的實(shí)例是去噪擴(kuò)散概率模型（denoising diffusion probabilistic models, DDPM）[6–8]，其靈感源自賈爾津斯基等式（Jarzynski equality）[9–11]，并已成為圖像生成建模領(lǐng)域的主流方法。

除提供啟發(fā)之外，這些與統(tǒng)計(jì)物理的類比還促使人們計(jì)算與機(jī)器學(xué)習(xí)算法相關(guān)的熱力學(xué)量（如熵產(chǎn)生），進(jìn)而對(duì)計(jì)算所需的能量加以約束——正如數(shù)字計(jì)算中蘭道爾原理（Landauer’s principle）[12] 所確立的那樣。

為達(dá)到熱力學(xué)所設(shè)定的計(jì)算能效極限，似乎有必要摒棄傳統(tǒng)的數(shù)字馮·諾依曼架構(gòu)，轉(zhuǎn)而考慮非常規(guī)計(jì)算系統(tǒng)。近期已有若干研究[13, 14]提出，模擬（analog）計(jì)算機(jī)在運(yùn)行EBM與DDPM時(shí)，其能效可比傳統(tǒng)數(shù)字硬件高出數(shù)個(gè)數(shù)量級(jí)。真正的模擬隨機(jī)過程（即非單純模擬所得的過程）能夠高效執(zhí)行那些在數(shù)字計(jì)算中代價(jià)高昂的蒙特卡洛算法。利用系統(tǒng)內(nèi)在的隨機(jī)性來實(shí)現(xiàn)朗之萬蒙特卡洛（Langevin Monte Carlo）算法的方法，被稱為“熱力學(xué)計(jì)算”（thermodynamic computing）[15, 16]；這一范式引發(fā)了如下問題：運(yùn)行此類機(jī)器學(xué)習(xí)算法所需的理論最小能量究竟是多少？

本文中，我們針對(duì)一類特定的生成模型，推導(dǎo)出其訓(xùn)練過程所需能量的下界：

持久鏈能量模型（persistent chain EBMs）[17, 18]。這類模型是通向去噪擴(kuò)散概率模型（DDPM）發(fā)展的重要階梯：其以卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural networks）[19]作為能量函數(shù)，并借助朗之萬蒙特卡洛（Langevin Monte Carlo）技術(shù)來估計(jì)訓(xùn)練目標(biāo)。術(shù)語“持久鏈”特指訓(xùn)練過程中使用重放緩沖區(qū)（replay buffer），其中存儲(chǔ)并持續(xù)更新蒙特卡洛樣本。與其它EBM訓(xùn)練方法[2–4, 20–22]相比，這一關(guān)鍵差異使持久鏈EBM成為唯一具有收斂性的EBM[18]——即該模型所生成的樣本服從由其能量函數(shù)所定義的吉布斯分布（Gibbs distribution）。

本文的第一項(xiàng)貢獻(xiàn)在于：我們將持久鏈EBM[18]的訓(xùn)練過程與隨機(jī)熱力學(xué)（stochastic thermodynamics）[23–26]建立聯(lián)系，并以一個(gè)實(shí)驗(yàn)上可實(shí)現(xiàn)的諧波勢(shì)阱（harmonic trap）[27]作為引導(dǎo)性示例。近年來，已有若干重要洞見——無論是用于理解現(xiàn)有機(jī)器學(xué)習(xí)算法[22]，抑或開發(fā)新算法[28–30]——均源自與隨機(jī)熱力學(xué)的類比。在本工作中，我們針對(duì)持久鏈EBM作出如下理想化假設(shè)：(i) 學(xué)習(xí)參數(shù)更新與蒙特卡洛樣本更新在時(shí)間上均為連續(xù)；(ii) 樣本平均是精確的（即無有限樣本偏差）。我們的目標(biāo)是揭示EBM學(xué)習(xí)動(dòng)力學(xué)的一般規(guī)律。對(duì)于本文所呈現(xiàn)的每一個(gè)一般性結(jié)論，我們都以諧波勢(shì)阱作為具體實(shí)例加以闡釋，并將隨機(jī)熱力學(xué)中若干精確結(jié)果[27, 31]推廣至EBM框架。

第二項(xiàng)貢獻(xiàn)在于：我們識(shí)別出最大似然估計(jì)（MLE）訓(xùn)練目標(biāo)中的偏差（bias）與熱力學(xué)過剩功（excess work）之間的等價(jià)關(guān)系。該偏差源于使用蒙特卡洛算法對(duì)MLE目標(biāo)進(jìn)行近似估算；而我們將此偏差與過剩功之間的關(guān)聯(lián)性，對(duì)于任意能量函數(shù)的持久鏈EBM均成立。因此，最小化該偏差等價(jià)于最小化過剩功——后者本身正是隨機(jī)熱力學(xué)中廣受關(guān)注的核心目標(biāo)之一[32]。

第三項(xiàng)貢獻(xiàn)在于：我們構(gòu)建了一個(gè)通過學(xué)習(xí)率調(diào)度來最小化過剩功的通用框架。雖然針對(duì)諧波勢(shì)阱的最優(yōu)控制協(xié)議（即最小化過剩功的模型參數(shù)時(shí)間參數(shù)化方案）已是已知結(jié)論[27, 31]，但我們首次推導(dǎo)出適用于EBM訓(xùn)練中MLE梯度流的學(xué)習(xí)率調(diào)度方案，使得參數(shù)演化精確遵循這些最優(yōu)熱力學(xué)協(xié)議。我們將此類學(xué)習(xí)率調(diào)度稱為最小耗散學(xué)習(xí)（minimal-dissipation learning）。參照文獻(xiàn)[31, 33]，我們進(jìn)一步將諧波勢(shì)阱情形下的最優(yōu)調(diào)度推廣至一般情形，并發(fā)現(xiàn)：這些最優(yōu)調(diào)度自然誘導(dǎo)出MLE目標(biāo)函數(shù)上的自然梯度流（natural gradient flow）——一種著名的二階優(yōu)化方法[34]。這為隨機(jī)熱力學(xué)與信息幾何（information geometry）[33]之間建立起一種新的理論聯(lián)系。

需特別指出：本文所使用的“過剩功”與“效率”等術(shù)語，對(duì)應(yīng)于理想計(jì)算機(jī)（例如前述模擬硬件的理想化版本）在計(jì)算能效與功耗方面的理論下界。這些能量消耗的理論下界類似于數(shù)字計(jì)算機(jī)中的蘭道爾極限[12]，更確切地說，類似于有限時(shí)間控制協(xié)議的能量下界[35]。因此，本文提出的最優(yōu)協(xié)議并不預(yù)期適用于數(shù)字計(jì)算機(jī)——后者僅通過離散化模擬朗之萬系統(tǒng)；在此情形下，還需考慮額外計(jì)算開銷；另一方面，由于模擬過程掌握系統(tǒng)的完整熱力學(xué)信息，理論上甚至可將過剩功降至零[36]。盡管如此，我們的結(jié)果對(duì)數(shù)字計(jì)算仍具參考價(jià)值：所導(dǎo)出的學(xué)習(xí)軌跡在參數(shù)空間中構(gòu)成自然梯度流，而已知在最大似然任務(wù)中，自然梯度流具有漸近Fisher有效性（asymptotically Fisher efficient）[37]；因此，其可為設(shè)計(jì)更高效的EBM訓(xùn)練技術(shù)提供理論指導(dǎo)。

本文結(jié)構(gòu)如下：
第II節(jié)回顧持久鏈EBM理論，并闡明隨機(jī)熱力學(xué)中的諧波勢(shì)阱可被視作此類模型的一個(gè)特例；
第III節(jié)證明：用于訓(xùn)練持久鏈EBM的近似MLE目標(biāo)所引入的偏差，可被嚴(yán)格等同于EBM訓(xùn)練過程的過剩功；進(jìn)而，我們推導(dǎo)出最小化過剩功的學(xué)習(xí)率調(diào)度方案——分別涵蓋參數(shù)演化在訓(xùn)練始末連續(xù)與允許躍變兩種情形；
第IV節(jié)將諧波勢(shì)阱情形下得到的最優(yōu)學(xué)習(xí)率調(diào)度予以推廣，并嚴(yán)格證明其誘導(dǎo)自然梯度流。

II. 基于能量的模型

A. 馬爾可夫鏈蒙特卡洛方法

這種方法對(duì)于一些實(shí)際應(yīng)用來說是可行的，但由于需要長時(shí)間的演化（對(duì)應(yīng)于長的MCMC鏈）來有效近似公式(7)，因此在計(jì)算上極其昂貴。

減少從EBM采樣所需的計(jì)算量的一種方法是運(yùn)行非常短的MCMC鏈，并定期從先驗(yàn)分布或數(shù)據(jù)集的分布中重新初始化樣本[17, 20, 21]。然而，已經(jīng)證明[18]，從這些模型中獲得的樣本在大量MCMC迭代的極限下不會(huì)收斂到數(shù)據(jù)分布，因此不是數(shù)據(jù)的真實(shí)EBM。實(shí)際上，模型 ，即朗之萬動(dòng)力學(xué)的平衡分布，與數(shù)據(jù)分布不匹配，即 。

因此，本文的重點(diǎn)在于持久鏈EBM[18]，其中樣本分布僅在訓(xùn)練開始時(shí)初始化一次，存儲(chǔ)在重放緩沖區(qū)中，并在整個(gè)訓(xùn)練過程中更新。更具體地說，我們研究由公式(7)和(9)定義的動(dòng)態(tài)。簡單來說，由于公式(9)給出的MLE更新，能量模型回歸到數(shù)據(jù)，而MCMC樣本由于公式(7)給出的朗之萬動(dòng)力學(xué)而放松到模型分布。我們研究EBM的連續(xù)時(shí)間動(dòng)態(tài)，在這種動(dòng)態(tài)中，模型和樣本是連續(xù)更新的，與離散時(shí)間動(dòng)態(tài)形成對(duì)比，在離散時(shí)間動(dòng)態(tài)中，模型和樣本是依次更新的。然而，訓(xùn)練過程在時(shí)結(jié)束。請(qǐng)注意，這并不嚴(yán)格要求，正如我們?cè)谧钚『纳W(xué)習(xí)的情況下下面所展示的。

B. 諧振子作為基于能量的模型

在這里，我們展示了一個(gè)一維的、過阻尼的朗之萬系統(tǒng)，耦合到一個(gè)時(shí)間相關(guān)的諧振子，可以被視為一個(gè)持久鏈EBM。諧振子是隨機(jī)熱力學(xué)中常用的、可實(shí)驗(yàn)實(shí)現(xiàn)的例子[27]，我們將在我們的分析中多次重新審視。諧振子的能量函數(shù)是二次的，我們將其表示為：

III. 最小耗散學(xué)習(xí)

由式(8)給出的對(duì)真實(shí)MLE梯度（式(5)）的近似，其偏差源于樣本分布演化歷史的影響。該偏差可通過延長過程總時(shí)間予以緩解；然而，這種做法在實(shí)踐中并不可取——例如，增加MCMC過程的步數(shù)將不可避免地帶來額外的計(jì)算開銷。

我們將該偏差定義為：

右側(cè)第一項(xiàng)可被識(shí)別為一個(gè)隨機(jī)動(dòng)熱力學(xué)系統(tǒng)所輸出的 平均功率 ，該系統(tǒng)由文獻(xiàn)[39]定義如下：

A. 最小化諧振子的能量耗散

1. 連續(xù)協(xié)議

為了最小化過量功，我們將公式(26)的第二項(xiàng)視為 u 和 u˙ 的泛函，這可以通過歐拉-拉格朗日方程來最小化：

因此，當(dāng)樣本分布的質(zhì)心 u 以恒定速度移動(dòng)時(shí)，過量功被最小化：

1. 不連續(xù)協(xié)議

在參考文獻(xiàn)[27]中，已經(jīng)證明通過允許協(xié)議 在其端點(diǎn)處不連續(xù)，可以比其類似連續(xù)協(xié)議的情況下進(jìn)一步最小化過量功。

如果諧振子在平衡狀態(tài)下初始化，并使用不連續(xù)協(xié)議進(jìn)行訓(xùn)練，那么事先知道 的值并不是必需的。這表明，可以使用持久鏈EBM以最小的過量功學(xué)習(xí)未知的目標(biāo)分布。

1. 準(zhǔn)靜態(tài)協(xié)議

IV. 一般勢(shì)函數(shù)下的學(xué)習(xí)率

本節(jié)中，我們將式(30)所給出的學(xué)習(xí)率調(diào)度方案推廣至一般能量函數(shù)的情形；而對(duì)不連續(xù)協(xié)議（即式(34)）的推廣，留待未來研究。

等溫過程中產(chǎn)生的過剩功，可按過程總時(shí)間作微擾展開計(jì)算，如文獻(xiàn)[40, 41]中所示：

由于 g g 和 ζ ζ 均為對(duì)稱且正定矩陣，因此 η η 也具有對(duì)稱性和正定性。

以下定理表明：若采用式(53)所給出的學(xué)習(xí)率調(diào)度方案來訓(xùn)練持久鏈EBM，則參數(shù)將按照自然梯度流（natural gradient flow）進(jìn)行優(yōu)化——該方法在實(shí)際應(yīng)用中已被證明有效[37]。

文獻(xiàn)[42]指出：對(duì)于 對(duì)偶平坦的統(tǒng)計(jì)流形 （dually flat statistical manifolds），MLE目標(biāo)的自然梯度流總能在 有限時(shí)間內(nèi)收斂至全局最優(yōu)解 。標(biāo)準(zhǔn)的對(duì)偶平坦統(tǒng)計(jì)流形包括 指數(shù)族 （exponential family）與 混合族 （mixture family）[33]。諧波勢(shì)阱屬于指數(shù)族，即由式(1)給出、且具有如下形式能量函數(shù)的玻爾茲曼分布集合：

其中 C C 和 F F 為任意函數(shù)。

此外，文獻(xiàn)[42]還表明：對(duì)于對(duì)偶平坦流形，式(54)所描述的軌跡是關(guān)于費(fèi)舍爾度量（Fisher metric）的陳氏-阿馬里聯(lián)絡(luò)（Chentsov–Amari connection）下的測(cè)地線。這意味著，若要使式(54)的軌跡最小化過剩功，則它們也必須是關(guān)于熱力學(xué)度量 ζ ζ 的列維-奇維塔聯(lián)絡(luò)（Levi–Civita connection）下的測(cè)地線。在接下來的章節(jié)中，我們將展示在諧波勢(shì)阱的情形下，這兩類測(cè)地線如何重合。

A. 諧波勢(shì)阱的慢驅(qū)動(dòng)協(xié)議

該式比式(28)更具一般性。事實(shí)上，由于式(63)并不滿足式(27)的條件，因此在慢驅(qū)動(dòng)近似（slow driving approximation）下，它并不能最小化總熵產(chǎn)生。然而，由于該協(xié)議從平衡態(tài)初始化，且不依賴于真實(shí)參數(shù) 的先驗(yàn)知識(shí)，因此可以認(rèn)為是被真正“學(xué)習(xí)”到的。

圖5展示了基于慢驅(qū)動(dòng)協(xié)議式(63)的諧波勢(shì)阱訓(xùn)練過程。值得注意的是，樣本分布（以藍(lán)色脊線圖表示）的演化路徑并非直線，而模型參數(shù)（以紅色曲線標(biāo)示）的軌跡則是直線。

對(duì)于慢驅(qū)動(dòng)協(xié)議式(53)，可利用式(24)計(jì)算其過剩功，結(jié)果為：

右側(cè)第一項(xiàng)對(duì)應(yīng)于式(29)中所述的連續(xù)協(xié)議（即最小熵產(chǎn)生協(xié)議）所產(chǎn)生的過剩功；第二項(xiàng)嚴(yán)格為負(fù)，因此會(huì)減小總過剩功。這意味著：慢驅(qū)動(dòng)協(xié)議（slow driving protocol），至少在諧波勢(shì)阱的情形下，始終比連續(xù)協(xié)議產(chǎn)生更少的過剩功。

將式(64)與式(32)左右兩側(cè)分別取比值，可得：

對(duì)于 0 < μ τ < ∞，該比值恒大于1。因此，慢驅(qū)動(dòng)協(xié)議所產(chǎn)生的過剩功 總是大于不連續(xù)（即最優(yōu)）協(xié)議所產(chǎn)生的過剩功。圖6展示了在所選參數(shù)下，每種協(xié)議對(duì)應(yīng)的累積過剩功隨時(shí)間變化的曲線圖。

V. 討論
通過隨機(jī)熱力學(xué)的視角審視持久鏈EBM[18]，我們發(fā)現(xiàn)：MLE目標(biāo)函數(shù)的偏差精確等于熱力學(xué)中的過剩功。該過剩功（從而偏差）已知可由準(zhǔn)靜態(tài)過程（即樣本分布始終接近平衡態(tài)的過程）實(shí)現(xiàn)最小化；然而，僅當(dāng)時(shí)間趨于無窮時(shí)，過剩功才嚴(yán)格為零。對(duì)于此類過程的離散模擬而言，該極限對(duì)應(yīng)于執(zhí)行極大量的MCMC迭代步數(shù)，這在計(jì)算上是不現(xiàn)實(shí)的。

由此引出一個(gè)核心問題：是否有可能在有限時(shí)間內(nèi)訓(xùn)練一個(gè)EBM，使其產(chǎn)生最小的過剩功？此外，為嚴(yán)格尊重MLE目標(biāo)，我們假設(shè)唯一可調(diào)參數(shù)僅為學(xué)習(xí)率。我們證明：對(duì)于諧波勢(shì)阱EBM，卻可在有限時(shí)間內(nèi)以最小過剩功完成訓(xùn)練。

進(jìn)一步發(fā)現(xiàn)：若模型參數(shù)的演化協(xié)議要求全程連續(xù)，則無法真正學(xué)習(xí)到目標(biāo)分布——因?yàn)檫@需要依賴于目標(biāo)分布本身的精確初始條件；然而，若允許模型參數(shù)協(xié)議在初始與終了時(shí)刻存在不連續(xù)性（如文獻(xiàn)[27]所述），且樣本分布從平衡態(tài)初始化，則目標(biāo)分布便可被成功學(xué)習(xí)。

此外，我們還將諧波勢(shì)阱情形下的最小耗散學(xué)習(xí)率調(diào)度推廣至一般能量勢(shì)函數(shù)的情形。該推廣基于文獻(xiàn)[31]提出的熱力學(xué)度量；盡管它確能在諧波勢(shì)阱中最小化過剩功，但我們尚未確定其在更廣泛分布類別中實(shí)現(xiàn)最小耗散的適用范圍。一個(gè)引人注目的結(jié)果是：該調(diào)度方案自然誘導(dǎo)出MLE目標(biāo)函數(shù)上的自然梯度流——一種廣為人知的二階優(yōu)化方法[34]。至于究竟哪些分布類可在該學(xué)習(xí)率調(diào)度下實(shí)現(xiàn)最小耗散學(xué)習(xí)，我們留待未來研究解決。

最后需強(qiáng)調(diào)：本文所考慮的連續(xù)時(shí)間朗之萬動(dòng)力系統(tǒng)對(duì)應(yīng)于理想化的熱力學(xué)系統(tǒng)，其所產(chǎn)生的過剩功構(gòu)成了任何物理實(shí)現(xiàn)設(shè)備（用于模擬該系統(tǒng)）所耗散能量的理論下界。對(duì)于離散化的朗之萬動(dòng)力學(xué)算法，熱力學(xué)過剩功還須計(jì)入額外自由度（如存儲(chǔ)記憶）的影響——這也是我們留待未來探索的一個(gè)研究方向。

原文鏈接： https://arxiv.org/pdf/2510.03137v1