神經(jīng)熵 Neural Entropy

https://arxiv.org/pdf/2409.03817

概述

本文探討了神經(jīng)熵的概念，特別是在生成模型和擴(kuò)散模型中的應(yīng)用。以下是文章的重點(diǎn)概述：

1. 神經(jīng)熵的定義和意義：

   • 神經(jīng)熵量化了神經(jīng)網(wǎng)絡(luò)中存儲(chǔ)的信息量。

   • 在理想情況下，神經(jīng)熵可以衡量網(wǎng)絡(luò)從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)到的信息量。

2. 擴(kuò)散模型與信息存儲(chǔ)：

   • 擴(kuò)散模型能夠?qū)W習(xí)圖像像素之間的非局部相關(guān)性，并根據(jù)數(shù)據(jù)分布的特性定制壓縮方案。

   • 擴(kuò)散模型被視為無(wú)限深度的自編碼器，能夠捕捉數(shù)據(jù)分布的細(xì)節(jié)。

3. 生成模型與薛定諤的論點(diǎn)：

   • 文章討論了如何將薛定諤的論點(diǎn)擴(kuò)展到生成模型，特別是擴(kuò)散模型。

   • 通過(guò)調(diào)整漂移和擴(kuò)散系數(shù)，可以使生成模型的分布更接近目標(biāo)分布 pd。

4. 實(shí)驗(yàn)研究：

   • 通過(guò)在合成數(shù)據(jù)集和MNIST數(shù)據(jù)集上的實(shí)驗(yàn)，研究了擴(kuò)散模型的傳輸特性和存儲(chǔ)效率。

   • 實(shí)驗(yàn)結(jié)果表明，隨著樣本數(shù)量 N 的增加，圖像質(zhì)量提高，但神經(jīng)熵的增長(zhǎng)接近對(duì)數(shù)規(guī)模。

5. 神經(jīng)熵的計(jì)算和應(yīng)用：

   • 討論了如何計(jì)算神經(jīng)熵，特別是在連續(xù)擴(kuò)散模型中。

   • 神經(jīng)熵可以用于評(píng)估擴(kuò)散模型的性能，較小的KL散度意味著模型更忠實(shí)地再現(xiàn)數(shù)據(jù)分布。

6. 局限性和未來(lái)工作：

   • 當(dāng)前對(duì)神經(jīng)熵的定義僅限于連續(xù)擴(kuò)散模型，需要進(jìn)一步擴(kuò)展到其他類(lèi)型的模型。

   • 未來(lái)的研究可以探索更復(fù)雜的網(wǎng)絡(luò)架構(gòu)和縮放定律對(duì)神經(jīng)熵的影響。

7. 相關(guān)工作：

   • 文章回顧了擴(kuò)散模型與非平衡熱力學(xué)、最優(yōu)控制等領(lǐng)域的關(guān)系。

   • 討論了擴(kuò)散模型在信息論方面的應(yīng)用，以及它們?nèi)绾斡行У貕嚎s數(shù)據(jù)。

總的來(lái)說(shuō)，本文深入探討了神經(jīng)熵在生成模型和擴(kuò)散模型中的作用，并通過(guò)實(shí)驗(yàn)驗(yàn)證了其在評(píng)估模型性能和理解信息存儲(chǔ)方面的潛力。

摘要
我們通過(guò)擴(kuò)散模型（diffusion models）這一范式，探討深度學(xué)習(xí)與信息論之間的聯(lián)系。擴(kuò)散模型通過(guò)（不完美地）恢復(fù)在數(shù)據(jù)擴(kuò)散至噪聲過(guò)程中被擦除的信息，從而將噪聲轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)；這些信息在訓(xùn)練過(guò)程中被存儲(chǔ)于神經(jīng)網(wǎng)絡(luò)中。我們引入一種稱為神經(jīng)熵（neural entropy）的度量來(lái)量化該信息量。神經(jīng)熵與擴(kuò)散過(guò)程所產(chǎn)生的總熵相關(guān)，其大小不僅取決于數(shù)據(jù)分布本身，還依賴于具體的擴(kuò)散過(guò)程。對(duì)若干簡(jiǎn)單圖像擴(kuò)散模型的神經(jīng)熵測(cè)量表明：這些模型在壓縮大規(guī)模結(jié)構(gòu)化數(shù)據(jù)集合方面表現(xiàn)出極高的效率。

1 引言

2 薛定諤的 Gedanken 實(shí)驗(yàn)

擴(kuò)散與信息論之間的聯(lián)系可以追溯到1931年薛定諤在其一篇開(kāi)創(chuàng)性的論文中引入的一個(gè)思想實(shí)驗(yàn)?？紤]一個(gè)像墨水滴在水中溶解這樣的擴(kuò)散過(guò)程。常識(shí)表明，墨水顆粒會(huì)在可用的水中均勻分布，并無(wú)限期地保持這種擴(kuò)散狀態(tài)。然而，墨水顆粒在以后的某個(gè)時(shí)間以某種奇異配置聚集在一起的概率雖然很小但非零。薛定諤問(wèn)：顆粒擴(kuò)散回其原始狀態(tài)的概率是多少？

為了在更簡(jiǎn)單的設(shè)置中回答這個(gè)問(wèn)題，我們研究在一維晶格上的隨機(jī)行走者。晶格點(diǎn)間隔為 ?，行走者在每一步跳到其最近的鄰居之一。位置 x 處的行走者密度更新為

3 擴(kuò)散模型與麥克斯韋妖

4 熵匹配

5 熱力學(xué)不確定性

為簡(jiǎn)化起見(jiàn)，此處假設(shè) σ 為常數(shù)，而 σ2T 是 pd 達(dá)到 p0 所需的時(shí)間，單位為 σ?2。W? 僅取決于初始分布和最終分布。如果兩個(gè)過(guò)程達(dá)到平衡（達(dá)到 p0 ≈ peq）所需時(shí)間相同，則其平衡態(tài)離 pd 更遠(yuǎn)的那個(gè)過(guò)程將產(chǎn)生更多熵。如果兩個(gè)過(guò)程將 pd 轉(zhuǎn)化為相同的 p0，則兩種情況下 W? 相同，但更快的轉(zhuǎn)化過(guò)程會(huì)產(chǎn)生更多熵以滿足該界限。因此，擴(kuò)散模型必須存儲(chǔ)更多信息才能逆轉(zhuǎn)更快的擴(kuò)散過(guò)程。這就是熱力學(xué)速度極限：給定 pd 和 p0，我們能將一個(gè)擴(kuò)散到另一個(gè)的速度存在上限，不能超過(guò)特定的熵產(chǎn)生預(yù)算。等價(jià)地，更快的轉(zhuǎn)化需要更多的信息才能逆轉(zhuǎn)，這已被發(fā)現(xiàn)會(huì)影響準(zhǔn)確性 [34]。我們的實(shí)驗(yàn)也證實(shí)了這些觀察結(jié)果。

6 實(shí)驗(yàn)

如方程（11）所定義的神經(jīng)熵，在理想化的環(huán)境中量化了呈現(xiàn)給網(wǎng)絡(luò)的信息。在實(shí)踐中，數(shù)據(jù)的有限性、訓(xùn)練中的不完美以及網(wǎng)絡(luò)的強(qiáng)歸納偏差都會(huì)影響存儲(chǔ)在神經(jīng)網(wǎng)絡(luò)中的信息量。為了解決這些問(wèn)題，我們將進(jìn)行兩類(lèi)實(shí)驗(yàn)，首先是探究方程（22）中討論的擴(kuò)散的傳輸特性，其次是研究擴(kuò)散模型的存儲(chǔ)效率。

7 結(jié)論

在第1節(jié)中，我們使用存儲(chǔ)圖像的例子來(lái)激勵(lì)神經(jīng)熵。我們展示了存儲(chǔ)單個(gè)圖像與保留圖像分布之間的權(quán)衡。在傳統(tǒng)存儲(chǔ)器中，存儲(chǔ) N 張圖像所需的字節(jié)數(shù)將是每張圖像的 N 倍，即使使用有效的壓縮。經(jīng)典壓縮算法對(duì)所有輸入進(jìn)行隱式假設(shè)，利用自然圖像的統(tǒng)計(jì)特性并普遍適用。然而，擴(kuò)散模型看到大量圖像集合，并可以學(xué)習(xí)圖像像素之間的非局部相關(guān)性；它們是無(wú)限深度的自編碼器[39-41]。換句話說(shuō)，這些模型可以根據(jù)數(shù)據(jù)分布的特性定制壓縮方案。這當(dāng)然是一種有損壓縮形式，因?yàn)槲覀兒苌倌軓倪@些概率模型中完美恢復(fù)訓(xùn)練圖像。

相關(guān)工作 引入擴(kuò)散模型的原始工作從非平衡熱力學(xué)的Jarzynski等式和波動(dòng)定理中汲取靈感[1, 49, 50]。這些思想之間的關(guān)系通過(guò)[40, 71]變得明顯，兩者都使用Feymann-Kac公式和Girsanov定理來(lái)獨(dú)立開(kāi)發(fā)擴(kuò)散模型和熱力學(xué)的類(lèi)似結(jié)果。這些結(jié)果可以用最優(yōu)控制[15, 51]的語(yǔ)言理解。我們?cè)诘贐.4節(jié)中說(shuō)明了這兩種方法。幾位作者還開(kāi)發(fā)了這些模型與薛定諤橋問(wèn)題[2, 53]之間的聯(lián)系。熱力學(xué)極限對(duì)擴(kuò)散模型準(zhǔn)確性的影響在[34]中進(jìn)行了更詳細(xì)的研究。擴(kuò)散模型的信息論方面也在[54]中進(jìn)行了探索，并且對(duì)這些模型捕獲模型信息的能力進(jìn)行了更深入的討論[56]，這與第C.2和4節(jié)中的討論一致，因?yàn)檫@些模型中的生成過(guò)程是沿著學(xué)習(xí)到的自由能景觀下降的。

原文鏈接：https://arxiv.org/pdf/2409.03817