Dynamical Decomposition of Markov Processes without Detailed Balance *

無細致平衡條件下馬爾可夫過程的動態(tài)分解

DOI: 10.1088/0256-307X/30/7/070201

我們提出一種動力學分解視角來處理不滿足細致平衡的馬爾可夫過程。本工作推廣了此前針對連續(xù)狀態(tài)馬爾可夫過程的分解框架，并明確給出了其在離散狀態(tài)情形下的對應形式。我們通過研究類相對熵函數(shù)的演化，考察了各分解部分在動力學中所起的作用。我們發(fā)現(xiàn)，一種特殊的相對熵定義可將細致平衡部分與破壞細致平衡部分所扮演的動力學角色統(tǒng)一起來。該相對熵的演化自然地給出了過程收斂性的上界（或約束）。

馬爾可夫過程長期以來已被廣泛應用于物理學中。[1] 在采樣任務中，人們通常首先強制施加細致平衡條件。然而，目前將馬爾可夫過程用于建模生物過程的趨勢日益增長——從復雜網(wǎng)絡[2?4]到演化動力學[5,6]，以及其他諸多領域[7,8]。在這些過程中，細致平衡條件通常并不成立。面對這一困難，已有研究嘗試對平穩(wěn)馬爾可夫過程進行分解，以理解其內(nèi)在結(jié)構。[9,10]

近期，一種針對連續(xù)狀態(tài)空間中連續(xù)時間馬爾可夫過程的分解視角被提出，用以揭示其動力學特性。[11?14] 該視角將馬爾可夫過程的結(jié)構分解為三個相互獨立的部分：勢函數(shù)、對稱擴散矩陣與反對稱矩陣。這一視角在局部與全局層面均揭示了系統(tǒng)的動力學行為，并建立了確定性動力學與隨機動力學之間的直接對應關系。[15,16]

在本快報中，我們推廣了上述分解方法，提出一個適用于馬爾可夫過程的統(tǒng)一框架。該框架在連續(xù)狀態(tài)與離散狀態(tài)情形下提取出一致的結(jié)構，為在不同粗?；瘜哟紊?、結(jié)合離散與連續(xù)馬爾可夫過程建模多尺度系統(tǒng)提供了新思路。此外，通過一種特殊的相對基尼熵（relative Gini entropy）定義，我們得以在離散與連續(xù)狀態(tài)情形下統(tǒng)一刻畫對稱（滿足細致平衡）部分與反對稱（破壞細致平衡）部分的動力學作用。相對基尼熵的演化自然地為過程的收斂性提供了界限約束。

接下來，我們將首先介紹馬爾可夫過程的分解視角。

隨后，我們將研究類相對熵函數(shù)的演化。
一個具有唯一平穩(wěn)分布 π π 的一般馬爾可夫過程，可形式化為如下方程：

平穩(wěn)分布可通過求解 Q π = 0 得到。由于 Q 不是滿秩矩陣，該解恒存在，且為Q 的（對應零特征值的）特征向量。當 Q僅有唯一一個零特征值時，該解唯一；此外，存在圖論算法可精確計算該平穩(wěn)分布。[10]

主方程（6）的分解可形式化地通過以下步驟給出：

連續(xù)狀態(tài)情形下的分解由本文作者之一發(fā)現(xiàn)，并經(jīng)一系列工作逐步發(fā)展完善。[11?13,15,16,18] 該分解可通過如下散度形式的?？栓C普朗克方程（Fokker–Planck equation）予以展示：

可以驗證， S S 與 A A 分別滿足對稱性與反對稱性。

上述分解為離散狀態(tài)與連續(xù)狀態(tài)的馬爾可夫過程提供了一個統(tǒng)一的視角。二者之間的一致性，或可為隨機積分類型的定義提供一種自然途徑——即通過給出一個無歧義的平衡分布來實現(xiàn)。

基于這一分解視角，我們現(xiàn)在借助類熵函數(shù)來研究馬爾可夫過程的動力學行為。其中最著名的熵定義是源于信息論與統(tǒng)計物理的香農(nóng)熵（Shannon entropy）：[19,20]

然而，香農(nóng)熵在馬爾可夫過程中通常并不具有單調(diào)演化性質(zhì)。因此，若將最大熵原理應用于一般過程時仍采用這一熵定義，很可能導致不自洽的結(jié)論。另一方面，若我們納入平穩(wěn)分布并引入 相對熵 （relative entropy）的定義，則其單調(diào)性可得以保持。對于具有 n n 個狀態(tài)的離散狀態(tài)情形，相對 f f 熵定義如下：

其中 f f 是一個凸函數(shù)；不同的 f f 選取對應不同的熵定義，最常見的是相對香農(nóng)熵（relative Shannon entropy）。

相對熵的單調(diào)性在文獻中已有論述。[21] 圖1作為示例，闡明了其單調(diào)性得以成立的內(nèi)在原因：圖中不同顏色代表從不同初始分布出發(fā)的演化軌跡。圖1(a) 比較了非單調(diào)演化的香農(nóng)熵與單調(diào)演化的相對香農(nóng)熵；圖1(b) 與圖1(c) 則進一步解釋了(a)中現(xiàn)象的成因：非均勻的平穩(wěn)分布使得熵的極值點偏離中心位置，從而導致香農(nóng)熵有時上升、有時下降。值得注意的是，圖1(b)與(c)中不同軌跡的交匯點即為平穩(wěn)態(tài)。

這種單調(diào)性表明，相對熵是刻畫馬爾可夫過程動力學行為的一個優(yōu)良候選量。文獻[13]已指出，在連續(xù)狀態(tài)情形下，反對稱的（即破壞細致平衡的）部分對相對香農(nóng)熵的時間導數(shù)沒有貢獻；事實上，可進一步證明：所有形式的相對熵均具備這一性質(zhì)。

然而，與連續(xù)狀態(tài)情形不同，在離散狀態(tài)情形下，僅當采用某種特殊的相對熵定義時，才能將對稱部分與反對稱部分的動力學效應明確分離。這種特殊的相對熵被稱為相對基尼熵（relative Gini entropy），它對應于取，其定義如下：

需注意，基尼熵（Gini entropy）[22] 的定義是廣義熵（Tsallis 熵）[23,24] 的一個特例，且在量子力學中被用作刻畫量子態(tài)純度的量度。此處我們額外加上常數(shù) 1，以便于后續(xù)討論。

相對基尼熵的熵產(chǎn)生率可計算如下：

式 (17) 表明，相對基尼熵將隨時間單調(diào)遞增。此外，其時間導數(shù)不受過程中反對稱部分的影響。這一性質(zhì)揭示了反對稱部分所關聯(lián)動力學的守恒特性，并在離散與連續(xù)狀態(tài)過程中，統(tǒng)一了對稱（滿足細致平衡）部分與反對稱（破壞細致平衡）部分所扮演的動力學角色。對于其他熵定義，僅當系統(tǒng)接近平穩(wěn)態(tài)時，方可忽略反對稱部分的影響。相對基尼熵的這一獨特性質(zhì)，提示我們可進一步深入探究其對動力學行為的深刻啟示。

接下來，我們通過以下定理表明：相對基尼熵的演化自然地為過程的收斂性提供了界限約束。

定理：相對基尼熵的演化可被如下不等式所界定：

綜合上述結(jié)果，熵產(chǎn)生率的本征值界如式?(19) 所示。此前對該結(jié)果的證明?[25,26] 已隱含地運用了分解的思想。

馬爾可夫過程的分解視角已被長期研究?[10]，早期工作主要集中于穩(wěn)態(tài)分析?[9,10]；而現(xiàn)實需求日益要求對動力學行為進行更細致的刻畫。本文所引入的分解是完備的——即完整保留了原過程的全部信息；所得的三個相互獨立部分，既刻畫了穩(wěn)態(tài)，也揭示了動力學演化特性。

相較于非單調(diào)的香農(nóng)熵，單調(diào)的相對熵在分析馬爾可夫過程動力學時更為便利。在連續(xù)狀態(tài)情形下，對稱部分與反對稱部分對相對香農(nóng)熵導數(shù)的分離貢獻，分別對應其耗散性與保守性本質(zhì)?[13,27]。然而，在離散狀態(tài)情形下，僅相對基尼熵仍保持這一性質(zhì)，從而在離散與連續(xù)狀態(tài)過程中統(tǒng)一了對稱（細致平衡）部分與反對稱（破壞細致平衡）部分的動力學角色。相對基尼熵的這一獨特性質(zhì)，值得進一步深入探索。

在實際建模中，離散狀態(tài)與連續(xù)狀態(tài)的馬爾可夫過程常被互補使用：一方面可用連續(xù)過程近似離散過程，另一方面也可將連續(xù)過程粗粒化為離散形式?[28]。但二者之間存在一些微妙差異。例如，從軌跡角度看，連續(xù)過程通常由隨機微分方程描述，不同隨機積分方案（如 It? 與 Stratonovich）會導致結(jié)果偏差?[15]；而在離散狀態(tài)情形下則無此問題。本研究的觀察為理解此類偏差提供了一種新思路。

綜上所述，我們?yōu)橐话泷R爾可夫過程引入了一種動力學分解視角，該視角同時把握了穩(wěn)態(tài)與動力學結(jié)構?；诖朔纸?，我們發(fā)現(xiàn)了一種特殊的相對熵定義——它可在連續(xù)與離散狀態(tài)情形下，形式化地消除反對稱部分的影響。我們認為，這一視角是處理馬爾可夫過程的有力工具，后續(xù)研究值得沿此路徑繼續(xù)深入展開。

原文鏈接： https://iopscience.iop.org/article/10.1088/0256-307X/30/7/070201