Quantum Reinforcement Learning by Adaptive Non-local Observables

通過自適應(yīng)非局域可觀測量實現(xiàn)的量子強化學(xué)習(xí)

https://arxiv.org/pdf/2507.19629?

摘要

混合量子–經(jīng)典框架利用量子計算進(jìn)行機器學(xué)習(xí)，但變分量子線路（VQCs）受限于局域測量。本文提出一種自適應(yīng)非局域可觀測量（Adaptive Non-local Observable, ANO）范式，將其嵌入變分量子線路中用于量子強化學(xué)習(xí)（Quantum Reinforcement Learning, QRL），聯(lián)合優(yōu)化線路參數(shù)與多量子比特測量。ANO-VQC 架構(gòu)作為函數(shù)逼近器，被集成到深度 Q 網(wǎng)絡(luò)（DQN）與異步優(yōu)勢行動者–評論家（A3C）算法中。在多個基準(zhǔn)任務(wù)上，ANO-VQC 智能體性能優(yōu)于基線 VQC。消融研究表明，自適應(yīng)測量可在不增加線路深度的前提下拓展函數(shù)表達(dá)空間。結(jié)果表明，自適應(yīng)多量子比特可觀測量可在強化學(xué)習(xí)中促成切實可行的量子優(yōu)勢。

索引術(shù)語—變分量子線路，量子機器學(xué)習(xí)，量子神經(jīng)網(wǎng)絡(luò)，強化學(xué)習(xí)，非局域可觀測量，厄米算符，DQN，A3C。

I. 引言

量子計算（QC）有望在某些經(jīng)典硬件難以處理的任務(wù)上實現(xiàn)加速。盡管當(dāng)前含噪聲中等規(guī)模量子（NISQ）設(shè)備仍面臨退相干、量子比特數(shù)量有限以及量子門操作保真度不足等挑戰(zhàn)，但在硬件穩(wěn)定性提升與誤差緩解技術(shù)方面已取得顯著進(jìn)展［1］–［3］。這些進(jìn)步激發(fā)了科研人員積極探索量子資源可能相較于純經(jīng)典方法帶來實質(zhì)性優(yōu)勢的應(yīng)用領(lǐng)域。

量子機器學(xué)習(xí)（QML）是其中尤為活躍的一個方向。其將量子子程序集成到經(jīng)典學(xué)習(xí)流程中，以期增強模型的表征能力、優(yōu)化高維參數(shù)空間，或加速核函數(shù)計算［4］–［6］。大多數(shù)QML方案采用混合量子–經(jīng)典范式：一個參數(shù)化量子線路（PQC）或變分量子線路（VQC）負(fù)責(zé)數(shù)據(jù)處理，而經(jīng)典優(yōu)化器則調(diào)整線路參數(shù)，以最小化任務(wù)特定的代價函數(shù)［7］–［11］。該方法結(jié)合了量子態(tài)制備與糾纏等量子特性，以及經(jīng)典優(yōu)化循環(huán)的成熟性與靈活性。已有研究表明，相較于經(jīng)典模型，VQC能夠更高效地表示復(fù)雜概率分布［12］,［13］。另有若干工作指出，量子學(xué)習(xí)器所需的查詢次數(shù)可呈指數(shù)級減少，且對噪聲更具魯棒性，凸顯了近期量子設(shè)備在機器學(xué)習(xí)任務(wù)中的潛力［14］,［15］。

在量子機器學(xué)習(xí)（QML）框架下，量子強化學(xué)習(xí)（QRL）探索將量子線路——尤其是變分量子線路（VQC）——用作強化學(xué)習(xí)（RL）任務(wù)中的策略函數(shù)或價值函數(shù)逼近器［16］。在RL中，智能體通過與環(huán)境交互以最大化累積獎勵，需在探索與利用之間取得平衡。經(jīng)典算法如深度Q網(wǎng)絡(luò)（DQN）［17］,［18］與異步優(yōu)勢行動者–評論家（A3C）［19］已在多種決策任務(wù)中取得廣泛成功。

早期QRL研究已證實：基于VQC的智能體可在離散控制環(huán)境中實現(xiàn)有效學(xué)習(xí)［20］–［25］。例如，將VQC嵌入DQN框架的混合量子–經(jīng)典智能體，在FrozenLake與認(rèn)知無線電控制等任務(wù)中，以少于經(jīng)典網(wǎng)絡(luò)的參數(shù)量實現(xiàn)了有效的Q值學(xué)習(xí)［20］；在CartPole與Blackjack等環(huán)境中，集成于DQN及Double DQN框架的VQC亦憑借高效的量子數(shù)據(jù)編碼展現(xiàn)出相當(dāng)甚至更優(yōu)的性能［21］。文獻(xiàn)［24］提出了一種專為DQN定制的變分量子算法，證實輸入編碼方式與可觀測量設(shè)計等架構(gòu)選擇對離散與連續(xù)任務(wù)性能均有顯著影響。文獻(xiàn)［22］引入了參數(shù)化量子策略，并提供了理論與實證依據(jù)，表明在特定構(gòu)造的RL環(huán)境中可能存在量子優(yōu)勢。文獻(xiàn)［25］,［26］則探索了VQC增強的A3C方法，發(fā)現(xiàn)量子智能體在性能上可與經(jīng)典基線媲美甚至更優(yōu)，且得益于量子線路的強表達(dá)能力與并行學(xué)習(xí)策略，收斂速度有所提升。

傳統(tǒng)上，量子神經(jīng)網(wǎng)絡(luò)（QNN）架構(gòu)僅在變分層之后施加局域測量（通常是單量子比特Pauli算符），這可能限制VQC可實現(xiàn)的函數(shù)空間，進(jìn)而阻礙對復(fù)雜狀態(tài)–動作關(guān)聯(lián)的學(xué)習(xí)。為應(yīng)對這一局限，研究者提出了多種測量策略，例如隨機測量［27］,［28］以及量子卷積神經(jīng)網(wǎng)絡(luò)（QCNN）中的池化測量［29］。近來，一種可學(xué)習(xí)可觀測量框架被提出，以聯(lián)合優(yōu)化線路參數(shù)與測量基［30］,［31］；該思路進(jìn)一步發(fā)展為自適應(yīng)非局域可觀測量（Adaptive Non-local Observable, ANO）范式［32］——其動態(tài)選取糾纏型測量算符，以最大化模型表達(dá)能力。

本文將ANO模型與基于VQC的RL智能體相結(jié)合，應(yīng)用于DQN與A3C等框架，旨在證明：更豐富的測量方案可顯著提升各類環(huán)境下的策略學(xué)習(xí)效果。具體而言，本文貢獻(xiàn)如下：

• 我們將自適應(yīng)非局域可觀測量整合至DQN與A3C智能體的VQC主干中，使測量方案可與線路參數(shù)同步訓(xùn)練；
• 我們在多個受控任務(wù)（如CartPole、MiniGrid、MountainCar）上評估所提出的ANO-VQC智能體，并與采用局域測量的基線VQC智能體進(jìn)行性能對比；
• 通過消融研究，我們證明：ANO可拓展VQC可實現(xiàn)的函數(shù)空間，從而帶來更快的收斂速度與更高的累積獎勵。

結(jié)果表明，引入自適應(yīng)多量子比特測量可釋放混合量子–經(jīng)典智能體的潛在能力，推動我們在強化學(xué)習(xí)中邁向切實可行的量子優(yōu)勢。

II. 用于量子強化學(xué)習(xí)的自適應(yīng)非局域可觀測量

A. 強化學(xué)習(xí)公式化描述

強化學(xué)習(xí)（RL）是一種通過與環(huán)境交互進(jìn)行學(xué)習(xí)的計算方法，其形式化表述為一個馬爾可夫決策過程（MDP），由五元組 (S, A, P, γ, R) 定義，其中：

• S 是狀態(tài)空間，表示環(huán)境所有可能的配置；
• A 是動作空間，表示智能體可以采取的所有可能動作；
• P : S × A × S → [0,1] 是轉(zhuǎn)移概率函數(shù)，其中 P(s′|s, a) 表示在動作 a 下從狀態(tài) s 轉(zhuǎn)移到狀態(tài) s′ 的概率；
• 獎勵函數(shù) R : S × A × S → ? 為狀態(tài)轉(zhuǎn)移 s →a s′ 賦予價值；
• 常數(shù) γ ∈ [0,1] 是折扣因子，決定累積獎勵的衰減速率。

一系列作用于初始狀態(tài) s? ∈ S 的動作將引發(fā) MDP 的動態(tài)演化：

策略（policy）是一個函數(shù) π : S → A，用于在任意給定狀態(tài) s ∈ S 下生成動作 π(s) ∈ A。在強化學(xué)習(xí)（RL）的語境中，策略 π 也被稱為智能體（agent）。強化學(xué)習(xí)的目標(biāo)是找到最優(yōu)策略 π*，使其在序列上獲得最高的獎勵（見公式1）。

給定一個策略 π，可定義狀態(tài)價值函數(shù)（state-value function）：

策略內(nèi)（on-policy）優(yōu)勢梯度（即從策略 π 中采樣軌跡（式 1））、熵正則化（entropy regularization），以及各工作進(jìn)程間無鎖異步（lock-free asynchronous）參數(shù)更新——這三者的結(jié)合構(gòu)成了 A3C 的核心機制。

在本文工作中，我們在 Q-learning 與 A3C 的范式基礎(chǔ)上，采用自適應(yīng)非局域可觀測量（ANO）對其進(jìn)行建模，以評估其在強化學(xué)習(xí)任務(wù)中的性能表現(xiàn)。

B. 用于量子強化學(xué)習(xí)的自適應(yīng)非局域可觀測量

在量子機器學(xué)習(xí)（QML）中，作為量子神經(jīng)網(wǎng)絡(luò)（QNN）的變分量子線路（VQC）定義如下：

其中輸入向量 x ∈ ?? 由編碼層 W(x) 編碼，該層作用于初始態(tài) |ψ?? = |0???，隨后接一個參數(shù)化變分層 U(θ)，參見圖1。

編碼層 W(x) 對每個量子比特施加 Hadamard 門，接著是單量子比特旋轉(zhuǎn)門 R(x?)，其旋轉(zhuǎn)角度由輸入分量 x? 決定。變分層 U(θ) 由相鄰量子比特之間的糾纏 CNOT 門以及具有可學(xué)習(xí)參數(shù) θ? 的局部旋轉(zhuǎn)門 R(θ?) 構(gòu)成。最后，通過測量可觀測量 H 來獲得線路的輸出。

式9中VQC的一個限制因素在于固定的厄米算符 H，這導(dǎo)致輸出被限制在區(qū)間 λ? ≤ f?qc(x) ≤ λ? 內(nèi)，其中 λ? ≤ ? ≤ λ? 是 H 的特征值。

使用傳統(tǒng)泡利可觀測量（Pauli observables）的 VQC 僅有兩個特征值 λ = ±1，這進(jìn)一步限制了其輸出范圍：

為克服固定可觀測量所帶來的局限性——尤其是輸出范圍受限以及基于泡利測量的表達(dá)能力不足——我們提出將自適應(yīng)非局域可觀測量（ANO）［32］整合進(jìn)量子強化學(xué)習(xí)（Quantum RL）框架。ANO 通過引入一個自適應(yīng)的 k-局域可觀測量，顯著增強了基于 VQC 的模型，使其具備更靈活、更具表達(dá)力的函數(shù)逼近能力。

在 ANO 中，一個作用于 k 個量子比特（k ≤ n）的 k-局域可觀測量通過以下方式參數(shù)化：

III. 實驗

A. ANO-DQN

為評估所提出的 ANO 增強型 Q 學(xué)習(xí)框架，我們在 CartPole 和 Mountain Car 環(huán)境中進(jìn)行了實驗，所用 VQC 設(shè)置如式 12 所定義。

1. Cart-Pole：由連續(xù)狀態(tài)空間 S ? ?? 定義，其中 s = (x, ?, θ, θ?) ∈ S 表示小車位置 x、速度 ?、桿子角度 θ 及角速度 θ?。動作空間是離散的：A = {0,1}，分別對應(yīng)向左施加力（a=0）或向右施加力（a=1）。在每個時間步，只要桿子保持直立且小車未超出邊界，智能體即獲得獎勵 R(t) = 1；否則該輪次終止。

我們的結(jié)果總結(jié)于圖3，比較了三種配置：

1. （3-局域 w/ R.）含變分層的 3-局域 ANO，其中變分酉矩陣 U(θ) 與自適應(yīng)可觀測量 H(φ) 均被訓(xùn)練以逼近 Q 函數(shù)；
2. （僅 R.）傳統(tǒng) VQC，使用泡利 Z 測量與變分層 U(θ)，但采用固定的泡利矩陣；
3. （僅測量）不含旋轉(zhuǎn)門的 3-局域 ANO，移除變分層 U(θ)，完全依賴可訓(xùn)練的 H(φ) 實現(xiàn)學(xué)習(xí)表達(dá)能力。

帶有旋轉(zhuǎn)門的 3-局域配置學(xué)習(xí)速度最快，比另外兩種配置更早且更穩(wěn)定地達(dá)到環(huán)境設(shè)定的 500 步上限。傳統(tǒng)的 VQC（“僅 R.”）收斂更慢，且平均獎勵更低，表現(xiàn)類似于僅依賴測量的變體。

圖4展示了Mountain Car環(huán)境的實驗結(jié)果，表明僅依賴旋轉(zhuǎn)門的配置在此任務(wù)中不具備足夠的模型表達(dá)能力。采用ANO模型后，僅將線路局域性從3提升至6，性能便得到顯著提升。此外，在6-局域級別下，增加旋轉(zhuǎn)不變性帶來的額外收益微乎其微，因為無論是否引入旋轉(zhuǎn)門，兩種變體最終均收斂到相近的高獎勵值。這表明，一旦模型具備足夠的表征能力（此處為局域性=6），在Mountain Car環(huán)境中強制施加旋轉(zhuǎn)對稱性已不再明顯改善學(xué)習(xí)效果。

B. ANO-A3C

對于ANO-A3C設(shè)置，我們將ANO模型直接集成進(jìn)A3C框架，其中行動者（策略）網(wǎng)絡(luò)與評論者（價值）網(wǎng)絡(luò)均由量子逼近器 fθ,φ(s, a) 實現(xiàn)（定義見式12），并結(jié)合式14與式15。該框架在CartPole與MiniGrid環(huán)境中進(jìn)行基準(zhǔn)測試，旨在考察ANO增強的表達(dá)能力是否能帶來相較于傳統(tǒng)VQC智能體在性能或訓(xùn)練穩(wěn)定性方面的提升。所有實驗中，我們考慮三種電路配置：

1. （3-局域 w/ R.）含變分層的3-局域ANO，同時使用變分酉矩陣U和3-局域自適應(yīng)可觀測量H；
2. （僅R.）對應(yīng)傳統(tǒng)VQC設(shè)置，包含變分層U與固定的泡利Z測量；
3. （僅測量）不含變分層的3-局域ANO，即U = I，全部表達(dá)能力來源于可訓(xùn)練的H。
4. Cart-Pole：圖5繪制了A3C智能體在CartPole任務(wù)中所獲得的移動平均獎勵（±一個標(biāo)準(zhǔn)差，滑動窗口=100）。3-局域 w/ R. 曲線增長最陡峭，約在第12,000輪次時跨越移動平均獎勵400；僅測量變體學(xué)習(xí)速度較慢，平均獎勵僅達(dá)到約250；相比之下，僅R.配置（傳統(tǒng)VQC）獎勵低于100。這些結(jié)果表明，在CartPole任務(wù)中，同時引入旋轉(zhuǎn)門與非局域測量（即3-局域 w/ R.設(shè)計）能顯著加速學(xué)習(xí)過程并穩(wěn)定性能表現(xiàn)。

在A3C與DQN的CartPole實驗中，帶旋轉(zhuǎn)門的ANO配置均優(yōu)于僅旋轉(zhuǎn)門與僅測量基線。此外，A3C框架使“僅測量”情況也能以更少波動穩(wěn)步學(xué)習(xí)至中等水平獎勵，而在DQN框架下則趨于停滯。

1. MiniGrid：在MiniGrid系列中測試兩個任務(wù)：MiniGrid 8×8 與 MiniGrid-SimpleCrossing S9N1。由于狀態(tài)維度較高，采用經(jīng)典線性層將輸入特征降維至4維后輸入ANO模型。

MiniGrid 8×8 是一個稀疏獎勵的網(wǎng)格導(dǎo)航任務(wù)，智能體需在8×8環(huán)境中定位并抵達(dá)目標(biāo)格子，僅在成功時獲得+1獎勵。MiniGrid SimpleCrossing S9N1 則要求智能體穿越一條狹窄走廊，獎勵機制與8×8環(huán)境相同。圖7顯示，帶旋轉(zhuǎn)門的ANO在第6000輪次時成功率達(dá)到0.8以上；僅旋轉(zhuǎn)門情況收斂于約0.4且波動較大；僅測量方案則約為0.3，表明在更具挑戰(zhàn)性的任務(wù)中，旋轉(zhuǎn)門對實現(xiàn)可靠性能具有優(yōu)勢。

V. 結(jié)論

本文提出了一種將自適應(yīng)非局域可觀測量（ANO）新穎地融入變分量子線路（VQC）以用于量子強化學(xué)習(xí)（QRL）的方法，將ANO范式作為核心函數(shù)逼近器嵌入至DQN與A3C兩種框架中。通過聯(lián)合優(yōu)化線路參數(shù)與多量子比特測量算符，我們的ANO-VQC智能體在包括CartPole、Mountain Car以及多種MiniGrid任務(wù)在內(nèi)的多個基準(zhǔn)測試中，持續(xù)優(yōu)于采用固定局域泡利測量的基線VQC。實驗結(jié)果表明，ANO-VQC模型具有更快的收斂速度與更高的累積獎勵。此外，消融研究進(jìn)一步揭示：提升測量的局域性（locality）可顯著擴展量子模型的表征能力，且無需增加線路深度。值得注意的是，在較簡單的導(dǎo)航任務(wù)中，或當(dāng)測量局域性足夠大時，“僅測量”變體（即無變分旋轉(zhuǎn)層）也能實現(xiàn)有效學(xué)習(xí)——這凸顯了自適應(yīng)可觀測量所賦予的靈活性。

總體而言，我們的研究結(jié)果表明：自適應(yīng)多量子比特測量能夠釋放混合量子–經(jīng)典RL智能體中潛在的表達(dá)能力，從而在NISQ時代硬件上更高效地探索復(fù)雜的價值函數(shù)空間。

原文鏈接：https://arxiv.org/pdf/2507.19629?