Dataset Distillation for Quantum Neural Networks

量子神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)集蒸餾

https://arxiv.org/pdf/2503.17935

摘要：

在大量經(jīng)典數(shù)據(jù)上訓(xùn)練量子神經(jīng)網(wǎng)絡(luò)（QNN）既耗時(shí)又昂貴。訓(xùn)練數(shù)據(jù)量越大，達(dá)到收斂所需的梯度下降步數(shù)就越多；相應(yīng)地，QNN 需要執(zhí)行更多次量子線路運(yùn)算，從而顯著推高其總體執(zhí)行成本。在本工作中，我們提出對 QNN 進(jìn)行數(shù)據(jù)集蒸餾（dataset distillation），其中我們采用一種新穎的量子版經(jīng)典 LeNet 模型：該模型在 QNN 的參數(shù)化量子線路（PQC）中引入了殘差連接和可訓(xùn)練的厄米可觀測量（Hermitian observable）。該方法可在保持與原始數(shù)據(jù)相近性能的前提下，生成高度信息豐富但數(shù)量極少的訓(xùn)練樣本。我們對 MNIST 和 Cifar-10 數(shù)據(jù)集開展了蒸餾實(shí)驗(yàn)；與經(jīng)典模型對比發(fā)現(xiàn)，蒸餾后的數(shù)據(jù)在量子 LeNet 上取得的推理后準(zhǔn)確率（MNIST 為 91.9%，Cifar-10 為 50.3%）與經(jīng)典 LeNet（MNIST 為 94%，Cifar-10 為 54%）相當(dāng)。我們還引入了一個(gè)不可訓(xùn)練的厄米可觀測量，以增強(qiáng)蒸餾過程的穩(wěn)定性；實(shí)驗(yàn)表明，該設(shè)置會導(dǎo)致性能略有下降（MNIST 最多降低 1.8%，Cifar-10 降低 1.3%）。

索引術(shù)語——數(shù)據(jù)集蒸餾，量子神經(jīng)網(wǎng)絡(luò)，量子 LeNet

I. 引言

量子神經(jīng)網(wǎng)絡(luò)（QNN）已成為在高維數(shù)據(jù)及含噪聲訓(xùn)練環(huán)境中實(shí)現(xiàn)超越經(jīng)典神經(jīng)網(wǎng)絡(luò)（NN）計(jì)算優(yōu)勢的有力候選者 [1,?2]。例如，隨著問題復(fù)雜度上升，QNN 表現(xiàn)出更優(yōu)的可擴(kuò)展性：相比經(jīng)典 NN，其所需參數(shù)減少 56%，浮點(diǎn)運(yùn)算量（FLOPs）減少 73% [3]。然而，在大型經(jīng)典數(shù)據(jù)集上訓(xùn)練 QNN 仍成本高昂——費(fèi)用隨量子比特?cái)?shù)線性增長（單個(gè)量子比特成本超過 10 萬美元）[4,?5]。每次梯度下降步均需大量量子線路執(zhí)行，使得在 MNIST 或 Cifar-10 這類數(shù)據(jù)集上的收斂過程緩慢且資源密集。

這一挑戰(zhàn)促使我們采用數(shù)據(jù)集蒸餾技術(shù)——該技術(shù)旨在將大型經(jīng)典數(shù)據(jù)集壓縮為少量但蘊(yùn)含原始數(shù)據(jù)全部信息的合成樣本 [6]。據(jù)我們所知，此前尚無針對 QNN 的數(shù)據(jù)集蒸餾相關(guān)研究。原始工作結(jié)果表明：對于固定初始化的模型（如 LeNet [7]），將 MNIST 的 60,000 個(gè)訓(xùn)練樣本蒸餾至僅 10 個(gè)合成樣本（每類 1 張圖像），并在此蒸餾數(shù)據(jù)上訓(xùn)練該模型，可達(dá)到近 94% 的推理準(zhǔn)確率，接近使用原始訓(xùn)練集訓(xùn)練所得的 99%。

受此啟發(fā)，我們提出對 QNN 實(shí)施數(shù)據(jù)蒸餾。具體而言，我們采用一種新穎的混合量子-經(jīng)典 LeNet 模型變體進(jìn)行 MNIST 與 Cifar-10 數(shù)據(jù)集的蒸餾：其前端使用經(jīng)典卷積層進(jìn)行特征提取，后接經(jīng)典與量子線性層，對提取出的特征完成分類任務(wù)。為緩解梯度消失問題，我們在量子層中增加了殘差連接；同時(shí)，在量子層測量過程中采用了可訓(xùn)練的厄米可觀測量。這些改進(jìn)使量子 LeNet 能達(dá)到與原始工作中經(jīng)典 LeNet 相近的準(zhǔn)確率。為保障蒸餾過程的穩(wěn)定性，我們還引入了一個(gè)不可訓(xùn)練的厄米可觀測量。實(shí)驗(yàn)結(jié)果表明：

1. 蒸餾后，量子 LeNet 的推理準(zhǔn)確率（MNIST 為 91.9%，Cifar-10 為 50.3%）與經(jīng)典 LeNet（MNIST 為 94%，Cifar-10 為 54%）基本相當(dāng)；
2. 相比采用可訓(xùn)練厄米可觀測量的量子 LeNet，采用不可訓(xùn)練厄米可觀測量的版本性能略有下降（MNIST 低 1.8%，Cifar-10 低 1.3%），但其潛在優(yōu)勢在于提升了蒸餾過程的穩(wěn)定性。

本文結(jié)構(gòu)如下：第 2 節(jié)介紹相關(guān)背景與已有工作；第 3 節(jié)詳述 LeNet 向所提量子變體的改造過程；第 4 節(jié)展示蒸餾實(shí)驗(yàn)結(jié)果。

最后，我們在第5節(jié)展開討論，并在第6節(jié)進(jìn)行總結(jié)。

II. 背景與相關(guān)工作

量子計(jì)算：與經(jīng)典計(jì)算類似，量子計(jì)算是一種基于量子力學(xué)原理的計(jì)算范式［9］。量子計(jì)算機(jī)的基本單元是量子比特（quantum bit，簡稱qubit），它是經(jīng)典比特的量子對應(yīng)物。然而，不同于經(jīng)典比特在任一時(shí)刻只能取 0 或 1 的確定狀態(tài)，量子比特處于一種概率性疊加態(tài)。具體而言，一個(gè)量子比特可表示為向量

量子神經(jīng)網(wǎng)絡(luò)：QNN 通常由三部分組成：1）狀態(tài)制備或嵌入電路，用于將經(jīng)典數(shù)據(jù)嵌入到量子希爾伯特空間中；2）包含 QNN 可訓(xùn)練參數(shù)的 PQC；3）在計(jì)算基（通常是 Pauli-Z 基）上執(zhí)行的測量操作，以對量子態(tài)進(jìn)行經(jīng)典測量［10］。在完成該經(jīng)典測量并計(jì)算出所需屬性后，損失函數(shù)會計(jì)算測量輸出與期望輸出之間的誤差，然后利用該誤差在經(jīng)典計(jì)算機(jī)上計(jì)算梯度，并更新 PQC 的旋轉(zhuǎn)參數(shù)。

LeNet 架構(gòu)：LeNet ［7］ 是一種卷積神經(jīng)網(wǎng)絡(luò)（CNN）［11］，旨在對 MNIST 數(shù)據(jù)集進(jìn)行分類。LeNet 模型由兩部分組成：第一部分是一系列卷積層，用于提取 MNIST 數(shù)字圖像的關(guān)鍵特征；第二部分是一系列線性/全連接層，用于將提取的特征分類到正確的圖像類別中。在本工作中，我們主要基于 LeNet 模型來得出我們的結(jié)果。

原始工作［6］中提出的這種數(shù)據(jù)集蒸餾方法被稱為性能匹配（performance matching）（如圖1所示），其目標(biāo)是使蒸餾數(shù)據(jù)在測試集上的表現(xiàn)盡可能接近原始訓(xùn)練數(shù)據(jù)的表現(xiàn)。隨后，文獻(xiàn)中又提出了具有不同目標(biāo)的數(shù)據(jù)蒸餾方法。

在文獻(xiàn)中提出的方法包括：1）參數(shù)匹配（parameter matching）［12］，該方法通過匹配在真實(shí)數(shù)據(jù)和合成數(shù)據(jù)上訓(xùn)練的模型的參數(shù)軌跡，使模型權(quán)重盡可能對齊。該方法經(jīng)過進(jìn)一步數(shù)學(xué)推導(dǎo)，通常簡化為梯度匹配（gradient matching）［13］，有助于避免陷入局部極小值；2）分布匹配（distribution matching）［14］，其目標(biāo)是使用最大均值差異（MMD）等度量方法，最小化原始訓(xùn)練數(shù)據(jù)與蒸餾數(shù)據(jù)之間的分布距離。在本工作中，我們僅關(guān)注所提出的 QNN 模型所采用的性能匹配數(shù)據(jù)蒸餾方法。

III. 量子 LeNet 模型與蒸餾實(shí)驗(yàn)設(shè)置

經(jīng)典 LeNet 由兩部分組成：第一部分通過連續(xù)的卷積層提取特征，第二部分則利用多個(gè)全連接（dense）層對提取出的特征進(jìn)行分類。該架構(gòu)最初用于文獻(xiàn)［7］中對手寫體 MNIST 數(shù)字進(jìn)行分類。在本工作中，我們保留了與原始 LeNet 完全相同的特征提取部分；在分類器部分的全連接層之間，我們插入了一個(gè)含 6 個(gè)量子比特的 QNN 層，該層包含以下三個(gè)關(guān)鍵組件：

1. 振幅嵌入（amplitude embedding），用于將經(jīng)典特征嵌入并制備為量子態(tài)；
2. 含可訓(xùn)練參數(shù)的PQC（所選的量子線路結(jié)構(gòu)為強(qiáng)糾纏層［8］）；
3. 一個(gè)可訓(xùn)練的厄米測量可觀測量（trainable Hermitian measurement observable）。

通常，可觀測量選用單位算符（如 Pauli-Z 算符），其測量值被限制在 [ ? 1 , 1] 區(qū)間內(nèi)。然而，在深度神經(jīng)網(wǎng)絡(luò)中，此類輸出限幅易引發(fā)梯度消失問題［15］。為克服此限制，我們以可訓(xùn)練的厄米算符替代單位算符——與單位算符不同，厄米算符不限制輸出范圍。為進(jìn)一步緩解梯度消失效應(yīng)，我們還在 QNN 層周圍添加了殘差連接（residual connections）［16］。圖 2 展示了所提出的量子 LeNet 整體架構(gòu)；圖 3 則進(jìn)一步詳述了其中 QNN 子模塊的結(jié)構(gòu)。

我們采用了與原始工作［6］類似的實(shí)驗(yàn)設(shè)置：蒸餾過程在兩種情形之一下進(jìn)行，即模型初始化固定的情形。該設(shè)置同時(shí)應(yīng)用于 MNIST 與 Cifar-10 數(shù)據(jù)集：其中 MNIST 數(shù)據(jù)集被蒸餾至 10 張圖像，Cifar-10 被蒸餾至 100 張圖像（即每類各 1 張與 10 張）；蒸餾過程中分別執(zhí)行 1 次與 3 次梯度下降步，訓(xùn)練輪數(shù)（epochs）均為 3。

IV. 蒸餾結(jié)果

我們將經(jīng)典 LeNet 模型與所提出的量子 LeNet 模型的蒸餾結(jié)果進(jìn)行了對比。特別地，針對量子 LeNet 模型，我們展示了以下三種配置下的結(jié)果：

1. 無殘差連接，且測量可觀測量為 Pauli-Z 單位算符；
2. 無殘差連接，但測量可觀測量為可訓(xùn)練的厄米算符
3. 含殘差連接，且測量可觀測量為可訓(xùn)練的厄米算符

固定初始化情形：兩個(gè)數(shù)據(jù)集的結(jié)果匯總于表 I。我們觀察到，對于量子 LeNet 模型：

• 既無殘差連接、又采用 Pauli-Z 單位算符的變體表現(xiàn)最差（MNIST：82.3%，Cifar-10：28.5%）；
• 無殘差連接、但采用可訓(xùn)練厄米算符的變體次之（MNIST：86.5%，Cifar-10：31.3%）；
• 同時(shí)具備殘差連接和可訓(xùn)練厄米算符的變體性能最佳（MNIST：91.8%，Cifar-10：50.3%）。

這些結(jié)果表明：缺乏殘差連接并使用受限的 Pauli-Z 單位算符易導(dǎo)致梯度消失等問題，從而顯著降低推理性能。當(dāng)以可訓(xùn)練厄米算符替代 Pauli-Z 算符后，可觀測量不再保持量子態(tài)的范數(shù)（norm-preserving），也解除了 [ ? 1 , 1 ] 的輸出限幅，從而緩解了梯度消失。最后，在 QNN 層外圍進(jìn)一步引入殘差連接，可更有效地抑制梯度消失效應(yīng)。

圖 4 展示了對應(yīng)于上述結(jié)果的最終蒸餾圖像，以供直觀對比——涵蓋經(jīng)典與量子 LeNet 模型在 MNIST 和 Cifar-10 上的表現(xiàn)。與原始工作［6］的結(jié)論一致，在固定初始化情形下，蒸餾所得圖像在視覺上并不與原始類別的圖像相似。例如，MNIST 中蒸餾得到的類別 0 圖像，在經(jīng)典與量子 LeNet 中均未呈現(xiàn)“0”的形狀；其余類別圖像亦是如此；Cifar-10 數(shù)據(jù)集同樣如此。

可訓(xùn)練厄米算符 vs. 不可訓(xùn)練厄米算符：
盡管采用可訓(xùn)練的厄米算符有助于提升推理性能，但其可訓(xùn)練性也可能使損失函數(shù)曲面（loss landscape）變得更加復(fù)雜，從而在蒸餾過程中引發(fā)不穩(wěn)定性。因此，我們進(jìn)一步考慮另一種情形：即隨機(jī)初始化厄米算符，且在整個(gè)數(shù)據(jù)集蒸餾過程中保持其固定、不進(jìn)行訓(xùn)練，并將該情形與厄米算符可訓(xùn)練的情形進(jìn)行對比。為獲得最佳蒸餾效果，兩種情形下均保留殘差跳躍連接（residual skip connection）。對比結(jié)果見表 II。其中，可訓(xùn)練厄米算符的情形直接復(fù)用表 I 中“含殘差連接 + 厄米算符”（R, H）的結(jié)果。我們發(fā)現(xiàn)，將厄米算符設(shè)定為不可訓(xùn)練僅對結(jié)果產(chǎn)生微小影響：在 MNIST（Cifar-10）數(shù)據(jù)集上，準(zhǔn)確率分別僅下降了1.8%（1.3%）。

V. 討論與局限性

量子 LeNet 性能略低于經(jīng)典 LeNet：
從實(shí)驗(yàn)結(jié)果可見，量子 LeNet 的最佳變體性能仍略遜于經(jīng)典 LeNet。例如，如表 I 所示，當(dāng) QNN 層采用可訓(xùn)練厄米可觀測量并輔以殘差連接時(shí)，蒸餾后量子 LeNet 的推理準(zhǔn)確率為 91.6%（MNIST）與 50.3%（Cifar-10），而經(jīng)典 LeNet 則分別達(dá)到 94% 與 54%。其潛在原因可能在于 QNN 層中采用了振幅嵌入（amplitude embedding）。雖然振幅嵌入能高效地將 2 n
維經(jīng)典特征映射至 n n 個(gè)量子比特上（本例中為將 64 維特征映射至 6 個(gè)量子比特），但已有研究表明，由振幅嵌入生成的量子態(tài)的統(tǒng)計(jì)均值傾向于集中于某一特定量子態(tài)附近［17］。這種“集中效應(yīng)”易導(dǎo)致 QNN 出現(xiàn)損失壁壘（loss barrier）現(xiàn)象——即損失函數(shù)存在一個(gè)理論下界，無法通過優(yōu)化進(jìn)一步降低。

對此問題的一種潛在緩解策略是：在量子嵌入之前，進(jìn)一步通過經(jīng)典全連接層將 2 n 維特征壓縮至 n n 維，隨后改用角度嵌入（angle embedding）［10］將低維特征載入 QNN。相比振幅嵌入，角度嵌入雖效率較低（僅能以一對一方式嵌入 n n 維特征至 n 個(gè)量子比特），但其態(tài)空間分布更均勻，有助于緩解集中性問題，從而提升優(yōu)化潛力。

由于單個(gè)泡利算符和單位矩陣在量子計(jì)算機(jī)上是可實(shí)際實(shí)現(xiàn)的［18, 19］，它們的線性組合——即厄米算符 O ——同樣可在量子計(jì)算機(jī)上實(shí)現(xiàn)。這對于量子 LeNet 架構(gòu)而言已足夠，因?yàn)?QNN 層僅使用單量子比特厄米可觀測量。然而，對此的一種擴(kuò)展是實(shí)現(xiàn)多量子比特厄米可觀測量，其中每個(gè)多量子比特厄米算符將表示為泡利矩陣張量積的線性組合。此類可觀測量可用于捕捉特征間的糾纏信息，但其實(shí)現(xiàn)成本可能較高，因?yàn)橐粋€(gè) n n量子比特的厄米可觀測量最多可包含 4 n 個(gè)泡利項(xiàng)［20］。

在 LeNet 的特征提取部分加入量子組件：可以在 LeNet 架構(gòu)的特征提取部分引入量子組件。量子卷積層（也稱為“quanvolutional”層）已在文獻(xiàn)［21］中被提出，其中傳統(tǒng)的卷積層被隨機(jī)量子線路所取代，作為核心變換層。相較于經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)（CNN），該量子卷積神經(jīng)網(wǎng)絡(luò)在 MNIST 數(shù)據(jù)集上的推理準(zhǔn)確率高出約 5%。通過用量子卷積層替代部分傳統(tǒng)卷積層，我們有望在蒸餾后提升 MNIST（甚至 Cifar-10）數(shù)據(jù)集上的推理性能。

VI. 結(jié)論

在本工作中，我們提出了一種新穎的量子 LeNet 模型，并將其應(yīng)用于數(shù)據(jù)集蒸餾過程。實(shí)驗(yàn)結(jié)果表明，性能最優(yōu)的量子變體——即同時(shí)引入可訓(xùn)練厄米可觀測量與殘差連接的版本——在 MNIST 與 Cifar-10 數(shù)據(jù)集上的推理準(zhǔn)確率均接近經(jīng)典 LeNet 模型。

原文鏈接： https://arxiv.org/pdf/2503.17935