機(jī)器之心發(fā)布

機(jī)器之心編輯部

通過使用控制變元（control variate）來校準(zhǔn)每個客戶端的本地梯度，Scaffold 已被廣泛認(rèn)為是緩解聯(lián)邦學(xué)習(xí)中數(shù)據(jù)異質(zhì)性影響的一種強(qiáng)大方案。但盡管 Scaffold 實現(xiàn)了顯著的性能提升，這種優(yōu)越性是以增加安全漏洞為代價的。

本文中，NTU、0G Labs等機(jī)構(gòu)提出了BadSFL，這是首個針對 Scaffold 的后門攻擊方法，它能夠?qū)⒃玖夹缘目蛻舳宿D(zhuǎn)化為攻擊的幫兇以放大攻擊效果。

BadSFL 的核心思想是在不引人注意的情況下，篡改控制變元，從而巧妙地引導(dǎo)良性客戶端的本地梯度更新朝著攻擊者設(shè)定的「中毒」方向前進(jìn)，有效地使它們在無意間成為協(xié)助者，顯著增強(qiáng)了后門的持久性。

另外，BadSFL 利用一個經(jīng)過生成對抗網(wǎng)絡(luò)（GAN）增強(qiáng)的數(shù)據(jù)投毒策略，豐富了攻擊者的數(shù)據(jù)集，在保持對正常樣本和后門樣本都具有高精度識別能力的同時，保持隱蔽性。

大量實驗證明，BadSFL 在攻擊持續(xù)性方面表現(xiàn)出色，即使在停止惡意模型注入之后，仍能維持超過 60 輪的攻擊效果——比現(xiàn)有基準(zhǔn)方法持續(xù)時間長達(dá)三倍。

該論文已經(jīng)入選 ICCV 2025。

• 論文標(biāo)題：Mind the Cost of Scaffold!Benign Clients May Even Become Accomplices of Backdoor Attack
• 論文鏈接：https://arxiv.org/abs/2411.16167

引言

聯(lián)邦學(xué)習(xí)（Federated Learning，簡稱 FL）在保護(hù)客戶端數(shù)據(jù)隱私的同時，實現(xiàn)了分布式模型訓(xùn)練。然而，F(xiàn)L 模型的有效性在很大程度上取決于訓(xùn)練數(shù)據(jù)在各客戶端之間的分布情況。通常存在以下兩種場景：1）IID 數(shù)據(jù)：訓(xùn)練數(shù)據(jù)在各客戶端之間均勻分布；2）非 IID 數(shù)據(jù)：更符合現(xiàn)實的數(shù)據(jù)分布情況，即各客戶端的數(shù)據(jù)特征存在顯著差異。在 IID 場景下，已有工作FedAvg脫穎而出，它通過聚合來自客戶端的模型參數(shù)，設(shè)定了服務(wù)器端模型更新的標(biāo)準(zhǔn)。然而，在非 IID 場景中，其性能會顯著下降。由于數(shù)據(jù)異質(zhì)性，不同客戶端的更新方向存在偏移，最終導(dǎo)致模型收斂效果變差。

為應(yīng)對這一挑戰(zhàn)，Scaffold作為一種穩(wěn)健的聯(lián)邦學(xué)習(xí)（FL）方法被提出，旨在通過基于控制變元（control variates）的校正機(jī)制來減緩客戶端更新的偏移，從而提升在非 IID 場景下的模型收斂性?？刂谱冊举|(zhì)上是對客戶端本地梯度與全局梯度之間差異的估計，它有助于將本地更新方向與全局優(yōu)化目標(biāo)對齊。Scaffold 能夠減少由于數(shù)據(jù)異質(zhì)性引起的更新方差，使其在客戶端擁有多樣化數(shù)據(jù)分布的場景中表現(xiàn)尤為出色。

然而，Scaffold 聯(lián)邦學(xué)習(xí)（SFL）不僅改變了 FL 模型的收斂方式，也影響了其對抗惡意操控的魯棒性。具體而言，聯(lián)邦學(xué)習(xí)中的惡意客戶端可以利用模型更新機(jī)制注入后門行為，將隱藏的異常行為植入全局模型中。盡管已有大量研究關(guān)注 FL 中的后門攻擊，但大多數(shù)現(xiàn)有工作主要聚焦于 IID 場景，在這些場景中，攻擊者對數(shù)據(jù)集分布具有完全認(rèn)知，因此可以輕松構(gòu)造中毒更新。相比之下，非 IID 數(shù)據(jù)分布引入了額外的限制，使得攻擊者更難在不顯著降低整體性能的前提下，將中毒模型與全局模型對齊。雖然近期已有研究開始探索非 IID 聯(lián)邦學(xué)習(xí)中的后門攻擊，但這些研究在很大程度上忽視了 SFL 引入的獨特安全隱患。

因此，本論文旨在探討的問題是：「SFL 的新機(jī)制（即用于校正更新偏移的控制變元）是否可能引入新的安全威脅，并在非 IID 場景中無意間為后門攻擊提供便利？」

我們對上述問題的回答是肯定的。我們的新發(fā)現(xiàn)是：Scaffold 對控制變元的依賴引入了一種新的攻擊面—— 其原本用于通過將本地更新與全局目標(biāo)對齊以穩(wěn)定訓(xùn)練過程的校正機(jī)制，實際上可能在無意中放大了惡意更新的影響。更關(guān)鍵的是，這一機(jī)制允許攻擊者直接影響控制變元本身，從而有效地將良性客戶端「招募」為協(xié)助實施攻擊的幫兇。

由于所有客戶端在更新過程中都會使用控制變元來調(diào)整本地梯度，因此一旦控制變元被篡改，就可以在不易察覺的情況下引導(dǎo)這些誠實客戶端的梯度朝著攻擊者設(shè)定的「中毒方向」演化。這種方式極大地增強(qiáng)了后門攻擊的傳播范圍，使得 Scaffold 比沒有類似校正機(jī)制的標(biāo)準(zhǔn) FL 方法（如 FedAvg）更容易受到復(fù)雜攻擊的影響。

為了利用上述發(fā)現(xiàn)，我們提出了一種專門針對 Scaffold 聯(lián)邦學(xué)習(xí)（SFL）的新型后門攻擊方法 ——BadSFL，該方法能夠在不顯著破壞模型對正常樣本推理性能的前提下，成功地將后門功能植入全局模型。

與以往的攻擊方法不同，BadSFL 利用了 Scaffold 的校正機(jī)制，不僅增強(qiáng)了后門的隱蔽性，還提升了其持久性，從而揭示了 SFL 方法中的一個關(guān)鍵漏洞。BadSFL 的運作流程包括如下：

1. GAN 補全數(shù)據(jù)知識：由于攻擊者只能部分掌握 FL 系統(tǒng)中的數(shù)據(jù)分布信息，他通過使用生成對抗網(wǎng)絡(luò)（GAN）生成屬于其他客戶端的數(shù)據(jù)樣本來補充自身數(shù)據(jù)集，從而模擬出對整體數(shù)據(jù)分布的全面認(rèn)知。在此補充數(shù)據(jù)集上進(jìn)行后門訓(xùn)練后，攻擊者可以獲得在后門任務(wù)和正常任務(wù)上都表現(xiàn)良好的后門模型。
2. 隱蔽后門觸發(fā)器設(shè)計：攻擊者選擇某個類別中的特征作為后門觸發(fā)器，從而保持攻擊的隱蔽性。
3. 操控全局控制變元：攻擊者利用全局控制變元作為參考，用于預(yù)測全局模型的收斂方向。這一優(yōu)化策略顯著增強(qiáng)了后門功能在全局模型中的持久性

聯(lián)邦學(xué)習(xí)中的非 IID 場景

在聯(lián)邦學(xué)習(xí)（FL）中，非 IID是指客戶端之間的數(shù)據(jù)分布存在顯著差異。在非 IID 場景下，這種本地數(shù)據(jù)分布的不一致會導(dǎo)致本地最優(yōu)解與全局最優(yōu)解之間存在偏差。這種偏差會引發(fā)本地模型更新的漂移現(xiàn)象，即本地模型傾向于朝著各自的本地最優(yōu)解前進(jìn)，而這些本地最優(yōu)解可能與全局最優(yōu)解相距甚遠(yuǎn)。因此，將這些本地模型進(jìn)行平均時，得到的全局模型可能會偏離真實的全局最優(yōu)解，尤其是在存在大量本地訓(xùn)練輪次的情況下。

如下圖 1 所示，在 IID 場景下，全局最優(yōu)解與本地最優(yōu)解相對一致，而在非 IID 場景下，全局最優(yōu)解可能與單個本地最優(yōu)解相距較遠(yuǎn)，這一現(xiàn)象被稱為客戶端漂移（client-drift），從而導(dǎo)致 FL 訓(xùn)練過程中的收斂變慢且不穩(wěn)定。

為了解決上述挑戰(zhàn)，學(xué)術(shù)界已經(jīng)提出了多種聯(lián)邦學(xué)習(xí)（FL）算法，其中Scaffold是最為實用的解決方案。它通過在服務(wù)器端和客戶端同時使用控制變元（即方差縮減技術(shù)）來應(yīng)對客戶端漂移問題。這些控制變元能夠估計全局模型與本地客戶端模型的更新方向，并根據(jù)漂移對本地更新進(jìn)行校正，從而減少本地最優(yōu)解與全局最優(yōu)解之間的偏差（見算法 1）。在本文中，我們主要聚焦于針對 SFL（Scaffold Federated Learning）的后門攻擊設(shè)計。

后門攻擊在 SFL 中的挑戰(zhàn)

在SFL（Scaffold Federated Learning）中實施后門攻擊面臨以下挑戰(zhàn)：

• 知識有限。 在非 IID 場景中，攻擊者對各客戶端數(shù)據(jù)分布缺乏了解，這是主要挑戰(zhàn)之一。與 IID 場景不同，在 IID 中對數(shù)據(jù)集有集中化的認(rèn)知，有利于攻擊者操控；而非 IID 場景涉及分散且多樣化的數(shù)據(jù)分布。這會導(dǎo)致以下三個問題：

1. 直接的后門策略可能會導(dǎo)致良性樣本上的性能大幅下降，從而使全局模型被拒絕；
2. 數(shù)據(jù)分布的差異性加劇了本地模型與全局模型之間的差距，使得惡意模型更容易被檢測到；
3. 將中毒模型與全局模型平均聚合會降低其在主要任務(wù)上的性能。

• 控制變元。 在 SFL 中，控制變元（記為 c_i）用于糾正客戶端漂移，使本地模型與全局模型對齊。如果攻擊者嚴(yán)格遵守協(xié)議，在植入觸發(fā)器的過程中使用 c_i 對惡意模型進(jìn)行校正，攻擊效果可能會減弱。相反，如果攻擊者選擇不當(dāng)篡改 c_i 并將惡意的 c 上傳至服務(wù)器，則可能導(dǎo)致全局模型被破壞。
• 后門災(zāi)難性遺忘。 災(zāi)難性遺忘是指神經(jīng)網(wǎng)絡(luò)在學(xué)習(xí)新任務(wù)時忘記先前已學(xué)任務(wù)的現(xiàn)象。這會導(dǎo)致后門功能隨著時間推移而失效。如果攻擊者停止上傳惡意更新，后門功能最終可能會被良性更新「抹去」。

別器 D，并對生成器 G 進(jìn)行新一輪優(yōu)化訓(xùn)練，以引導(dǎo)其生成更加真實、接近其他客戶端數(shù)據(jù)的偽樣本。最終，這些高質(zhì)量的合成樣本會被整合進(jìn)攻擊者原始的非 IID 數(shù)據(jù)集，從而有效地補充了額外的數(shù)據(jù)類別。

實驗結(jié)果

本文在 MNIST、CIFAR-10 以及 CIFAR-100 三個數(shù)據(jù)集上對 BadSFL 的有效性進(jìn)行了實驗評估。實驗比較了 4 個其它的已知后門攻擊，包括Block-box Attack、Neurotoxin、Irreversible Backdoor Attach (IBA) 和 3DFed。下表 1 總結(jié)了細(xì)節(jié)的實驗設(shè)置。

從圖 6a 到圖 6f，我們展示了在 CIFAR-10 和 CIFAR-100 數(shù)據(jù)集上與基準(zhǔn)方法的攻擊對比?？梢悦黠@看出，BadSFL 在攻擊有效性和持久性方面都優(yōu)于基準(zhǔn)攻擊方法。

具體來說，在攻擊者仍參與訓(xùn)練過程、執(zhí)行后門訓(xùn)練并向服務(wù)器上傳惡意更新的前 10 輪中，BadSFL 在所有類型的后門攻擊中都實現(xiàn)了超過 80% 的后門任務(wù)準(zhǔn)確率。同時，BadSFL 保持主要任務(wù)的準(zhǔn)確率在 60% 左右（見下圖 5b）。此外，即使攻擊者在第 40 輪退出訓(xùn)練過程，后續(xù)輪次中的良性客戶端仍會繼續(xù)上傳正常更新，這可能會影響攻擊者在之前攻擊輪次中的中毒更新，從而逐漸抹去后門功能。

盡管如此，BadSFL 仍能保證后門功能的持久性，在整個 100 輪 SFL 訓(xùn)練中后門任務(wù)準(zhǔn)確率始終保持在 90% 以上，這比兩種基準(zhǔn)攻擊的生命周期長3 倍（基準(zhǔn)攻擊的后門任務(wù)準(zhǔn)確率在第 60 輪后降至 50% 以下）。橫向?qū)Ρ炔煌愋偷暮箝T觸發(fā)器注入效果（圖 6a、6b 和 6c），可以發(fā)現(xiàn)基于特征的觸發(fā)器表現(xiàn)最佳，得益于其隱蔽性，它不直接篡改圖像，因此其更新與良性更新沖突的可能性較小。

圖 6g 和圖 6h 展示了在MNIST 數(shù)據(jù)集上獲得的實驗結(jié)果。類似地，BadSFL 也優(yōu)于其他基準(zhǔn)攻擊方法，在后門任務(wù)準(zhǔn)確率和主要任務(wù)準(zhǔn)確率上均超過 85%。當(dāng)惡意更新在第 40 輪停止注入后，在標(biāo)簽翻轉(zhuǎn)攻擊中，兩種基準(zhǔn)攻擊的后門任務(wù)準(zhǔn)確率在 10 輪內(nèi)災(zāi)難性地下降到 40% 以下，而 BadSFL 在后續(xù)輪次中能在全局模型中保持長達(dá) 5 倍更持久的后門功能。在觸發(fā)器模式攻擊中，BadSFL 也在全局模型中注入了更高效的后門功能，其準(zhǔn)確率比基準(zhǔn)方法高出 10%。

總結(jié)

本文提出了BadSFL，這是一種專為使用 Scaffold 聚合算法的非 IID 聯(lián)邦學(xué)習(xí)環(huán)境設(shè)計的新型后門攻擊。通過采用基于 GAN 的數(shù)據(jù)增強(qiáng)技術(shù)并利用 Scaffold 的控制變元，BadSFL 在攻擊有效性、隱蔽性和持久性方面均優(yōu)于現(xiàn)有方法。我們在多個基準(zhǔn)數(shù)據(jù)集上的實驗結(jié)果表明，該攻擊具有顯著的有效性，且后門功能的持續(xù)時間遠(yuǎn)超已有方法。未來，我們希望研究人員能夠設(shè)計出更穩(wěn)健的防御機(jī)制，