本文作者包括新加坡國(guó)立大學(xué)的王天一 (第一作者)、程軒昂、Mohan Kankanhalli (通訊作者)，和山東大學(xué)的劉明慧。

工作動(dòng)機(jī)

近些年來(lái)，針對(duì)深度偽造 (Deepfake) 的主動(dòng)防御研究角度逐漸受到廣泛關(guān)注。在現(xiàn)有工作中，魯棒水印和半脆弱水印分別在 Deepfake 檢測(cè)任務(wù)取得一定進(jìn)展，但仍普遍存在如下問(wèn)題：

• 面對(duì)常規(guī)圖像處理 (如高斯噪聲) 時(shí)的魯棒性不穩(wěn)定。
• 暫不具備同時(shí)進(jìn)行鑒偽和偽造區(qū)域定位的功能。
• 通過(guò)比對(duì)水印來(lái)判斷真?zhèn)味鎯?chǔ) ground-truth 的操作大量消耗了計(jì)算資源。

工作介紹

為解決上述問(wèn)題，該論文提出 FractalForensics，一種基于分形水印的主動(dòng)深度偽造檢測(cè)與定位方法。不同于以往的水印向量，為達(dá)成偽造定位的功能，論文提出的水印以矩陣形式出現(xiàn)。

• 論文地址：https://arxiv.org/abs/2504.09451

首先，該論文設(shè)計(jì)了一個(gè)水印生成和加密流程(圖 1)，旨在使整個(gè)流程參數(shù)化。依賴(lài)于基于參數(shù)的分形幾何形狀及其具備的可迭代特性，先將其選擇作為水印的基礎(chǔ) (本文以標(biāo)準(zhǔn)希爾伯特曲線(xiàn)為例)。

其后，分別定義旋轉(zhuǎn) (r), 鏡像 (m), 次序改變 (o) 三個(gè)變體參數(shù)，為分形水印的形狀變化提供多樣性 (在該論文實(shí)驗(yàn)中，所有參數(shù)組合共可得 144 種分形變體)。

進(jìn)一步地，針對(duì)以迭代順序標(biāo)記的分形矩陣，構(gòu)建一個(gè)混沌加密系統(tǒng)，基于參數(shù)x_0和 a 來(lái)決定混沌序列的迭代，并基于參數(shù) k 和 d 來(lái)分別選擇開(kāi)始選取用于加密的值和位數(shù)，按照矩陣中的數(shù)字順序?qū)ζ溥M(jìn)行加密。

圖 1: 基于參數(shù)的水印生成和加密流程。

如圖 1 所示，假設(shè)搭建一個(gè)用戶(hù)服務(wù)平臺(tái)，嵌入并封裝該水印生成和加密流程，相比于預(yù)先保存所有的水印 ground-truths，用戶(hù)可自選每個(gè)參數(shù)的值來(lái)構(gòu)建和加密水印，且只需保存所選參數(shù)即可。加密后的矩陣中的值是 0 到 9 之間的一位十進(jìn)制數(shù)字，而為了獲得更大的水印嵌入和提取容錯(cuò)率，本方法將所有十進(jìn)制值轉(zhuǎn)化成四位二進(jìn)制值。

該論文中的水印嵌入與提取模型主要基于卷積神經(jīng)網(wǎng)絡(luò) (圖 2)。在水印嵌入階段，考慮到圖片對(duì)于水印嵌入的合理容量，論文提出 entry-to-patch 策略，將圖片劃分為相同大小的相同 patch (本文中 patch 的大小為 32 x 32)，并將水印矩陣以位置對(duì)應(yīng)的方式向圖片中嵌入。

詳細(xì)來(lái)說(shuō)，在加密后的水印中，每個(gè)四位二進(jìn)制水印值被調(diào)整維度至通道數(shù)為 4 的相同空間位置的值，從而不破壞水印和圖片對(duì)應(yīng)的位置關(guān)系。

圖 2: 水印嵌入與提取流程。

同時(shí)，為保證 patch 之間對(duì)應(yīng)的水印盡可能互不影響，在圖像特征映射、水印擴(kuò)散、水印嵌入等過(guò)程中，卷積核的大小被設(shè)為遠(yuǎn)小于 patch 大小的值。當(dāng)針對(duì)被 Deepfake 篡改后的圖片提取水印時(shí)，得益于 entry-to-patch 的嵌入策略，被篡改的區(qū)域會(huì)丟失水印，而反之則保留水印，由此可在進(jìn)行 Deepfake 檢測(cè)的同時(shí)完成偽造定位(如圖 2 右下人臉圖片中標(biāo)紅所示丟失水印的區(qū)域)。

實(shí)驗(yàn)結(jié)果

由于 Deepfake 對(duì)人臉圖片中對(duì)應(yīng)區(qū)域內(nèi)容特征的修改，該水印嵌入流程對(duì)其具有天然的脆弱性。因此，經(jīng)過(guò)針對(duì) Jpeg 壓縮的對(duì)抗訓(xùn)練以確保水印魯棒性之后，便可獲得期待的魯棒性和脆弱性。如表 1 所示，該文章所提出的水印在面對(duì)常見(jiàn)圖像處理方法時(shí)維持了最優(yōu)的魯棒性，并如表 2 所示，在面對(duì) Deepfake 偽造方法時(shí)展現(xiàn)了合理的脆弱性。

表 1: 在 CelebA-HQ 數(shù)據(jù)集上面對(duì)常見(jiàn)圖像處理方法的水印魯棒性評(píng)估。

表 2: 在 CelebA-HQ 數(shù)據(jù)集上面對(duì) Deepfake 偽造方法的水印脆弱性評(píng)估。

進(jìn)一步地，該文章根據(jù)水印恢復(fù)率的魯棒性和脆弱性之間的顯著差異，計(jì)算了 Deepfake 檢測(cè)的 AUC 效果，并與被動(dòng)檢測(cè)的 SOTA 工作進(jìn)行對(duì)比取得了最優(yōu)檢測(cè)效果，具體實(shí)驗(yàn)結(jié)果如表 3 所示。

表 3: 在 CelebA-HQ 上進(jìn)行的 Deepfake 檢測(cè)效果比較與評(píng)估。

偽造定位的效果如圖 3 和圖 4 所示?；谒◆敯粜?，在面對(duì)良性圖像處理時(shí)不會(huì)定位偽造區(qū)域；基于水印脆弱性，由于 face swapping 方法主要篡改人臉內(nèi)部區(qū)域，因此定位的偽造區(qū)域也主要聚焦在人臉位置，而 face reenactment 因篡改區(qū)域更廣則導(dǎo)致定位的區(qū)域分布更離散。

圖 3: 針對(duì)常見(jiàn)良性圖像處理方法的偽造定位。

圖 4: 針對(duì)惡意 Deepfake 偽造方法的偽造定位。

第一作者信息

王天一，本科畢業(yè)于美國(guó)華盛頓大學(xué)西雅圖分校，取得計(jì)算機(jī)科學(xué)和應(yīng)用數(shù)學(xué)雙專(zhuān)業(yè)學(xué)位；博士畢業(yè)于香港大學(xué)，取得計(jì)算機(jī)科學(xué)博士學(xué)位；現(xiàn)為新加坡國(guó)立大學(xué)在職博士后研究員，在 ICCV、ICML、NeurIPS、AAAI、TIFS、TKDE、ACM Computing Surveys 等高水平會(huì)議和期刊發(fā)表論文 30 余篇，研究方向包括多媒體取證、虛假信息檢測(cè)等。