本項(xiàng)目的領(lǐng)導(dǎo)者為李萌，于 2022 年加入北京大學(xué)人工智能研究院和集成電路學(xué)院創(chuàng)建高效安全計(jì)算實(shí)驗(yàn)室。他曾任職于美國 Facebook 公司的Reality Lab，作為技術(shù)主管主導(dǎo)虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)設(shè)備中的高效 AI 算法和芯片研究。他的研究興趣集中于高效、安全人工智能加速算法和芯片，旨在通過算法到芯片的跨層次協(xié)同設(shè)計(jì)和優(yōu)化，為人工智能構(gòu)建高能效、高可靠、高安全的算力基礎(chǔ)，曾獲 DAC 生成式人工智能系統(tǒng)設(shè)計(jì)競賽第一名、AICAS 大模型系統(tǒng)設(shè)計(jì)競賽第一名、CCF 集成電路 Early Career Award、歐洲設(shè)計(jì)自動(dòng)化協(xié)會(huì)最佳博士論文等一系列獎(jiǎng)項(xiàng)。

在數(shù)據(jù)隱私日益重要的 AI 時(shí)代，如何在保護(hù)用戶數(shù)據(jù)的同時(shí)高效運(yùn)行機(jī)器學(xué)習(xí)模型，成為了學(xué)術(shù)界和工業(yè)界共同關(guān)注的難題。

北大團(tuán)隊(duì)最新完成的綜述《Towards Efficient Privacy-Preserving Machine Learning: A Systematic Review from Protocol, Model, and System Perspectives》系統(tǒng)性地梳理了當(dāng)前隱私保護(hù)機(jī)器學(xué)習(xí)（PPML）領(lǐng)域的三大優(yōu)化維度，首次提出跨協(xié)議、模型和系統(tǒng)三個(gè)層級(jí)的統(tǒng)一視角，為學(xué)術(shù)界和工業(yè)界提供了更加清晰的知識(shí)脈絡(luò)與方向指引。

本文由北京大學(xué)助理教授李萌課題組和螞蟻集團(tuán)機(jī)構(gòu)的多位研究者共同完成。論文題目及完整作者列表如下：

• 論文標(biāo)題：Towards Efficient Privacy-Preserving Machine Learning: A Systematic Review from Protocol, Model, and System Perspectives
• 論文地址：https://arxiv.org/pdf/2507.14519

團(tuán)隊(duì)還建立了一個(gè)長期維護(hù)的 GitHub 項(xiàng)目，持續(xù)收錄高質(zhì)量 PPML 文獻(xiàn)，歡迎大家 star，并提出寶貴的意見和補(bǔ)充：

• 文獻(xiàn)庫：https://github.com/PKU-SEC-Lab/Awesome-PPML-Papers

文章的總體結(jié)構(gòu)如下：

層級(jí)一：協(xié)議層級(jí)優(yōu)化

盡管密碼學(xué)協(xié)議為數(shù)據(jù)隱私保護(hù)提供了嚴(yán)格的安全保證，但其應(yīng)用于人工智能計(jì)算，仍面臨巨大開銷。本綜述指出當(dāng)前協(xié)議設(shè)計(jì)主要存在以下核心痛點(diǎn)：1）基于不經(jīng)意傳輸（OT）的協(xié)議有極高的通信開銷和基于同態(tài)加密（HE）的協(xié)議面臨嚴(yán)重計(jì)算瓶頸；2）現(xiàn)有協(xié)議忽視模型固有的結(jié)構(gòu)特性（如稀疏性、量化魯棒性），因此缺乏 “模型感知” 的協(xié)議設(shè)計(jì)。

本綜述分別從人工智能模型的線性算子和非線性算子切入，主要討論了基于 OT 和 HE 的協(xié)議設(shè)計(jì)和發(fā)展脈絡(luò)。綜述中重點(diǎn)回答了在不同場景中，應(yīng)該使用何種協(xié)議以及 HE 編碼方式。綜述還分析了在交互式和非交互式協(xié)議框架下的圖級(jí)協(xié)議，比如秘密分享和 HE 之間的轉(zhuǎn)換、全同態(tài)中的自舉方案。以下是關(guān)于編碼方案的總結(jié)：

層級(jí)二：模型層級(jí)優(yōu)化

本綜述強(qiáng)調(diào)在傳統(tǒng)明文機(jī)器學(xué)習(xí)模型中的設(shè)計(jì)（如 ReLU 剪枝、模型量化）在 PPML 中往往會(huì)導(dǎo)致高昂代價(jià)。綜述系統(tǒng)地歸納了當(dāng)前 PPML 領(lǐng)域的四類模型層優(yōu)化策略：1）線性層優(yōu)化：比如高效卷積設(shè)計(jì)、低秩分解、線性層融合；2）非線性層 ReLU 和 GeLU 優(yōu)化：比如多項(xiàng)式近似、剪枝和 GeLU 的替換；3）非線性層 Softmax 優(yōu)化：比如昂貴算子的替換、KV cache 剪枝、注意力頭融合；4）低精度量化，包括 OT 和 HE 友好的量化算法。下表概括了線性層和非線性層的優(yōu)化方案：

層級(jí)三：系統(tǒng)層級(jí)優(yōu)化

本綜述指出，即便協(xié)議和模型層級(jí)已經(jīng)得到優(yōu)化，系統(tǒng)層級(jí)若無法 “感知協(xié)議特性”，將難以釋放真正性能。綜述中梳理了兩個(gè)方向的優(yōu)化路徑：1）編譯器設(shè)計(jì)：從協(xié)議特性感知、靈活編碼、Bootstrapping支持等方面展開了討論；2）GPU 設(shè)計(jì)：分別討論了操作層面加速與 PPML 系統(tǒng)層面的優(yōu)化，通過對(duì)比現(xiàn)有 GPU 加速實(shí)現(xiàn)中典型 PPML 工作負(fù)載的執(zhí)行時(shí)間，對(duì)相關(guān)技術(shù)進(jìn)行了總結(jié)。下圖是 HE 編譯器的梳理：

下表對(duì)比了 GPU 加速的 HE 框架：

總結(jié)與討論

本綜述強(qiáng)調(diào)，僅僅在某一層級(jí)優(yōu)化已難以滿足大模型時(shí)代對(duì)隱私與效率的雙重要求。綜述提出必須從 “跨層級(jí)協(xié)同優(yōu)化” 的角度重新設(shè)計(jì) PPML 的方案，未來的研究方向包括：1）協(xié)議 - 模型 - 系統(tǒng)協(xié)同優(yōu)化和設(shè)計(jì)；2）構(gòu)建面向大模型隱私推理的隱私計(jì)算方案；3）面向邊緣設(shè)備部署的輕量化隱私計(jì)算方案。

值得一提的是，李萌老師課題組近年來圍繞上述三個(gè)層面，也開展了一系列相關(guān)研究工作，歡迎各位相關(guān)領(lǐng)域老師、同學(xué)多多交流。下圖總結(jié)了課題組已經(jīng)發(fā)表的相關(guān)工作：

本綜述詳細(xì)討論了跨層級(jí)優(yōu)化帶來的挑戰(zhàn)與機(jī)遇，分別闡述了模型和協(xié)議的系統(tǒng)優(yōu)化、協(xié)議和系統(tǒng)的系統(tǒng)優(yōu)化。例如模型量化難以直接給 PPML 帶來期望的收益，非線性層優(yōu)化難以帶來系統(tǒng)級(jí)的效率提升，現(xiàn)代 GPU 加速了明文機(jī)器學(xué)習(xí)，但其有限的精度支持給 HE 所需的高精度模塊化算術(shù)帶來了挑戰(zhàn)。

綜述還進(jìn)一步從線性層和非線性層角度討論了大模型對(duì) PPML 的獨(dú)特挑戰(zhàn)，并提出除了無需訓(xùn)練的優(yōu)化方式，還可以考慮用參數(shù)高效微調(diào)（比如 LoRA）等技術(shù)去構(gòu)建 PPML 友好的大模型結(jié)構(gòu)。