本文第一作者王濤來自中國人民大學(xué)，共同第一作者李夢雨 (https://mengyu8042.github.io/) 來自清華大學(xué)。通訊作者為中國人民大學(xué)張瓊助理教授 (https://sarahqiong.github.io/) 與孟澄助理教授 (https://cheng-bdal.github.io/)。其他作者還包括來自中國人民大學(xué)的曾舸舵。

導(dǎo)語

在三維視覺領(lǐng)域，3D Gaussian Splatting (3DGS) 是近年來大熱的三維場景建模方法。它通過成千上萬的高斯球在空間中“潑灑”，拼合成一個高質(zhì)量的三維世界，就像是把一片空白的舞臺，用彩色的光斑和粒子逐漸鋪滿，最后呈現(xiàn)出一幅立體的畫卷。然而，高斯球冗余一直讓3DGS的存儲與渲染速度受限。本文提出把 3DGS 看成高斯混合模型，用最優(yōu)傳輸視角做全局“簡化”。實驗顯示在僅保留 10% 高斯時，畫質(zhì)幾乎不掉、并穩(wěn)定優(yōu)于主流壓縮方案。

代碼地址：

https://github.com/DrunkenPoet/GHAP

論文地址：

https://arxiv.org/abs/2506.09534

要點速覽

• 新視角：本文首次提出將3DGS建模為高斯混合分布，并將3DGS壓縮問題表述為高斯混合簡化（Gaussian Mixture Reduction, GMR），在保持幾何結(jié)構(gòu)的同時降低高斯球的冗余。
• 新框架：本文提供了一個可擴展到大規(guī)模場景的3DGS模型壓縮框架。它使用KD-Tree對空間做一個均勻的分塊，在每個子塊中進行高斯混合簡化，該框架使得大規(guī)模3DGS模型壓縮可行。
• 兩段式：先做幾何信息（位置/協(xié)方差）的約簡，再進行外觀特征（不透明度/顏色）的細化。解耦幾何與外觀，使得效果更加穩(wěn)定。
• 可插拔：可直接嵌入大多數(shù)3DGS變體中，具有極高的可擴展性
• 高表現(xiàn)：在10%保留率下，渲染效果基本不變，且普遍優(yōu)于其他基于剪枝的方法和端到端的方法。

正文

當前 3DGS 通過數(shù)以百萬計的各向異性高斯球表示場景，渲染速度快但具有高度的冗余。現(xiàn)有 3DGS 壓縮工作多以“剪枝”為主要路線：先給每個高斯打“重要性得分”，再按閾值進行刪減。這樣做的壞處是容易破壞全局幾何結(jié)構(gòu)，導(dǎo)致細節(jié)丟失或形變。本文提出的 Gaussian-Herding-across-Pens (GHAP) 方法的出發(fā)點是：把整套 3DGS 看作一個高斯混合模型，用“全局最優(yōu)”的方式重建一個更小的混合模型，以實現(xiàn)更近似的模型壓縮。

高斯混合簡化 (GMR) 旨在尋找一個高斯數(shù)量更小的混合分布來近似高斯數(shù)量更多的混合分布。下圖中給出了一個一維分布的示例。左邊8個高斯的混合分布的密度函數(shù)（實線）和右邊只有3個高斯的混合分布的密度函數(shù)幾乎無差異。

GMR 在貝葉斯濾波、機器人等領(lǐng)域有許多應(yīng)用。本研究創(chuàng)新性地將3DGS原模型看作一個高斯混合模型：

壓縮后的 3DGS 對應(yīng)另一個需要優(yōu)化的混合模型：

其中m遠遠小于n。受現(xiàn)有GMR技術(shù)的啟發(fā)，作者通過最小化以下的復(fù)合傳輸散度得到壓縮后的 3DGS 高斯球：

該距離受到最優(yōu)傳輸理論的啟發(fā)，將高斯混合分布看做高斯分布空間中的一個個點，并在該空間上，將這些點搬運到給定數(shù)量的新的高斯點，以此保留原高斯分布的幾何結(jié)構(gòu)。該算法可以被解釋成一個簡單的k-means求解過程。聚類中心是最終壓縮得到的高斯參數(shù)。在每次迭代時，根據(jù)每一個高斯點離當前聚類中心的最近距離 (通過 c 來刻畫) 將高斯點分為m個類，并在類內(nèi)計算重心來更新聚類中心。為此，本文專為3DGS設(shè)計了一個簡單且合適的代價函數(shù) c,

可以使得聚類中心的迭代過程如下：

下面的例子直觀地展示了GMR方法與傳統(tǒng)的剪枝方法的差異：

可以看到，高斯混合簡化方法顯著保留了概率分布的結(jié)構(gòu)形態(tài)，返回到3DGS模型中，就相當于盡可能保留了原3D物體的幾何形態(tài)。

由于3DGS中的高斯球數(shù)量巨多，本研究進一步設(shè)計了一個有效的3DGS壓縮流程。對于使用任意3DGS及其變體訓(xùn)練的3DGS模型，先對它使用KD-tree進行空間劃分，然后再在每個分塊中運行高斯混合簡化技術(shù)，得到更輕量化的3DGS模型。為了讓模型適應(yīng)新的結(jié)構(gòu)，作者在最后加入了一個外形優(yōu)化模塊，繼續(xù)優(yōu)化除了位置和形狀信息外的特征，提高新視角合成任務(wù)中的表現(xiàn)。整個流程就好像牧羊人將羊群趕入一個個圍欄，讓他們井然有序地保持固定的形態(tài)。方法流程圖如下。

實驗

在文章中，作者與多個基于剪枝的壓縮方法和端到端的壓縮方法進行了比較。通過將壓縮后高斯球的數(shù)量按照大小分組，我們可以觀察到基于GHAP壓縮后的表現(xiàn)領(lǐng)先于其他基線方法。且非常較接近全樣本的端到端方法。

RD圖結(jié)果也顯示，該方法一致優(yōu)于其他剪枝的方法，且在時間上也有較大優(yōu)勢，但是內(nèi)存占用會有些許提升。

同時，本文也驗證了GHAP壓縮方法的可擴展性。作者將GHAP方法應(yīng)用于多個不同3DGS框架中，下表結(jié)果顯示，GHAP方法可以很好地保留基礎(chǔ)模型的性能，有時甚至可以實現(xiàn)對基礎(chǔ)模型表現(xiàn)的反超。

作者也展示了在10%的保留率下GHAP方法作用在不同基模型和不同場景上的視覺效果。在大部分場景中中，GHAP相較于未壓縮模型都有極高的視覺保真度。紅色圈中部分代表壓縮后模型與原模型稍有肉眼可見的差異。

總結(jié)

• 作者提供了一個全新的3DGS壓縮視角：基于高斯混合模型簡化，實現(xiàn)保持幾何細節(jié)特征的壓縮。
• 作者開發(fā)了一套有效的程序，使得該方法可用于大規(guī)模3DGS場景的壓縮。
• 該方法是一個后處理的方法，具有可插拔的特點，適用于絕大多數(shù)3DGS場景。