ArtiLatent：用統(tǒng)一潛空間讓單圖也能生成結(jié)構(gòu)清晰、動作合理的可動三維模型。

作者丨鄭佳美

編輯丨馬曉寧

在生成式 AI 全面進入三維空間的當(dāng)下，如何讓機器不僅“看到”物體，還能理解其結(jié)構(gòu)、關(guān)節(jié)和運動方式，正在成為全球研究機構(gòu)與產(chǎn)業(yè)界共同關(guān)注的焦點。

從虛擬內(nèi)容制作到機器人操作，從數(shù)字孿生到工業(yè)仿真，可動三維的自動化生成正在被視為未來交互式數(shù)字世界的重要基礎(chǔ)能力。然而，現(xiàn)有方法仍普遍受限于對完整三維掃描的依賴、對結(jié)構(gòu)與紋理分離建模造成的不一致性，以及難以處理運動帶來可見性變化等難題。

在這一背景下，南洋理工大學(xué)S-Lab 團隊近期發(fā)布的一項研究提供了新的解決路徑。他們提出的統(tǒng)一建?？蚣苣軌驈膯螐垐D像生成具備真實幾何結(jié)構(gòu)、準確關(guān)節(jié)參數(shù)和自然外觀紋理的可動三維對象，在幾何精度、外觀一致性與運動合理性上均取得顯著提升。

這項工作不僅展示了結(jié)構(gòu)化潛空間、擴散式 3D 生成與關(guān)節(jié)感知紋理建模的協(xié)同潛力，也為進一步提升 AI 對物體功能性與交互屬性的理解奠定了基礎(chǔ)。

值得一提的是，該論文作者之一的潘新鋼曾作為2023 年 GAIR 全球人工智能與機器人大會的受邀嘉賓，與眾多來自國際頂級院校與企業(yè)的研究者共同探討三維視覺、機器人操作和生成式模型的前沿方向。

GAIR 對三維生成、機器人智能與新型視覺系統(tǒng)長期保持關(guān)注，而即將在2025 年 12 月 12 — 13 日于深圳·博林天瑞喜來登酒店舉辦的 GAIR 大會，也將繼續(xù)聚焦這些技術(shù)的產(chǎn)業(yè)化趨勢，與一眾來自研究機構(gòu)、科技企業(yè)與應(yīng)用行業(yè)的專家共同關(guān)注空間智能與新型生成模型等新興技術(shù)在未來交互式場景中的落地路徑與發(fā)展方向。

論文地址：https://arxiv.org/pdf/2510.21432

01
整體的性能躍升

S-Lab 團隊這篇論文中的實驗結(jié)果顯示，他們研發(fā)的模型在多個關(guān)鍵維度上都有明顯提升，無論是幾何結(jié)構(gòu)的完整度、關(guān)節(jié)運動的穩(wěn)定性，還是外觀呈現(xiàn)的真實度與跨數(shù)據(jù)集的泛化能力，都展現(xiàn)出優(yōu)于現(xiàn)有方法的綜合表現(xiàn)。

首先，在幾何結(jié)構(gòu)生成方面，通過 Chamfer Distance 指標(biāo)可以看到，無論是在靜止?fàn)顟B(tài)還是在經(jīng)歷關(guān)節(jié)旋轉(zhuǎn)、平移等運動之后，模型都能夠生成與真實物體高度接近的三維結(jié)構(gòu)，并且在多種方法中保持了最低水平的幾何誤差。

生成物體在關(guān)節(jié)運動前后仍能維持清晰的部件邊界和穩(wěn)定的空間關(guān)系，沒有出現(xiàn)錯位或穿插現(xiàn)象，這說明模型所學(xué)習(xí)的結(jié)構(gòu)潛空間有效捕捉了各部件之間的連續(xù)性與耦合關(guān)系，從而使運動前后的幾何一致性明顯優(yōu)于現(xiàn)有方法。

在外觀紋理生成方面，模型在 FID 得分及可視化表現(xiàn)上均展示了顯著優(yōu)勢。生成結(jié)果的紋理更加清晰，顏色分布一致，細節(jié)保留充分，尤其是在關(guān)節(jié)運動后才會暴露的內(nèi)部區(qū)域，例如抽屜內(nèi)部或門板背面，模型依然能夠合成自然且無噪點的紋理。

這種穩(wěn)定且連貫的紋理表現(xiàn)不僅體現(xiàn)在局部細節(jié)上，也體現(xiàn)在關(guān)節(jié)狀態(tài)變化前后的整體一致性上，即生成的表面在不同關(guān)節(jié)位置下不會出現(xiàn)顏色跳變或紋理斷裂，從而實現(xiàn)了對因運動帶來可見性變化的正確補全。

此外，模型生成的運動行為也表現(xiàn)出高度的物理合理性。對于常見的家具對象，模型能夠自動為抽屜生成平移關(guān)節(jié)并沿合理方向運動，為門板生成旋轉(zhuǎn)關(guān)節(jié)并圍繞正確的軸心展開，同時在運動過程中保持部件間無不合理的干涉或扭曲。在多次運動狀態(tài)的測試中，模型展現(xiàn)出優(yōu)異的可控性、穩(wěn)定性和部件分離度，遠超依賴部件檢索或后期裝配的傳統(tǒng)方法。

更進一步地，論文還驗證了模型在新數(shù)據(jù)集上的泛化能力。在來自完全不同來源的數(shù)據(jù)上，無論是幾何精度、外觀真實度還是運動表現(xiàn)，模型都維持了高質(zhì)量輸出，未出現(xiàn)結(jié)構(gòu)性錯誤，這說明模型并沒有簡單記憶訓(xùn)練數(shù)據(jù)，而是真正學(xué)習(xí)到了可遷移的“關(guān)節(jié)結(jié)構(gòu) + 外觀生成”能力。

最后，消融實驗也強調(diào)了關(guān)節(jié)感知外觀微調(diào)策略的重要性。如果不使用該策略，生成結(jié)果在關(guān)節(jié)處和運動后暴露出的內(nèi)部區(qū)域容易出現(xiàn)噪點、模糊或顏色異常。而加入該策略后，紋理清晰度及穩(wěn)定性顯著提升，新暴露區(qū)域的外觀也更加自然一致，從而證明這一模塊是整體性能提升的關(guān)鍵因素。

02
可動三維的構(gòu)建機制

總的來說，團隊的實驗流程可以整體概括為結(jié)構(gòu)學(xué)習(xí)、潛空間生成以及外觀學(xué)習(xí)三個環(huán)節(jié)。

首先，研究者為每個訓(xùn)練對象構(gòu)建了一種帶有豐富關(guān)節(jié)信息的稀疏三維體素表示。在這一表示中，體素不僅記錄了物體是否占據(jù)該空間位置，還包含部件類別、所屬部件的空間包圍盒、關(guān)節(jié)類型、關(guān)節(jié)的軸向和原點位置以及關(guān)節(jié)的可運動范圍等描述物體結(jié)構(gòu)與運動屬性的關(guān)鍵要素。

所有體素數(shù)據(jù)會被統(tǒng)一歸一化后輸入到一個三維卷積式的變分自編碼器中，通過占據(jù)分類損失、部件語義與關(guān)節(jié)類型的分類損失、關(guān)節(jié)參數(shù)以及包圍盒的回歸損失，并結(jié)合 KL 正則化形成整體訓(xùn)練目標(biāo)，從而使模型能夠?qū)⒏呔S而復(fù)雜的體素結(jié)構(gòu)壓縮成一個緊湊、連續(xù)且可生成的三維潛編碼。經(jīng)過充分訓(xùn)練后，該自編碼器已經(jīng)能夠準確復(fù)原完整的可動結(jié)構(gòu)，并為后續(xù)的生成任務(wù)提供穩(wěn)定的結(jié)構(gòu)潛空間。

在獲得結(jié)構(gòu)潛編碼之后，論文進一步在潛空間中訓(xùn)練擴散模型以生成可動結(jié)構(gòu)。為此，作者構(gòu)建了大量由潛編碼與其對應(yīng)條件組成的數(shù)據(jù)對，其中條件既可以是來自真實圖像的視覺特征，也可以是簡單的類別標(biāo)簽。

擴散模型采用基于 Transformer 的三維結(jié)構(gòu)建模方式，能夠捕捉潛網(wǎng)格內(nèi)部的空間依賴關(guān)系，并在此基礎(chǔ)上學(xué)習(xí)結(jié)構(gòu)潛分布。完成訓(xùn)練后，該模型不僅能夠無條件生成多樣化的可動三維結(jié)構(gòu)，還能夠在給定單張圖像的情況下，生成與輸入在外觀、幾何結(jié)構(gòu)和關(guān)節(jié)屬性上均保持一致的可動對象。

在結(jié)構(gòu)生成能力具備之后，論文最后解決的是外觀生成的問題。由于原始的三維高斯解碼器只在靜態(tài)物體上訓(xùn)練，它無法處理關(guān)節(jié)運動帶來的可見性變化，因此在運動后暴露出的內(nèi)部區(qū)域容易出現(xiàn)紋理缺失或異常。

為此，作者提出了關(guān)節(jié)感知的外觀解碼微調(diào)策略。具體做法是，在每個訓(xùn)練物體的關(guān)節(jié)運動范圍內(nèi)均勻采樣若干狀態(tài)，并對每個狀態(tài)渲染多視角圖像，然后提取其特征與體素一一對應(yīng)，為模型提供“不同關(guān)節(jié)狀態(tài)下真實可見外觀”的參考。

在微調(diào)過程中，生成的三維高斯點會根據(jù)對應(yīng)的關(guān)節(jié)參數(shù)進行實際的旋轉(zhuǎn)或平移，然后被渲染成圖像并與真實渲染結(jié)果進行比較。通過這種多狀態(tài)的重建監(jiān)督，模型逐漸學(xué)會了哪些區(qū)域在關(guān)節(jié)運動時會變得可見、如何為這些新暴露的表面生成合理紋理，以及如何在不同關(guān)節(jié)位置下保持整體外觀的一致性。

完成上述三個階段的訓(xùn)練后，模型的推理流程也相對簡潔。給定一張真實圖像，模型首先利用擴散模型生成一個與輸入相匹配的可動體素結(jié)構(gòu)，然后根據(jù)體素語義和空間包圍盒自動對物體進行部件劃分，接著對每個部件的關(guān)節(jié)參數(shù)進行聚合以確保其運動的一致性。

隨后，高斯解碼器會將結(jié)構(gòu)潛表示還原為完整的三維外觀，最終得到一個既保留真實外觀，又具備正確關(guān)節(jié)行為的三維高斯對象，用戶可以直接對其進行旋轉(zhuǎn)或平移等運動操作。整個推理過程大約需要二十幾秒即可完成。

03
統(tǒng)一建模帶來了新可能

論文之外，這項工作的最大意義，在于構(gòu)建了一套真正可擴展的可動三維生成框架，而不僅僅是提出一種新的技術(shù)方法。以往的三維生成要么只能輸出靜態(tài)模型，要么依賴完整的三維掃描數(shù)據(jù)，也有一些方法通過檢索和拼裝來構(gòu)造結(jié)構(gòu)，難以實現(xiàn)從少量輸入中生成能運動的物體。

現(xiàn)在只需要一張普通圖像，就能得到結(jié)構(gòu)合理、關(guān)節(jié)設(shè)置正確、外觀逼真的可動三維對象，這大幅降低了創(chuàng)建三維內(nèi)容的難度，對整個生成領(lǐng)域都是一次重要突破。

方法的核心在于把幾何結(jié)構(gòu)、運動機制和外觀紋理放在統(tǒng)一框架中進行學(xué)習(xí)。結(jié)構(gòu)化潛空間同時表達幾何、語義與關(guān)節(jié)信息，擴散模型進一步學(xué)習(xí)它們之間的關(guān)聯(lián)，外觀微調(diào)機制保證物體在發(fā)生運動后仍然呈現(xiàn)自然、穩(wěn)定的紋理。通過這種整體式的建模方式，生成結(jié)果避免了傳統(tǒng)流程中結(jié)構(gòu)和外觀不協(xié)調(diào)的問題，看起來更加一致和可信。

在應(yīng)用層面，這種能夠從單圖生成可動三維物體的能力具有很大的價值。虛擬現(xiàn)實和增強現(xiàn)實場景可以快速獲得可交互物體，線上家具展示能夠更容易地呈現(xiàn)開合、旋轉(zhuǎn)等動作，游戲制作也能受益于自動生成帶關(guān)節(jié)的三維模型。對于機器人學(xué)習(xí)而言，這類可動生成物體有助于機器人理解和預(yù)判未知物體的使用方式，也適用于家庭和工業(yè)場景的數(shù)字孿生構(gòu)建。幾乎所有需要大量可交互三維對象的行業(yè)都可能因此受益。

方法本身也具有很強的泛化能力和擴展空間。結(jié)構(gòu)化潛空間、可動結(jié)構(gòu)擴散模型和關(guān)節(jié)感知外觀解碼并不依賴特定的物體品類，因此不僅適用于家具，還可以推廣到機械設(shè)備、工具、生物體的骨骼結(jié)構(gòu)以及復(fù)雜的裝配系統(tǒng)。

由此看來，這項研究不僅解決了當(dāng)前可動三維生成的核心難題，也為未來相關(guān)方向的發(fā)展奠定了基礎(chǔ)。

首批 GAIR 2025 重磅大咖名單正式揭曉，還有更多行業(yè)領(lǐng)軍者將齊聚現(xiàn)場，共探智能的未來。

未經(jīng)「AI科技評論」授權(quán)，嚴禁以任何方式在網(wǎng)頁、論壇、社區(qū)進行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。