強(qiáng)化學(xué)習(xí)（RL）在大語(yǔ)言模型和 2D 圖像生成中大獲成功后，首次被系統(tǒng)性拓展到文本到 3D 生成領(lǐng)域！面對(duì) 3D 物體更高的空間復(fù)雜性、全局幾何一致性和局部紋理精細(xì)化的雙重挑戰(zhàn)，研究者們首次系統(tǒng)研究了 RL 在 3D 自回歸生成中的應(yīng)用！

來(lái)自上海人工智能實(shí)驗(yàn)室、西北工業(yè)大學(xué)、香港中文大學(xué)、北京大學(xué)、香港科技大學(xué)等機(jī)構(gòu)的研究者提出了AR3D-R1，這是首個(gè)強(qiáng)化學(xué)習(xí)增強(qiáng)的文本到 3D 自回歸模型。該工作系統(tǒng)研究了獎(jiǎng)勵(lì)設(shè)計(jì)、RL 算法和評(píng)估基準(zhǔn)，并提出Hi-GRPO——一種層次化強(qiáng)化學(xué)習(xí)范式，通過(guò)分離全局結(jié)構(gòu)推理與局部紋理精修來(lái)優(yōu)化 3D 生成。同時(shí)引入全新基準(zhǔn)MME-3DR，用于評(píng)估 3D 生成模型的隱式推理能力。

實(shí)驗(yàn)表明 AR3D-R1 在 Kernel Distance 和 CLIP Score 上均取得顯著提升，達(dá)到 0.156 和 29.3 的優(yōu)異成績(jī)。

• 論文標(biāo)題：Are We Ready for RL in Text-to-3D Generation? A Progressive Investigation
• 代碼鏈接：
  
• https://github.com/Ivan-Tang-3D/3DGen-R1
• 論文鏈接：https://arxiv.org/pdf/2512.10949

強(qiáng)化學(xué)習(xí)應(yīng)用于 3D 生成的挑戰(zhàn)

強(qiáng)化學(xué)習(xí)在大語(yǔ)言模型（如 DeepSeek-R1）和 2D 圖像生成中已被證明能夠有效提升模型性能，但將 RL 應(yīng)用于 3D 生成仍面臨獨(dú)特挑戰(zhàn)：

• 空間復(fù)雜性更高：3D 物體需要同時(shí)保持全局幾何一致性和局部紋理精細(xì)度，比 2D 圖像的空間復(fù)雜性高出一個(gè)維度。
• 獎(jiǎng)勵(lì)設(shè)計(jì)困難：如何設(shè)計(jì)既能評(píng)估全局結(jié)構(gòu)又能捕捉局部細(xì)節(jié)的獎(jiǎng)勵(lì)函數(shù)是關(guān)鍵難題。
• 現(xiàn)有基準(zhǔn)局限：當(dāng)前的文本到 3D 基準(zhǔn)主要關(guān)注物體多樣性，無(wú)法有效評(píng)估模型的隱式推理能力。
• 算法敏感性：3D 生成對(duì)獎(jiǎng)勵(lì)設(shè)計(jì)和 RL 算法的選擇高度敏感，需要系統(tǒng)性的研究來(lái)指導(dǎo)實(shí)踐。

在此前的工作中，3D 模型大多停留在「預(yù)訓(xùn)練 + 微調(diào)」框架，真正將 RL 引入 3D 生成的一步，還無(wú)人系統(tǒng)邁出。

從「推理」到「造物」：

AR3D-R1 的整體框架

AR3D-R1 構(gòu)建在離散 3D 生成模型 ShapeLLM-Omni 之上，引入了一個(gè)推理驅(qū)動(dòng)的 3D 生成流程：

• 先想一想：模型會(huì)先根據(jù)文本提示生成一段高層語(yǔ)義推理（類似 CoT），規(guī)劃出物體的大致結(jié)構(gòu)、關(guān)系與風(fēng)格。

• 再動(dòng)手造：隨后，推理結(jié)果會(huì)作為「中間規(guī)劃」，直接指導(dǎo)離散 token 的 3D 生成過(guò)程。

這讓 AR3D-R1 不再是「憑本能畫 3D」，而是先構(gòu)思、再搭骨架、最后上細(xì)節(jié)——真正把 RL 驅(qū)動(dòng)的「會(huì)想」能力，遷移到了「會(huì)造」的 3D 世界里。

獎(jiǎng)勵(lì)設(shè)計(jì)與 RL 算法的系統(tǒng)性研究

在獎(jiǎng)勵(lì)設(shè)計(jì)方面，研究者評(píng)估了多個(gè)獎(jiǎng)勵(lì)維度和模型選擇，得出以下關(guān)鍵發(fā)現(xiàn)：

• 人類偏好對(duì)齊至關(guān)重要：與人類審美偏好對(duì)齊的獎(jiǎng)勵(lì)信號(hào)能夠顯著提升生成質(zhì)量。

• 通用多模態(tài)模型具有魯棒性：令人驚訝的是，通用多模態(tài)模型在評(píng)估 3D 相關(guān)屬性時(shí)表現(xiàn)出強(qiáng)大的魯棒性，有時(shí)甚至優(yōu)于專門的 3D 評(píng)估模型。

在 RL 算法研究方面，研究者深入分析了 GRPO 的多個(gè)變體，包括標(biāo)準(zhǔn) GRPO、引入 token 級(jí)平均與動(dòng)態(tài)采樣的 DAPO，和更偏序列級(jí)操作的 GSPO 等：

• Token 級(jí)優(yōu)化更有效：相比響應(yīng)級(jí)優(yōu)化，token 級(jí)別的損失平均能更好地捕捉生成過(guò)程中的全局結(jié)構(gòu)差異。

• 動(dòng)態(tài)采樣策略足以穩(wěn)定訓(xùn)練：對(duì)于文本到 3D 生成任務(wù)，無(wú)需復(fù)雜的訓(xùn)練穩(wěn)定技術(shù)。

• 數(shù)據(jù)規(guī)模和迭代次數(shù)的擴(kuò)展均能有效提升性能：但一味堆疊 RL 迭代反而可能引入過(guò)擬合或模式崩塌，需要精細(xì)校準(zhǔn)。

這些發(fā)現(xiàn)為 3D 生成中的 RL 應(yīng)用提供了系統(tǒng)性指導(dǎo)。

Hi-GRPO：

層次化強(qiáng)化學(xué)習(xí)范式

受 3D 生成自然層次結(jié)構(gòu)的啟發(fā)——模型首先構(gòu)建全局幾何，然后精修局部紋理（這與人類 3D 感知過(guò)程一致），研究者提出了 Hi-GRPO（Hierarchical GRPO）層次化強(qiáng)化學(xué)習(xí)范式。

Hi-GRPO 的核心思想是在單次迭代中聯(lián)合優(yōu)化層次化 3D 生成：

• 全局規(guī)劃階段：模型首先針對(duì)文本提示進(jìn)行全局結(jié)構(gòu)規(guī)劃，生成高層語(yǔ)義推理來(lái)指導(dǎo)粗糙形狀生成。

• 局部精修階段：模型接收初始推理結(jié)果和原始文本提示，生成紋理精細(xì)化的 3D 物體。

• 專用獎(jiǎng)勵(lì)集成：為粗糙階段和精修階段分別設(shè)計(jì)專門的獎(jiǎng)勵(lì)模型集成，計(jì)算組相對(duì)獎(jiǎng)勵(lì)來(lái)優(yōu)化兩個(gè)階段。

通過(guò)這種層次化設(shè)計(jì)，Hi-GRPO 能夠在保證全局幾何一致性的同時(shí)，精細(xì)優(yōu)化局部紋理細(xì)節(jié)，實(shí)現(xiàn)從粗到精的漸進(jìn)式 3D 生成。

MME-3DR：

評(píng)估 3D 生成推理能力的新基準(zhǔn)

現(xiàn)有的文本到 3D 基準(zhǔn)，更多考察的是物體多樣性，而不是推理能力。模型在簡(jiǎn)單 prompt 上表現(xiàn)不錯(cuò)，但一遇到復(fù)雜要求就頻頻「翻車」。為此，論文提出了全新的推理型 3D 基準(zhǔn) MME-3DR，覆蓋五大高難類別：

• 空間與結(jié)構(gòu)幾何（復(fù)雜構(gòu)型、相對(duì)位置關(guān)系）
• 機(jī)械可供性（能不能「看起來(lái)就能動(dòng)起來(lái)」）
• 生物與有機(jī)形狀
• 依賴世界知識(shí)的罕見(jiàn)物體
• 風(fēng)格化表達(dá)（風(fēng)格、材質(zhì)、抽象度的綜合控制）

在這一更苛刻的場(chǎng)景下：傳統(tǒng) text-to-3D 模型普遍出現(xiàn)崩塌，要么結(jié)構(gòu)錯(cuò)亂，要么風(fēng)格跑偏。而 RL 訓(xùn)練之后的 AR3D-R1 在五大類別上都有明顯提升，同時(shí)在多個(gè) benchmark 上超越 Trellis 等模型，展現(xiàn)出更強(qiáng)的隱式 3D 推理能力。

定性定量分析

定量實(shí)驗(yàn)結(jié)果表明，AR3D-R1 在多個(gè)指標(biāo)上取得了顯著提升：

• Kernel Distance 達(dá)到 0.156，表明生成的 3D 物體分布與真實(shí)數(shù)據(jù)分布高度接近。

• CLIP Score 達(dá)到 29.3，表明生成結(jié)果與文本提示的語(yǔ)義對(duì)齊質(zhì)量顯著提升。

• 在 Toys4K 等現(xiàn)有數(shù)據(jù)集和新引入的 MME-3DR 基準(zhǔn)上均展現(xiàn)出優(yōu)越性能，在幾何一致性和紋理質(zhì)量方面均有明顯改進(jìn)。

定性實(shí)驗(yàn)中，研究者展示了 AR3D-R1 在推理過(guò)程中清晰的從粗到精進(jìn)展。模型首先構(gòu)建合理的全局幾何結(jié)構(gòu)，然后逐步添加細(xì)節(jié)紋理，生成高質(zhì)量的 3D 物體?？梢暬Y(jié)果驗(yàn)證了 Hi-GRPO 層次化范式和專用獎(jiǎng)勵(lì)集成策略在提升 3D 生成質(zhì)量方面的有效性。

AR3D-R1 的成功標(biāo)志著強(qiáng)化學(xué)習(xí)在文本到 3D 生成領(lǐng)域的首次系統(tǒng)性突破，為構(gòu)建更智能、更具推理能力的 3D 生成模型開(kāi)辟了新方向。未來(lái)，這樣的能力可以自然延伸到：

• 具身智能與機(jī)器人：從自然語(yǔ)言到 3D 場(chǎng)景再到交互決策。
• 游戲與內(nèi)容創(chuàng)作：快速生成結(jié)構(gòu)合理、細(xì)節(jié)豐富的 3D 資源。
• AR/VR 與數(shù)字孿生：在復(fù)雜約束和多模態(tài)反饋下進(jìn)行 3D 推理與生成。