機器之心編輯部

英偉達的自研大模型，剛剛有了大版本的更新。

北京時間今天凌晨，英偉達發(fā)布了 Nemotron 3 系列開放模型，共三種規(guī)模，分別為Nano、Super 和 Ultra

1. Nemotron 3 Nano：300 億參數(shù)規(guī)模的小模型，每次最多激活約 30 億參數(shù)，適用于高度定向、極致高效的任務(wù)。
2. Nemotron 3 Super：約 1000 億參數(shù)的高精度推理模型，每個 token 最多激活 100 億參數(shù)，面向多智能體應(yīng)用。
3. Nemotron 3 Ultra：約 5000 億參數(shù)的大型推理引擎，每個 token 最多激活 500 億參數(shù)，適用于復(fù)雜 AI 應(yīng)用場景。

其中 Nemotron 3 Nano 已在 Hugging Face 上線，是目前計算成本效率最高的模型，針對軟件調(diào)試、內(nèi)容摘要、AI 助手工作流和信息檢索等任務(wù)進行了優(yōu)化，可顯著降低推理成本。該模型采用獨特的混合 MoE 架構(gòu)，在效率與可擴展性方面實現(xiàn)了顯著提升。

Nemotron 3 Nano 的總參數(shù)規(guī)模為 316 億，激活參數(shù)規(guī)模為 32 億（包含嵌入層為 36 億）。在每次前向推理過程中，其激活的參數(shù)數(shù)量不到上代 Nemotron 2 Nano 的一半，卻實現(xiàn)了更高的準(zhǔn)確率。

與 Nemotron 2 Nano 相比，Nemotron 3 Nano 實現(xiàn)了最高 4 倍的 Token 吞吐量提升，并將推理階段生成的 Token 數(shù)量減少最高 60%，顯著降低推理成本。同時，100 萬 Token 的上下文窗口使 Nemotron 3 Nano 具備更強的長期記憶能力，在多步驟、長鏈路任務(wù)中表現(xiàn)更為準(zhǔn)確。

對于另外兩款模型，Nemotron 3 Super 擅長需要大量協(xié)作智能體、且對低延遲要求極高的復(fù)雜任務(wù)；Nemotron 3 Ultra 則作為高級推理引擎，適用于深度研究與戰(zhàn)略規(guī)劃等高復(fù)雜度 AI 工作流。

斯坦福大學(xué)計算機科學(xué)副教授 Percy Liang 表示，這不僅僅是一個強大的開源模型。Nemotron 發(fā)布了訓(xùn)練數(shù)據(jù)、強化學(xué)習(xí)環(huán)境和訓(xùn)練代碼。這意義重大：幾乎所有模型開發(fā)者都只是希望人們使用他們的模型；而英偉達則讓用戶能夠創(chuàng)建自己的模型。

英偉達認(rèn)為，隨著企業(yè)從單一模型聊天機器人轉(zhuǎn)向協(xié)同工作的多智能體 AI 系統(tǒng)，開發(fā)者正面臨通信開銷高、上下文漂移以及推理成本居高不下等挑戰(zhàn)。同時，能夠支撐復(fù)雜工作流自動化的模型，必須具備足夠的透明性與可解釋性，才能贏得開發(fā)者與企業(yè)的信任。

Nemotron 3 正是為應(yīng)對這些問題而生，為構(gòu)建專業(yè)級智能體 AI 提供所需的性能與開放性。

英偉達創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：「開放式創(chuàng)新是 AI 進步的基石。通過 Nemotron，我們正在將先進 AI 轉(zhuǎn)變?yōu)橐粋€開放平臺，為開發(fā)者提供在規(guī)?；瘶?gòu)建智能體系統(tǒng)時所需的透明性與效率?！?/p>

Nemotron 3 系列的首款模型 Nemotron 3 Nano（30B-3A）已于今日上線，Nemotron 3 Super 和 Ultra 預(yù)計將于 2026 年上半年正式推出。

技術(shù)介紹

Nemotron 3 系列模型的核心技術(shù)包括如下：

混合 MoE（Hybrid MoE）

Nemotron 3 系列模型采用 Mamba-Transformer 混合 MoE 架構(gòu)。在實現(xiàn)業(yè)界領(lǐng)先吞吐率的同時，其準(zhǔn)確率優(yōu)于或不遜于傳統(tǒng) Transformer 模型。

具體來說，傳統(tǒng)方法通常將 MoE 層與代價昂貴的自注意力層交替堆疊，而自注意力機制在生成過程中需要隨著序列變長，不斷擴展 KV Cache，其計算和存儲成本線性增長。

而 Nemotron 3 模型的核心改進是：大量采用 MoE 層與成本更低的 Mamba-2 層交替堆疊。Mamba-2 在生成時只需存儲固定大小的狀態(tài)（constant state），無需維護不斷擴張的 KV Cache。

因此，只有少量自注意力層會被保留用于特定功能。圖 1 展示了 Nemotron 3 Nano 的層級結(jié)構(gòu)模式。

LatentMoE

Transformer 模型在不同部署場景下會遇到不同的性能瓶頸：低時延場景主要受限于內(nèi)存帶寬，高吞吐場景則受限于 MoE 的 all-to-all 通信。為同時兼顧速度與模型質(zhì)量，英偉達提出了 LatentMoE 架構(gòu)。

LatentMoE 的核心做法是：先將 token 從原始隱藏維度投影到更小的潛在維度，在這個低維空間中進行專家路由和計算，再投影回原維度。這樣不僅減少了專家權(quán)重加載和通信成本，還能利用節(jié)省下的帶寬與參數(shù)，增加專家數(shù)量和每個 token 激活的專家數(shù)，提高模型表達能力。

多 Token 預(yù)測（Multi-Token Prediction, MTP）

MTP 已經(jīng)成為一種顯著提升大語言模型準(zhǔn)確率和推理效率的有效技術(shù)。已有研究包括 DeepSeek V3 以及最早提出 MTP 的工作表明：讓模型一次預(yù)測多個未來 token，不僅能夠提供更豐富的訓(xùn)練信號，還能促使模型提前規(guī)劃多個推理步驟。

在 Nemotron 3 中引入 MTP 后，模型在驗證集損失以及多個下游任務(wù)中都獲得了穩(wěn)定提升，包括通識知識、代碼生成、常識推理、閱讀理解和數(shù)學(xué)。

從系統(tǒng)層面看，MTP 僅引入極少量額外 FLOPs，并能無縫集成到訓(xùn)練流程中，同時帶來可觀的 speculative decoding 加速收益，整體效率依然保持極高水平。

NVFP4 低精度訓(xùn)練格式

英偉達在 NVFP4 數(shù)值格式下，成功實現(xiàn)了在 Mamba–MoE 混合架構(gòu)上對最高 25 萬億（25T）tokens 的穩(wěn)定且高精度的預(yù)訓(xùn)練。模型的權(quán)重、激活值和梯度均被量化為 NVFP4，使得前向傳播、反向傳播中的梯度計算和權(quán)重更新都可以使用 NVFP4 GEMM 運算。在 GB300 芯片上，F(xiàn)P4 的峰值吞吐量是 FP8 的 3 倍。

超長上下文（Long Context）

Nemotron 3 系列模型被設(shè)計為支持最長 100 萬（1M）token 的上下文長度，以滿足大規(guī)模、多輪、具備 Agentic 推理的應(yīng)用需求。

在傳統(tǒng) Transformer 中，旋轉(zhuǎn)位置編碼（RoPE） 是擴展上下文長度的主要瓶頸，因為 RoPE 在超過訓(xùn)練長度時會出現(xiàn)明顯的分布外退化問題。而 Nemotron 3 使用的 Mamba 層天然具備隱式位置信息，因此模型在注意力層中完全不使用 RoPE，從而避免了 RoPE 帶來的上下文擴展限制。

除了上述關(guān)鍵技術(shù)之外，Nemotron 3 系列模型還引入了兩項面向?qū)嵱眯缘暮诵哪芰?，進一步增強了模型在真實世界應(yīng)用中的可靠性、靈活性與泛化表現(xiàn)。

多環(huán)境強化學(xué)習(xí)后訓(xùn)練（Multi-environment RL Post-training）：Nemotron 3 模型在后訓(xùn)練階段使用多種強化學(xué)習(xí)環(huán)境進行訓(xùn)練，使模型在廣泛任務(wù)范圍內(nèi)實現(xiàn)更高的準(zhǔn)確性與泛化能力。

推理階段精細化推理預(yù)算控制：Nemotron 3 模型在訓(xùn)練時即支持推理階段的計算 / 推理預(yù)算精細控制，可在實際部署中根據(jù)任務(wù)復(fù)雜度靈活權(quán)衡推理深度、性能與成本。

更多技術(shù)細節(jié)請參閱技術(shù)報告：

1. 論文地址：https://research.nvidia.com/labs/nemotron/files/NVIDIA-Nemotron-3-White-Paper.pdf
2. 論文標(biāo)題：NVIDIA Nemotron 3: Efficient and Open Intelligence

有趣的是，Nemotron 3 貢獻者名單長達 2 頁多，參與人數(shù)之龐大在開源模型中也是少見，足見這一系列模型背后投入的研發(fā)規(guī)模與工程復(fù)雜度。

Nemotron 3 表現(xiàn)

如下圖所示，在覆蓋多個類別的主流基準(zhǔn)測試中，Nemotron 3 Nano-30B-A3B 的準(zhǔn)確率優(yōu)于 GPT-OSS-20B 和 Qwen3-30B-A3B-Thinking-2507。

在單張 H200、8K 輸入 / 16K 輸出配置下，Nemotron 3 Nano 的推理吞吐量是 Qwen3-30B-A3B 的 3.3 倍，是 GPT-OSS-20B 的 2.2 倍。

支持最長達 100 萬 Token 的上下文長度，并且在不同上下文長度下的 RULER 基準(zhǔn)測試中，性能均優(yōu)于 GPT-OSS-20B 和 Qwen3-30B-A3B-Instruct-2507。

另外，獨立 AI 基準(zhǔn)評測機構(gòu) Artificial Analysis 將 Nemotron 3 Nano 評為同規(guī)模模型中最開放、最高效的模型之一，并具備領(lǐng)先的準(zhǔn)確率。

目前，Nemotron 3 Nano 的多種型號模型、數(shù)據(jù)、模型配方均已開源。

得益于采用了 NVIDIA Blackwell 架構(gòu)上的超高效 4-bit NVFP4 訓(xùn)練格式，Nemotron 3 Super 和 Ultra 可以大幅降低內(nèi)存需求并加快訓(xùn)練速度，使得在現(xiàn)有基礎(chǔ)設(shè)施上訓(xùn)練更大規(guī)模模型成為可能，同時在準(zhǔn)確性上不遜于更高精度格式。

通過 Nemotron 3 模型家族，開發(fā)者可以根據(jù)具體工作負(fù)載選擇最合適的開放模型，在從數(shù)十到數(shù)百個智能體的規(guī)模下靈活擴展，同時獲得更快、更精準(zhǔn)的長程推理能力。

面向智能體定制的全新開放工具與數(shù)據(jù)

英偉達同步發(fā)布了一整套訓(xùn)練數(shù)據(jù)集與先進的強化學(xué)習(xí)庫，面向所有構(gòu)建專業(yè)化 AI 智能體的開發(fā)者開放。

其中，囊括 3 萬億 Token 的全新 Nemotron 預(yù)訓(xùn)練、后訓(xùn)練及強化學(xué)習(xí)數(shù)據(jù)集，涵蓋豐富的推理、編程和多步驟工作流示例，可用于打造高度專業(yè)化的領(lǐng)域智能體。

Nemotron 智能體安全數(shù)據(jù)集（Agentic Safety Dataset） 提供真實世界的遙測數(shù)據(jù)，幫助團隊評估并強化復(fù)雜智能體系統(tǒng)的安全性。

更多數(shù)據(jù)集請參閱：https://huggingface.co/nvidia

為了加速開發(fā)，英偉達還開源了 NeMo Gym 與 NeMo RL 庫，提供 Nemotron 模型所需的訓(xùn)練環(huán)境和后訓(xùn)練基礎(chǔ)，并推出 NeMo Evaluator 用于驗證模型的安全性與性能。所有工具和數(shù)據(jù)集現(xiàn)已在 GitHub 和 Hugging Face 上開放。

目前，Nemotron 3 已獲得 LM Studio、llama.cpp、SGLang 和 vLLM 的支持。此外，Prime Intellect 與 Unsloth 正將 NeMo Gym 的即用型訓(xùn)練環(huán)境直接集成到其工作流中，使團隊能夠更便捷地開展強化學(xué)習(xí)訓(xùn)練。

https://nvidianews.nvidia.com/news/nvidia-debuts-nemotron-3-family-of-open-models

https://research.nvidia.com/labs/nemotron/Nemotron-3/