新智元報(bào)道

編輯：定慧 好困

【新智元導(dǎo)讀】壟斷全球的CUDA，迎來(lái)重大更新。

就在這個(gè)周末，英偉達(dá)干了兩件大事。

不僅在硬件底層生態(tài)上扔下了一枚深水炸彈，還在軟實(shí)力上秀了一把肌肉。

兩件大事：

1.軟件生態(tài)的「地基」重塑：NVIDIA CUDA 13.1正式推出。這是CUDA平臺(tái)誕生二十年來(lái)最大、最全面的一次更新。它引入了CUDA Tile編程模型，旨在屏蔽底層硬件細(xì)節(jié)，讓開(kāi)發(fā)者能更輕松地駕馭下一代GPU（如Blackwell）的恐怖性能。

2.贏下AGI比賽：Kaggle ARC Prize 2025競(jìng)賽中，特級(jí)大師團(tuán)隊(duì)KGMoN以27.64%的分?jǐn)?shù)奪得冠軍。令人震驚的是，他們使用的并非千億參數(shù)的巨型模型，而是一個(gè)僅4B的小模型變體，單次任務(wù)推理成本僅需20美分。

這周五，來(lái)自英偉達(dá)的Ivan Sorokin和Jean-Francois Puget，在Kaggle ARC Prize 2025的公開(kāi)榜單上，以27.64%的分?jǐn)?shù)奪得冠軍。

這場(chǎng)比賽被業(yè)內(nèi)許多人視為衡量人類(lèi)向通用AGI進(jìn)度的「實(shí)時(shí)晴雨表」。

值得一提的是，他們的方案是在ARC-AGI-2基準(zhǔn)測(cè)試背后的同一數(shù)據(jù)集上進(jìn)行評(píng)估的。

NVARC一下子超過(guò)Claude Opus 4.5，并且成本很低（注意橫軸每個(gè)任務(wù)消耗為對(duì)數(shù)坐標(biāo)軸）！

與此同時(shí)，英偉達(dá)還推出了自CUDA平臺(tái)誕生二十年以來(lái)最大、最全面的更新——NVIDIA CUDA 13.1。

• NVIDIA CUDA Tile：基于Tile的編程模型，用于屏蔽包括Tensor Core在內(nèi)的專(zhuān)用硬件底層細(xì)節(jié)。

• Green Context：正式向運(yùn)行時(shí)API開(kāi)放。

• NVIDIA cuBLAS：支持雙精度和單精度模擬。

• CUDA編程指南：完全重寫(xiě)，專(zhuān)為CUDA新手和資深程序員設(shè)計(jì)。

拿下AGI「圣杯」

4B小模型碾壓全場(chǎng)

如今，ARC-AGI已經(jīng)成為了觀察AI通用推理真正進(jìn)展的，最受關(guān)注的指標(biāo)之一。

跟典型的機(jī)器學(xué)習(xí)基準(zhǔn)不同，ARC-AGI的任務(wù)沒(méi)法靠堆規(guī)模、死記硬背或者抓取模式來(lái)搞定。

它是AI界公認(rèn)的「智商測(cè)試」，由Keras之父Fran?ois Chollet提出，專(zhuān)門(mén)測(cè)試AI面對(duì)陌生問(wèn)題的舉一反三能力，而不僅僅是死記硬背。

核心秘訣：320萬(wàn)合成數(shù)據(jù)的「暴力美學(xué)」

NVARC方案最震撼的地方，在于他們構(gòu)建了一個(gè)極其復(fù)雜的合成數(shù)據(jù)生成流水線。

他們沒(méi)有依賴原本稀缺的幾百個(gè)訓(xùn)練題，而是自己造了320萬(wàn)個(gè)！

他們的邏輯很簡(jiǎn)單：如果AI沒(méi)見(jiàn)過(guò)類(lèi)似的推理題，那就生成無(wú)窮無(wú)盡的類(lèi)似題目讓它看個(gè)夠。

思路：合成數(shù)據(jù)、測(cè)試時(shí)訓(xùn)練（Test-timetraining）以及嚴(yán)謹(jǐn)?shù)墓こ袒?/strong>。

數(shù)據(jù)生成的「四步走」戰(zhàn)略

他們使用了一個(gè)120B參數(shù)的開(kāi)源大模型（gpt-oss-120b），通過(guò)NeMo-Skills框架搭建了如下流水線：

• 收集描述（Descriptions）：收集ARC題目的人類(lèi)自然語(yǔ)言描述（比如「把紅色方塊向右移動(dòng)直到碰到墻壁」）。

• 混合重組（MixSummaries）：讓LLM將兩個(gè)不同謎題的描述「雜交」，生成一個(gè)新的、更復(fù)雜的謎題描述。這一步生成了26萬(wàn)+的新創(chuàng)意。

• 生成輸入邏輯（InputLogic）：這是最關(guān)鍵的一步！他們不直接生成像素圖，而是讓LLM寫(xiě)Python代碼來(lái)生成輸入網(wǎng)格。為什么？因?yàn)榇a蘊(yùn)含了邏輯，比純像素更「懂」推理。

• 生成輸出邏輯（OutputLogic）：有了輸入代碼，再讓LLM寫(xiě)出將輸入變換為輸出的Python代碼（即解題規(guī)則）。

最終，他們構(gòu)建了一個(gè)包含320萬(wàn)個(gè)增強(qiáng)樣本的超級(jí)數(shù)據(jù)集！

模型選擇：小模型，大智慧

有了海量數(shù)據(jù)，用什么模型來(lái)學(xué)呢？

NVARC并沒(méi)有使用乃至微調(diào)那種幾千億參數(shù)的巨型模型，而是選擇了Qwen3（4B參數(shù)）。

為什么選小模型？

1.速度快：ARC競(jìng)賽有嚴(yán)格的時(shí)間限制，小模型推理飛快。

2.效果好：在特定領(lǐng)域（Coding/Reasoning）的海量高質(zhì)量合成數(shù)據(jù)喂養(yǎng)下，4B模型的表現(xiàn)完全可以吊打未經(jīng)微調(diào)的巨型模型。

他們使用NeMoRL框架和Megatron后端進(jìn)行了高效的全量微調(diào)（SFT），讓模型學(xué)會(huì)了「看圖寫(xiě)代碼」的能力。

推理時(shí)的魔法：TTT與DFS

模型訓(xùn)練好了，在考場(chǎng)上（推理階段）怎么發(fā)揮最大威力？

NVARC用了兩個(gè)大招：

• 測(cè)試時(shí)訓(xùn)練（Test-Time Training，TTT）

對(duì)于測(cè)試集中的每一個(gè)新謎題，他們不會(huì)直接預(yù)測(cè)答案，而是先利用該謎題給出的幾個(gè)示例，快速用LoRA技術(shù)微調(diào)一下模型。

讓模型在做題前，先「適應(yīng)」一下這個(gè)題目的獨(dú)特風(fēng)格。

• 深度優(yōu)先搜索（DFS）

模型生成的不僅僅是答案，而是生成答案的Python代碼。這意味著，他們可以運(yùn)行這些代碼來(lái)驗(yàn)證結(jié)果是否符合示例。

通過(guò)Batch DFS算法，他們批量生成多種可能的代碼路徑，一旦某段代碼完美解決了所有示例，大概率也能解決測(cè)試題。

在比賽的最后10天，NVARC團(tuán)隊(duì)還嘗試引入了ARC社區(qū)非常火的TRM（微型遞歸模型）。

雖然由于時(shí)間倉(cāng)促，TRM并沒(méi)有成為得分的主力（主要還是靠Qwen3+合成數(shù)據(jù)），但這種將「遞歸推理」與「大模型直覺(jué)」結(jié)合的思路，非常有啟發(fā)性。

在最終的集成方案中，TRM也為分?jǐn)?shù)的提升貢獻(xiàn)了微薄但寶貴的力量。

NVARC的勝利再次證明了Scaling Law在推理任務(wù)上的有效性，但這次Scaling的對(duì)象不是模型參數(shù)量，而是高質(zhì)量的合成推理數(shù)據(jù)。

• 數(shù)據(jù)：用LLM生成代碼，用代碼生成數(shù)據(jù)。

• 模型：專(zhuān)精的小模型+針對(duì)性微調(diào)。

• 策略：推理時(shí)不要只做一次預(yù)測(cè)，要利用測(cè)試樣本進(jìn)行TTT。

通往AGI的路上，也許不需要更復(fù)雜的架構(gòu)，只需要更聰明的「造題」方法。

為此，團(tuán)隊(duì)除了合成數(shù)據(jù)，還用了一些真實(shí)的謎題數(shù)據(jù)集。

最終數(shù)據(jù)集包含了320萬(wàn)個(gè)增強(qiáng)樣本，每個(gè)樣本包含多達(dá)7對(duì)輸入/輸出。

在后訓(xùn)練（post-training）階段，團(tuán)隊(duì)基于NeMoRL框架，并用Megatron后端進(jìn)行了監(jiān)督微調(diào)（SFT），這樣能高效利用多節(jié)點(diǎn)H100GPU的顯存和計(jì)算資源。

期間，為了全量微調(diào)4B模型，團(tuán)隊(duì)用了4個(gè)8xH100節(jié)點(diǎn)跑了27個(gè)小時(shí)。

在測(cè)試時(shí)，團(tuán)隊(duì)對(duì)每個(gè)謎題獨(dú)立進(jìn)行了LoRA微調(diào)（test-timefine-tuning），參數(shù)設(shè)為r=256和alpha=32。

期間，既要去掉梯度檢查點(diǎn)，也要去掉4-bit量化，并且微調(diào)要用bfloat16精度去跑。

除了這些，團(tuán)隊(duì)還配合Unsloth框架使用了FlashAttention2。

開(kāi)源項(xiàng)目：https://github.com/1ytic/NVARC

技術(shù)報(bào)告：https://github.com/1ytic/NVARC/blob/main/nvarc_2025.pdf

團(tuán)隊(duì)在ARChitects方法中做的主要優(yōu)化，是在解碼階段實(shí)現(xiàn)了深度優(yōu)先搜索（DFS）算法的批處理（batch）。

并且，還使用了額外的增強(qiáng)（augmentations）來(lái)對(duì)DFS階段的候選結(jié)果進(jìn)行重打分。

團(tuán)隊(duì)在這里做了一點(diǎn)小改動(dòng)。

也就是，對(duì)每個(gè)候選解只用了8次增強(qiáng)，但確保對(duì)每個(gè)候選解使用完全相同的增強(qiáng)。

如此一來(lái)，不同解法的分?jǐn)?shù)更有可比性。

比賽期間，團(tuán)隊(duì)在不同比例的合成數(shù)據(jù)上微調(diào)了模型。

從下圖中可以看到，在預(yù)訓(xùn)練階段增加更多數(shù)據(jù)對(duì)損失函數(shù)的影響。

最好的模型在比賽期間拿到了27.64%的分?jǐn)?shù)。

20年最大更新

CUDA 13.1徹底重構(gòu)

CUDA Tile編程

為了幫助開(kāi)發(fā)者為當(dāng)前和未來(lái)的GPU構(gòu)建軟件，CUDA 13.1重磅推出了CUDA Tile。

基于此，開(kāi)發(fā)者可以直接在SIMT之上的一層編寫(xiě)GPU Kernel（核函數(shù)）。

在SIMT編程中，開(kāi)發(fā)者需要通過(guò)劃分?jǐn)?shù)據(jù)和定義每個(gè)線程的執(zhí)行路徑來(lái)指定Kernel。而通過(guò)CUDA Tile，則可以將代碼提升一個(gè)層級(jí)，指定為Tile數(shù)據(jù)塊。

開(kāi)發(fā)者只需指定要在這些Tile上執(zhí)行的數(shù)學(xué)運(yùn)算，編譯器和運(yùn)行時(shí)會(huì)自動(dòng)確定將工作分發(fā)到各個(gè)線程的最佳方式。

不僅如此，由于Tile模型屏蔽了使用Tensor Core等專(zhuān)用硬件的細(xì)節(jié)，因此開(kāi)發(fā)者現(xiàn)在寫(xiě)的Tile代碼將直接兼容未來(lái)的GPU架構(gòu)。

除此之外，CUDA13.1還發(fā)布了兩個(gè)用于Tile編程的組件：

• CUDATileIR：一種用于對(duì)英偉達(dá)GPU進(jìn)行編程的新虛擬指令集架構(gòu)（ISA）。

• cuTile Python：一種新的領(lǐng)域特定語(yǔ)言（DSL），用于在Python中編寫(xiě)基于數(shù)組和Tile的Kernel。

nvcc -fdevice-sanitize=memcheck -o myapp myapp.cu

compute-sanitizer --tool memcheck myapp

cub::DeviceReduce::Sum(..., env);

cudaFreeAsync(temp_storage, stream);

cub::DeviceScan::ExclusiveSum(d_input,..., mr);