11月27日，DeepSeek的DeepSeekMath-V2模型，在IMO2025測試中拿到了金牌水平，分數(shù)比人類歷史最高分還高。

更有意思的是，這模型還是目前唯一開源開放權(quán)重的IMO金牌級模型。

能在數(shù)學(xué)推理這種"燒腦"領(lǐng)域超過人類頂尖水平，背后肯定不是拍腦袋搞出來的，而是攢了一整年的技術(shù)"大招"集中爆發(fā)。

今天咱們就來聊聊，這個讓AI在數(shù)學(xué)競賽里"封神"的模型，到底藏著哪些不為人知的技術(shù)小心思。

要搞懂DeepSeekMath-V2為啥這么強，得先看看它的"前輩們"都練了哪些"內(nèi)功"。

今年2月，DeepSeek發(fā)過一篇關(guān)于注意力機制的論文，叫NativeSparseAttention（NSA）。

傳統(tǒng)的注意力機制就像撒網(wǎng)捕魚，不管有用沒用的信息全兜住，序列越長計算量越夸張，簡直是"吃力不討好"。

NSA就聰明多了，搞了個"動態(tài)分層稀疏"，簡單說就是先粗篩一遍，再精挑細選，最后用滑動窗口盯著最近的信息。

你猜怎么著？在64k長度的序列上，解碼速度直接快了11倍多，前向傳播快9倍，反向傳播快6倍。

關(guān)鍵是速度快了，效果還沒降，反而略有提升。

袁境陽團隊靠這個拿了ACL2025最佳論文，他們的目標更野，要把上下文長度擴展到100萬。

光處理得快還不夠，怎么把這些信息存下來也是個大問題。

這就輪到10月發(fā)布的OCR技術(shù)登場了，傳統(tǒng)存長上下文就像往U盤里硬塞文件，塞多了要么卡要么丟。

DeepSeek的思路有點意思，把文本渲染成圖像，用視覺encoder壓縮。

實驗結(jié)果挺驚喜，壓縮10倍的時候，解碼精度還能保持97%，就算壓到20倍，也有60%左右。

MITTechnologyReview評價這技術(shù)"可能找到了改善AI記憶的新方法"，確實沒夸張。

更絕的是它模擬人類記憶衰減的設(shè)計，歷史圖像分辨率慢慢降低，就像咱們記東西，最近的事記得清，越老的事越模糊。

這種"聰明的忘記"比一股腦全記住實用多了，這思路比單純堆硬件存數(shù)據(jù)要巧多了。

除了處理和存儲上下文，DeepSeek在多模態(tài)能力上也沒閑著。

今年1月底，他們發(fā)布了Janus-Pro多模態(tài)模型，正好趕上R1引發(fā)全球關(guān)注那周。

這模型厲害在哪兒？能同時看懂圖像和生成圖像，就像既能看畫又能畫畫的全能選手。

傳統(tǒng)多模態(tài)模型經(jīng)常"精神分裂"，理解圖像要細節(jié)，生成圖像要創(chuàng)意，倆需求打架。

Janus-Pro搞了個"解耦視覺編碼"，兩條路各管一攤，共用一個Transformer主干，這下不打架了。

這技術(shù)不光解決了當下的問題，更重要的是驗證了"一個大腦干多種活"的可行性，給未來通用智能體打了個好底子。

這些"內(nèi)功"練好了，終于在數(shù)學(xué)推理這個"硬仗"上派上了用場，這就是DeepSeekMath-V2的故事。

現(xiàn)在主流數(shù)學(xué)推理模型有點走偏了，被訓(xùn)練得只想著答對題，不管推理過程對不對。

就像有些學(xué)生考試靠蒙，答案對了但思路全錯，老師一追問就露餡。

用強化學(xué)習(xí)死磕最終答案正確率，結(jié)果模型寫的推理過程可能漏洞比篩子還多。

這種模式對付有標準答案的題還行，遇到開放問題就抓瞎。

DeepSeekMath-V2換了個思路，搞了個"生成器-驗證器"雙模型架構(gòu)。

你可以理解成，生成器負責(zé)寫證明過程，就像學(xué)生做題，驗證器負責(zé)當老師，批改這個證明對不對、嚴不嚴謹，然后把意見反饋給生成器。

這樣一來，生成器不光要答對，還得寫清楚"為什么對"。

不過這里有個難題，生成器寫的證明有時候太繞，驗證器看不懂，這就是"生成-驗證差距"。

DeepSeek的辦法是"動態(tài)擴展驗證計算"，遇到難驗證的證明，就多花點計算資源仔細看，實在看不懂的，就自動標出來當成新訓(xùn)練數(shù)據(jù)，讓驗證器慢慢學(xué)。

就像老師遇到學(xué)生寫的怪答案，先多看幾遍，實在不懂就記下來當教學(xué)案例，下次就會了。

這種自我驗證機制的價值可不小，首先，模型能自己發(fā)現(xiàn)推理問題并修正，不用老等著人類給標準答案。

以前模型學(xué)數(shù)學(xué)像照著答案抄作業(yè)，現(xiàn)在能自己檢查作業(yè)了。

擺脫了對外部標準答案的依賴，這對解決開放問題太重要了，現(xiàn)實世界里很多問題根本沒有標準答案，總不能一直等著人來教吧？這步棋走得比單純提高正確率有遠見多了。

這些技術(shù)拼到一起，你會發(fā)現(xiàn)DeepSeek不是在瞎搞。

NSA解決長上下文處理效率，OCR解決存儲效率，倆技術(shù)湊一塊，指向的是百萬級甚至更長的上下文窗口，Janus-Pro的多模態(tài)能力是通用智能體的基礎(chǔ)設(shè)施。

各項技術(shù)不是孤立的，而是一套有內(nèi)在聯(lián)系的組合拳。

未來的大模型會往哪兒走？在線強化學(xué)習(xí)肯定是個重要方向。

簡單說就是模型能邊用邊學(xué)，實時跟環(huán)境互動、獲取反饋、更新策略。

R1靠純強化學(xué)習(xí)突破推理能力，R1-Zero證明了用固定習(xí)題就能練出強模型，這些都在說明"邊做邊學(xué)"比"一次性喂飽"更高效。

DeepSeek的各項技術(shù)其實都在為這個方向鋪路，自我驗證機制讓模型能自己找錯，動態(tài)擴展計算讓模型能根據(jù)問題難度調(diào)整努力程度，多模態(tài)能力讓模型能跟更復(fù)雜的環(huán)境互動。

現(xiàn)在的DeepSeekMath-V2已經(jīng)邁出了第一步，未來要是把這些技術(shù)全整合好，再加上開源這個大優(yōu)勢，說不定真能讓AI在通用智能的路上走得更穩(wěn)。

畢竟，聰明的AI不光要會做題，更要學(xué)會怎么自己變得更聰明，這大概就是DeepSeek想告訴我們的事。