SpikingBrain：大模型的第二條進(jìn)化鏈。

作者丨鄭佳美

編輯丨馬曉寧

過去幾年，大模型幾乎都依賴 Transformer，它支撐了 GPT、Claude、Gemini 等一眾前沿模型的進(jìn)步，但也一直被詬病：一旦文本變長，計(jì)算量和內(nèi)存消耗就會成倍膨脹，百萬級 token 幾乎不可承受。與此同時，大模型訓(xùn)練幾乎完全依賴 NVIDIA 的 GPU 體系。從算力到軟件棧，整個行業(yè)被牢牢綁定在 CUDA 上，硬件自主化成了遲遲邁不過去的門檻。

正因?yàn)槿绱耍瑯I(yè)界一直在尋找“下一條路”。有人嘗試混合架構(gòu)，有人研究稀疏專家，也有人試水類腦計(jì)算。但這些探索往往停留在小規(guī)模實(shí)驗(yàn)，很少能真正跑到大模型層面。

直到最近，中科院團(tuán)隊(duì)拋出了一篇新論文，提出了一個全新系列的類腦大模型SpikingBrain。他們通過引入spiking 神經(jīng)元、線性注意力和稀疏專家機(jī)制，不僅在超長文本處理上實(shí)現(xiàn)了百倍加速，還首次在國產(chǎn) GPU 平臺 MetaX上穩(wěn)定訓(xùn)練出 76B 規(guī)模的模型。

同時，SpikingBrain的問世也證明了大模型并不是只能依賴 Transformer + NVIDIA 的組合，另一條通往未來的道路正在被打開。

論文鏈接：https://www.arxiv.org/pdf/2509.05276

01

大模型的新答案

在實(shí)驗(yàn)中，研究團(tuán)隊(duì)在超長上下文任務(wù)上取得了突破性成果。以SpikingBrain-7B為例，當(dāng)輸入長度達(dá)到400 萬 token時，其Time-to-First-Token（首個 token 生成延遲）比傳統(tǒng) Transformer 快了100 倍。換句話說，原本需要長時間等待的超長文本任務(wù)，如今幾乎可以做到即時響應(yīng)。

由于脈沖神經(jīng)元只在必要時才會“放電”，模型在推理過程中保持了69.15% 的稀疏激活率——也就是說，大多數(shù)神經(jīng)元在大部分時間處于靜默狀態(tài)，不參與計(jì)算。相比始終全量激活的 Transformer，這種機(jī)制顯著降低了算力消耗和能耗。

在訓(xùn)練規(guī)模上，研究團(tuán)隊(duì)共使用1500 億 token，先后訓(xùn)練了兩個核心模型：SpikingBrain-7B和SpikingBrain-76B。盡管所用數(shù)據(jù)量遠(yuǎn)少于許多主流開源大模型，這兩款模型在多項(xiàng)基準(zhǔn)測試中的表現(xiàn)依然能夠接近，甚至在部分任務(wù)上追平傳統(tǒng) Transformer。

更關(guān)鍵的是，這些訓(xùn)練完全在國產(chǎn) MetaX C550 GPU 集群上完成。實(shí)驗(yàn)結(jié)果顯示，7B 模型在該平臺上達(dá)到了23.4% 的 FLOPs 利用率，充分證明了它在非 NVIDIA 硬件環(huán)境下依舊能夠保持穩(wěn)定高效的運(yùn)行。

02

從不可微到可擴(kuò)展

為了實(shí)現(xiàn)這些結(jié)果，研究團(tuán)隊(duì)在模型結(jié)構(gòu)、訓(xùn)練方法和系統(tǒng)工程三個層面都做了實(shí)驗(yàn)探索。

在架構(gòu)實(shí)驗(yàn)中，團(tuán)隊(duì)對傳統(tǒng) Transformer 做了關(guān)鍵改造。首先，他們將全連接注意力替換為 線性注意力和混合注意力，從根本上緩解了計(jì)算復(fù)雜度隨序列長度平方級增長的瓶頸。

與此同時，他們引入了spiking 神經(jīng)元，讓模型像大腦一樣“按需放電”：只有在需要時才被激活，大多數(shù)時間保持靜默。這種類腦機(jī)制帶來了天然的稀疏性，大幅降低了無效計(jì)算，是 SpikingBrain 在能效上實(shí)現(xiàn)提升的關(guān)鍵所在。

而在系統(tǒng)實(shí)驗(yàn)中，最棘手的挑戰(zhàn)來自硬件環(huán)境。團(tuán)隊(duì)沒有沿用 NVIDIA 的成熟體系，而是選擇在國產(chǎn)MetaX GPU集群上完成全部訓(xùn)練。

為了讓大模型在這一平臺穩(wěn)定運(yùn)行，他們對底層系統(tǒng)進(jìn)行了大規(guī)模優(yōu)化：重寫關(guān)鍵算子庫，改造分布式通信機(jī)制，并針對長時間訓(xùn)練中常見的內(nèi)存溢出與死鎖問題設(shè)計(jì)了專門的解決方案。

憑借這些工程改造，SpikingBrain 不僅在數(shù)百張 MetaX GPU 上成功完成了 7B 模型的穩(wěn)定訓(xùn)練，還順利擴(kuò)展到 76B 參數(shù)規(guī)模，并在此基礎(chǔ)上引入 MoE 稀疏專家機(jī)制，進(jìn)一步提升了模型的性能與效率。

到了訓(xùn)練實(shí)驗(yàn)環(huán)節(jié)，為了讓新架構(gòu)真正跑通，團(tuán)隊(duì)設(shè)計(jì)了一個conversion-based pipeline，把 Transformer 成熟的訓(xùn)練經(jīng)驗(yàn)遷移到 SpikingBrain。配合事件觸發(fā)的 spike 編碼，模型中的脈沖神經(jīng)元依然可以通過反向傳播學(xué)習(xí)，避免了“不可微”帶來的訓(xùn)練障礙。通過這種遷移式實(shí)驗(yàn)設(shè)計(jì)，他們在保證穩(wěn)定性的同時，也逐步擴(kuò)展了模型規(guī)模。

03

一條被點(diǎn)亮的新路線

總體來看，SpikingBrain 的價值不只是跑通了一個新模型，而是用系統(tǒng)性的嘗試回應(yīng)了當(dāng)下大模型最核心的幾個痛點(diǎn)。它在百萬級 token 的長文本上實(shí)現(xiàn)了數(shù)量級的加速，說明類腦機(jī)制在大規(guī)模模型里并不是紙上談兵，而是能帶來真實(shí)收益的方向。

同時，它第一次在國產(chǎn) GPU 上完成了 76B 規(guī)模訓(xùn)練，讓人看到大模型不一定要綁死在 CUDA 上，硬件路線其實(shí)有多種可能。再加上稀疏激活機(jī)制顯著降低了能耗，SpikingBrain 給“大模型能否可持續(xù)”這個老問題提供了一個新答案。

當(dāng)然，SpikingBrain 暫時還不能取代 Transformer，它更像是給行業(yè)提供了一個全新的實(shí)驗(yàn)樣本：證明大模型還有其他路徑可走。至于它能否在更復(fù)雜任務(wù)、更大規(guī)模下保持穩(wěn)定，以及類腦機(jī)制能否發(fā)展成成熟的工具鏈，還需要時間和進(jìn)一步驗(yàn)證?！?/p>

但至少現(xiàn)在，我們已經(jīng)看到，大模型的發(fā)展并不是只有一條路，新的路徑正在一點(diǎn)點(diǎn)被點(diǎn)亮。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。