智東西
作者 陳駿達
編輯 漠影
在剛剛過去的7月份,國產(chǎn)模型迎來一波重磅開源。與以往不同的是,本次國內(nèi)大模型玩家們開源模型的參數(shù)量成倍增長,達到數(shù)千億乃至萬億級別。這不僅顯著提升了國產(chǎn)模型的能力上限,也為各行業(yè)智能化轉型提供了新一代強大的智能基座。
然而,隨著模型體量不斷攀升,對應的基礎設施正面臨前所未有的挑戰(zhàn)。傳統(tǒng)集群架構在通信效率、I/O性能和系統(tǒng)擴展性等方面逐漸暴露出瓶頸,已難以滿足當前開源模型的部署需求。
在這樣的背景下,各類“超節(jié)點”方案應運而生。作為面向大模型的新一代基礎設施架構,超節(jié)點通過在單系統(tǒng)內(nèi)部集成更多GPU資源,并顯著優(yōu)化節(jié)點間的通信性能,有效突破了傳統(tǒng)架構在大規(guī)模分布式計算中的性能瓶頸。
昨日,浪潮信息正式發(fā)布了其面向萬億參數(shù)大模型的超節(jié)點AI服務器——“元腦SD200”。得益于浪潮信息自研的多主機低延遲內(nèi)存語義通信架構,SD200在單機內(nèi)集成64路加速計算芯片,單機支持DeepSeek、Qwen、Kimi、GLM四大國產(chǎn)頂級開源模型同時運行,以及多智能體實時協(xié)作與按需調(diào)用。
浪潮信息一直是開放計算生態(tài)的積極推動者,本次其此次推出的超節(jié)點方案采用了OCM+OAM的開放架構設計,兼容多款本土GPU芯片與大部分主流AI框架,目前已率先實現(xiàn)商用。
在國產(chǎn)開源模型奮力追趕智能上限之際,浪潮信息的開放超節(jié)點,有望成為承載萬億參數(shù)模型的重要底座之一。
一、廠商競相追逐超節(jié)點,開放架構需求凸顯
在探討“超節(jié)點”對行業(yè)所帶來的深遠影響之前,我們有必要先厘清這一技術誕生的背景。
首先,模型規(guī)模的持續(xù)膨脹正在逼近現(xiàn)有硬件的承載極限。大模型加速邁向萬億參數(shù)規(guī)模,同時上下文長度不斷擴展,直接推高了推理過程中的鍵值緩存(KV Cache)需求。顯存與帶寬,正成為壓在AI基礎設施之上的兩座大山。
與此同時,隨著大模型加速進入千行百業(yè),推理型負載成為主流計算模式,而推理是一種高度通信敏感的計算過程。以Qwen3-235B模型為例,若要實現(xiàn)100 tokens/s的解碼速度,單個token需完成多達188次的All-to-All通信,且每次通信的延遲必須控制在53微秒以內(nèi)。
更不容忽視的是,Agentic AI的興起正在進一步拉高對計算系統(tǒng)的需求。具備自主規(guī)劃、多模態(tài)感知與連續(xù)執(zhí)行能力的智能體,在執(zhí)行任務時生成的token數(shù)量往往是傳統(tǒng)模型的數(shù)十倍甚至上百倍,動輒需要處理數(shù)十萬乃至數(shù)百萬token。
算力基礎設施面臨的上述三大關鍵挑戰(zhàn),使其走到升級重構的臨界點。為了支撐萬億參數(shù)級模型的高效運行,構建高度集成、低延遲、高帶寬的Scale-Up(縱向擴展)系統(tǒng),即通過構建一個更大的高速互連域、形成“超節(jié)點”,成為現(xiàn)實的技術選擇。
通過構建超低延遲的統(tǒng)一顯存空間,Scale-Up系統(tǒng)能將萬億級模型參數(shù)及激增的KV Cache整體容納于單一高速互連域內(nèi),保障了多芯片間高效協(xié)同執(zhí)行,顯著減少跨節(jié)點通信開銷,從而大幅提升吞吐速度并降低通信延遲,實現(xiàn)降本增效。
AI算力需求側的變化,正驅動供給側的廠商們爭相布局前沿的Scale Up方案。2024年,英偉達在GTC大會上提出SuperPod的概念;今年,國內(nèi)廠商的方案更是將超節(jié)點引入大眾視野。
當前,業(yè)界在超節(jié)點技術方案的選擇上,存在多種路徑。在浪潮信息看來,超節(jié)點要根據(jù)客戶應用需求來選擇技術路線,要給客戶提供更多算力方案的選擇,核心策略是“開放架構”。
基于開放架構設計的超節(jié)點,能夠支持多樣化芯片、開放AI框架及主流開發(fā)工具,在保障高性能、低延遲的同時,實現(xiàn)跨平臺的良好兼容與靈活擴展,推動AI基礎設施真正走向開放、可持續(xù)的發(fā)展路徑。
二、單機運行四大開源模型,全面支持主流框架
昨日,浪潮信息在2025開放計算技術大會上正式發(fā)布元腦SD200超節(jié)點AI服務器。作為開放計算領域的重要風向標,該大會一向聚焦推動算力基礎設施的開放與協(xié)同,而SD200正是這一理念的典型體現(xiàn)。
SD200基于OCM(開放算力模組)與OAM(開放加速模塊)兩大架構打造。OCM標準由中國電子技術標準化研究院發(fā)起,浪潮信息、百度等18家算力產(chǎn)業(yè)上下游企業(yè)共同參與編制。
該架構圍繞CPU和內(nèi)存進行解耦設計,具備高度模塊化與標準化優(yōu)勢,支持系統(tǒng)供電、管理、風扇等組件的獨立升級與更換,大幅提升了服務器的靈活性與可維護性。同時,OCM支持“一機多芯”,可快速適配Intel、AMD、ARM等多種計算平臺。
OAM則由開放計算項目(OCP)社區(qū)推動,是專為高性能計算與AI加速場景設計的開放模塊標準。
該架構統(tǒng)一了加速卡的尺寸、電氣接口和散熱設計,使來自不同廠商的GPU、NPU等AI加速器可在同一系統(tǒng)中協(xié)同運行,并通過高速互聯(lián)技術實現(xiàn)加速卡之間的低延遲直連,有效滿足大模型訓練與推理對帶寬的極致要求。
浪潮信息將OCM與OAM架構有機融合,為業(yè)界提供了一種開放的超節(jié)點技術架構。
不過,光有“開放”的特性,仍不足以讓一款開放超節(jié)點方案獲得廣泛采用,性能同樣至關重要。
在開放計算技術大會現(xiàn)場,浪潮信息副總經(jīng)理趙帥曬出了SD200超節(jié)點在真實部署環(huán)境下實現(xiàn)的性能。在經(jīng)過軟硬件的系統(tǒng)協(xié)同優(yōu)化后,SD200超節(jié)點滿機運行DeepSeek R1全參模型推理性能提升比為370%,滿機運行Kimi K2全參模型推理性能提升比為170%。
SD200超節(jié)點配備高達4TB的顯存,能夠同時容納DeepSeek、Qwen、Kimi、GLM等多個旗艦級開源模型。趙帥稱,這樣的顯存配置具備前瞻性,不僅可滿足當前萬億級模型的部署需求,甚至為未來可能出現(xiàn)的2萬億、3萬億參數(shù)模型預留了充足空間。
然而,在打造這一方案時,浪潮信息并未一味追求技術堆疊,而是更注重實際落地的可行性。正如浪潮信息趙帥在發(fā)布會后與智東西等媒體交流時所提到的——客戶的核心訴求是“能否快速部署、快速上業(yè)務、上應用”。
基于這一判斷,SD200在使用便利性上進行了優(yōu)化設計。例如,采用風冷散熱,企業(yè)無需改造機房,即可靈活部署;在互連方案上,則選擇了更為成熟穩(wěn)健的全銅電互連,提升了系統(tǒng)穩(wěn)定性,同時降低了終端用戶的運維復雜度和成本。
此外,SD200超節(jié)點還全面兼容當前主流的開源大模型計算框架(如PyTorch,已支持2200+算子),可實現(xiàn)新模型的無縫遷移與“Day 0”上線,為企業(yè)構建AI應用提供了即開即用的基礎平臺。
三、軟硬協(xié)同優(yōu)化實現(xiàn)性能突破,揭秘開放超節(jié)點背后創(chuàng)新
這樣一套開放超節(jié)點方案背后,是浪潮信息在融合架構和軟硬件協(xié)同方面長達十余年的深厚積累。
趙帥分享道,自2010年起,浪潮信息持續(xù)推進融合架構演進,從最初的供電、散熱等非IT資源的整合,到存儲、網(wǎng)絡等資源池化,再到最新融合架構3.0系統(tǒng)實現(xiàn)了計算、存儲、內(nèi)存、異構加速等核心IT資源徹底解耦和池化。
這沉淀下來的芯片共享內(nèi)存數(shù)據(jù)、統(tǒng)一編址技術、池化、資源動態(tài)調(diào)度等技術,在今天的超節(jié)點系統(tǒng)中得以延續(xù)和應用,顯著提升了系統(tǒng)的適配速度與商用效率。
此外,浪潮信息并非單純的硬件廠商,其在大模型領域同樣具備深度布局——早在2021年即發(fā)布首個中文巨量模型“源1.0”,其參數(shù)規(guī)模達2457億,并持續(xù)在模型訓練、推理優(yōu)化和軟硬件協(xié)同方面積累經(jīng)驗。這些能力也為SD200這樣的超節(jié)點方案提供了堅實基礎。
為突破萬億大模型的帶來的顯存壓力,SD200超節(jié)點基于浪潮信息自主研發(fā)的開放總線交換(Open Fabric Switch)技術,首創(chuàng)多主機三維網(wǎng)格系統(tǒng)架構(3D Mesh)。在這一架構下,64顆本土GPU能夠以高速、低延遲的方式實現(xiàn)互連。
更進一步,SD200通過GPU虛擬映射等底層創(chuàng)新,解決了多主機環(huán)境下統(tǒng)一編址的難題,將顯存統(tǒng)一地址空間擴增8倍,顯存容量達4TB,配合64TB系統(tǒng)內(nèi)存,為超大模型提供了充足的KV緩存資源。
這意味著,不論是在模型訓練還是推理過程中,開發(fā)者都能像調(diào)用單機GPU一樣,靈活調(diào)度整個系統(tǒng)中的算力與顯存資源,極大簡化了工程復雜度。實測結果表明,在推理過程常見的小數(shù)據(jù)包通信場景中,全規(guī)約(All Reduce)性能表現(xiàn)優(yōu)異,顯著提升計算與通信效率。
在系統(tǒng)層面,浪潮信息圍繞萬億參數(shù)大模型計算密集、通信敏感的特性,構建起一整套軟硬協(xié)同優(yōu)化的系統(tǒng)方案,將64卡超節(jié)點的算力潛能釋放到極致。
一方面,浪潮信息開發(fā)了智能總線管理系統(tǒng),可實現(xiàn)超節(jié)點64卡全局最優(yōu)路由的自動創(chuàng)建與管理。該系統(tǒng)不僅支持靈活拓撲切換,還能根據(jù)業(yè)務負載動態(tài)進行資源切分與調(diào)度,為不同類型的大模型任務提供定制化的算力編排能力。
針對All Reduce、All Gather等典型通信算子的不同數(shù)據(jù)包規(guī)模,系統(tǒng)設計了細粒度、多層級的通信策略,進一步壓縮通信路徑的延遲。
此外,SD200還引入了開放的PD分離框架,將預填充-解碼(Prefill-Decoder)環(huán)節(jié)解耦,支持異步KV Cache高效傳輸,并允許針對不同模型并行需求制定差異化策略,兼顧性能與兼容性。這一設計不僅提升了系統(tǒng)性能,也保障了對多元算力架構的適配能力,加強了計算與通信之間的協(xié)同優(yōu)化。
通過軟硬協(xié)同系統(tǒng)創(chuàng)新,SD200成功實現(xiàn)了縱向擴展,幫助本土AI芯片突破了性能邊界,在大模型場景中展示出優(yōu)異的性能表現(xiàn)。
結語:開放超節(jié)點,帶動產(chǎn)業(yè)鏈協(xié)同創(chuàng)新
在趙帥的分享中,智東西感受到了浪潮信息對“以應用為導向”的堅持。作為系統(tǒng)廠商,他們與終端客戶的距離更近,也更能體會到實際應用場景的痛點。也因此,趙帥稱,超節(jié)點架構本質上是系統(tǒng)化思維的產(chǎn)物,它不是某一個點的突破,而是在現(xiàn)有技術、生態(tài)和成本約束下,從系統(tǒng)層面去打破芯片本身的性能邊界,最大化用戶價值。
超節(jié)點的發(fā)展也為中國本土產(chǎn)業(yè)鏈提供了發(fā)展機遇——高速連接器、線纜、板材、電源等上下游產(chǎn)業(yè)鏈廠商,都有望這個過程中找到屬于自己的突破點。這不僅能加速成本下降和技術普惠,更推動了智能基礎設施的“平權化”。
放眼未來,趙帥認為,AI數(shù)據(jù)中心正從“機柜級密度革命”邁向“數(shù)據(jù)中心級系統(tǒng)工程挑戰(zhàn)”,算力密度將持續(xù)攀升,能源供給、冷卻方式和系統(tǒng)管理也隨之進入全面革新期。
從芯片到架構,從系統(tǒng)到生態(tài),技術演進注定不會是一條單線道路,而是多路徑的協(xié)同創(chuàng)新。在這場關于未來的集體奔赴中,唯有持續(xù)開放、擁抱合作,才能構筑真正普惠、可持續(xù)的智能算力基石。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.