前段時(shí)間，華為發(fā)布了一款針對(duì)AI智算場(chǎng)景的重磅產(chǎn)品——CloudMatrix384，在行業(yè)內(nèi)外引起了不小的震動(dòng)。

CloudMatrix384是一個(gè)超節(jié)點(diǎn)（Super Node），相當(dāng)于一臺(tái)超級(jí)“服務(wù)器”。它搭載了384顆華為昇騰NPU和192顆鯤鵬CPU，單卡推理吞吐量可以達(dá)到2300 Tokens/s。同時(shí)，推理的時(shí)延也得到了極大降低，原來(lái)100ms的增量Token輸出時(shí)延，現(xiàn)在降低到了50ms以下。

CloudMatrix384

輿論普遍認(rèn)為，在目前全球AI算力需求高速增長(zhǎng)的背景下，CloudMatrix384的橫空出世，將徹底打破國(guó)外對(duì)AI算力市場(chǎng)的壟斷，改變中國(guó)乃至全球AI產(chǎn)業(yè)的格局。

小棗君一直想寫(xiě)一篇關(guān)于CloudMatrix384的文章，但苦于官方公開(kāi)的資料太少，遲遲無(wú)法下筆。

現(xiàn)在，機(jī)會(huì)終于來(lái)了。

今天，華為開(kāi)發(fā)者大會(huì)2025在東莞正式開(kāi)幕。在主題演講環(huán)節(jié)，華為常務(wù)董事、華為云計(jì)算 CEO張平安宣布，基于CloudMatrix384的昇騰AI云服務(wù)已經(jīng)全面上線，提供澎湃算力，供各行各業(yè)客戶使用。

在演講中，他還透露了更多的產(chǎn)品細(xì)節(jié)，進(jìn)一步揭開(kāi)了CloudMatrix384昇騰AI云服務(wù)的神秘面紗。

張平安演講發(fā)言

接下來(lái)，小棗君就結(jié)合最新信息，給大家做個(gè)深入解讀。

█ CloudMatrix384的核心設(shè)計(jì)理念

如前面所說(shuō)，CloudMatrix384是一個(gè)超節(jié)點(diǎn)，也是一個(gè)AI智算集群。

AI智算集群分為兩種模式，一種是Scale Up，另一種是Scale Out。

Scale Up是向上擴(kuò)展（縱向擴(kuò)展），增加單節(jié)點(diǎn)內(nèi)的GPU/NPU算卡數(shù)量。Scale Out是向外擴(kuò)展（橫向擴(kuò)展），增加節(jié)點(diǎn)的數(shù)量。

擁有16卡以上的Scale Up系統(tǒng)，就是超節(jié)點(diǎn)。CloudMatrix384擁有384卡，算是目前超節(jié)點(diǎn)中規(guī)模最大的。

那么，CloudMatrix384是不是簡(jiǎn)單地把384個(gè)卡“綁定”在一起，進(jìn)行算力的疊加呢？

答案當(dāng)然是否定的。

CloudMatrix384發(fā)布之后，很多人都只關(guān)心算力的大小，但實(shí)際上，這款產(chǎn)品最大的看點(diǎn)，在于它的設(shè)計(jì)理念。

華為在發(fā)布CloudMatrix384時(shí)，反復(fù)強(qiáng)調(diào)了三句話，即：“一切可池化”“一切皆對(duì)等”“一切可組合”。

這就是CloudMatrix384的核心設(shè)計(jì)理念。看懂了這三句話，才能真正看懂這款產(chǎn)品。

我先解釋一下這三句話的基本含義：

一切可池化，指的是在CloudMatrix384中，所有的資源都在資源池里。這個(gè)資源，不僅包括NPU，也包括CPU、內(nèi)存、網(wǎng)絡(luò)。（英偉達(dá)僅實(shí)現(xiàn)了GPU池化。）

一切皆對(duì)等，指的是資源池里的資源不再是主從式關(guān)系，而是對(duì)等關(guān)系。傳統(tǒng)的以CPU為中心的計(jì)算范式，已經(jīng)轉(zhuǎn)變?yōu)楦咝?、更靈活的CPU與NPU等對(duì)等架構(gòu)。

一切可組合，則是指CloudMatrix384中池化的資源，可以根據(jù)不同的任務(wù)需求，像搭積木一樣，進(jìn)行靈活調(diào)配組合。

華為認(rèn)為，在人工智能大爆發(fā)的時(shí)代，單一類型的計(jì)算資源，單一節(jié)點(diǎn)的計(jì)算能力、存儲(chǔ)能力，以及配比固定、松散協(xié)同的擴(kuò)展模式，已經(jīng)難以滿足日益復(fù)雜且快速變化的應(yīng)用部署需求。

與其在傳統(tǒng)計(jì)算互聯(lián)構(gòu)架上修修補(bǔ)補(bǔ)，不如創(chuàng)建一個(gè)新的架構(gòu)。

CloudMatrix架構(gòu)將NPU、CPU、內(nèi)存、網(wǎng)卡等所有資源完全解耦，形成可以獨(dú)立擴(kuò)展的資源池，實(shí)現(xiàn)“由單算力轉(zhuǎn)向混合算力，由單機(jī)轉(zhuǎn)向集群，由傳統(tǒng)應(yīng)用松散分布轉(zhuǎn)向多樣應(yīng)用緊密融合”，是一個(gè)真正對(duì)等互聯(lián)的超節(jié)點(diǎn)架構(gòu)。

大家看明白了嗎？我總結(jié)一下：

CloudMatrix384，是華為打造的新一代AI云基礎(chǔ)設(shè)施，實(shí)現(xiàn)了所有資源的邏輯解耦和對(duì)等池化，能夠更好地應(yīng)對(duì)不斷增長(zhǎng)的AIGC大模型訓(xùn)推任務(wù)需求。它的核心思想，就是用“對(duì)等互聯(lián)池化”打造“強(qiáng)整體”，以系統(tǒng)化的思維，應(yīng)對(duì)大模型訓(xùn)推帶來(lái)的算力挑戰(zhàn)。

接下來(lái)，我們就根據(jù)具體的計(jì)算任務(wù)場(chǎng)景，看看CloudMatrix384是如何實(shí)現(xiàn)算力效率提升的。

█ Scale Up最強(qiáng)超節(jié)點(diǎn)

CloudMatrix384是一個(gè)擁有384個(gè)昇騰NPU的超節(jié)點(diǎn)，通過(guò)全新高速網(wǎng)絡(luò)MatrixLink全對(duì)等互聯(lián)，變身為一臺(tái)超級(jí)“服務(wù)器”。

這臺(tái)“超級(jí)服務(wù)器”為AI而生，它的架構(gòu)設(shè)計(jì)，能夠更好地匹配大模型的訓(xùn)推任務(wù)。

我們舉個(gè)分布式推理技術(shù)的例子。

現(xiàn)在包括DeepSeek在內(nèi)的很多熱門(mén)大模型，都采用了MoE（Mixture of Experts，混合專家）架構(gòu)。整個(gè)模型，包括了多個(gè)專門(mén)的子模型（“專家”），存在大量的專家并行（EP，Expert Paralelism）計(jì)算。

MoE架構(gòu)

CloudMatrix384基于華為云分布式QingTian等技術(shù)，達(dá)成了一切可池化。它所提供的超強(qiáng)卡間互聯(lián)能力，能夠讓DeepSeek實(shí)現(xiàn)“一個(gè)專家一張卡”的模式，大幅提升推理任務(wù)的效率。

原因如下：

AIGC大模型推理過(guò)程包括了Prefill（預(yù)填充）和Decode（解碼）兩個(gè)階段，大模型推理要實(shí)現(xiàn)Prefill階段的"高吞吐"和Decode階段的的"低時(shí)延"。

Prefill階段和Decode階段

DeepSeek有256個(gè)固定專家+32個(gè)共享專家（288張卡），加上一些冗余卡（應(yīng)對(duì)負(fù)載不均衡的情況），一共320張卡，用于Decode。Prefill大概會(huì)用到32張卡。加在一起，就是352張卡。

CloudMatrix384的384卡可以“一卡一專家”地完美契合這352張卡的計(jì)算任務(wù)，基于卡間互聯(lián)能力，能夠?qū)崿F(xiàn)all to all（Full mesh）通信。值得注意的是，它不是單純疊卡的“大力出奇跡”，而是通過(guò)技術(shù)調(diào)優(yōu)來(lái)達(dá)成“高吞吐”和“低時(shí)延”的目標(biāo)。

我們也可以用更簡(jiǎn)單的方式來(lái)理解——

通過(guò)將計(jì)算任務(wù)在跨節(jié)點(diǎn)的專家間進(jìn)行分布式處理，使得單次推理的批量大?。╞atch size）得以大幅增加。更大的批量處理能力可充分釋放并行計(jì)算潛力，減少單位計(jì)算的調(diào)度開(kāi)銷，從而實(shí)現(xiàn)整體吞吐量的提升。

CloudMatrix384的池化算力資源，還可以更靈活地分工完成這些工作。分工肯定會(huì)帶來(lái)很多溝通成本（通信開(kāi)銷），而CloudMatrix384的卡間通信能力，能夠hold得住這些成本。再舉一個(gè)池化架構(gòu)幫助降低系統(tǒng)時(shí)延的例子：

大模型推理任務(wù)涉及到了一個(gè)KV Cache（鍵值緩存）技術(shù)。Prefill生成KV Cache，Decode使用和更新KV Cache。KV Cache會(huì)不斷增長(zhǎng)，占用更多顯存。

KV Cache

前面說(shuō)了，CloudMatrix384的池化不僅包括算卡，也包括內(nèi)存。它創(chuàng)建的解耦式共享內(nèi)存池（把所有的CPU高速內(nèi)存湊一塊），可以保存KV Cache，讓Prefill和Decode任務(wù)更快速、更均衡地訪問(wèn)KV Cache，降低系統(tǒng)延遲。

根據(jù)上面這些例子，大家可以看出，CloudMatrix384的強(qiáng)大卡間通信能力和池化設(shè)計(jì)，是它實(shí)現(xiàn)高性能、高效率的關(guān)鍵因素。

在這些buff的加持下，CloudMatrix384不僅單節(jié)點(diǎn)算力很高（300Pflops），它的單卡計(jì)算和通信效率也非常驚人。CloudMatrix384的節(jié)點(diǎn)內(nèi)互聯(lián)帶寬高達(dá)2.8Tbps，遠(yuǎn)高于英偉達(dá)的1.8Tbps。

這里還要補(bǔ)充說(shuō)明一下：CloudMatrix384的強(qiáng)大卡間通信能力，得益于華為云Matrixlink親和性智能調(diào)度、重構(gòu)網(wǎng)絡(luò)協(xié)議等技術(shù)能力，大幅提升了帶寬，降低了時(shí)延。

這些技術(shù)創(chuàng)新共同發(fā)揮作用，最終能將整體all to all通信效率提升30%。

█ Scale Out最大集群

我們剛才介紹了CloudMatrix384的Scale Up能力。接下來(lái)，我們看看Scale Out。

人工智能發(fā)展到現(xiàn)在，已經(jīng)邁入了萬(wàn)億參數(shù)時(shí)代。如此龐大規(guī)模參數(shù)的模型訓(xùn)練，動(dòng)輒需要萬(wàn)卡、十萬(wàn)卡。

CloudMatrix384的Scale Out能力同樣很強(qiáng)。將432個(gè)CloudMatrix384進(jìn)行級(jí)聯(lián)，可以形成一個(gè)165888卡（384×432）的超級(jí)AI集群，提供10萬(wàn)PFlops的驚人算力。

CloudMatrix384不僅能構(gòu)建超大集群，還能實(shí)現(xiàn)極高的線性度。

線性度，就是1+1要盡量等于2。通常來(lái)說(shuō)，算卡越多，損耗越多，線性度越差，1+1甚至可能只有1.6甚至1.2（舉例）。

線性度

CloudMatrix384的萬(wàn)卡集群線性度可以做到95%以上，性能提升與資源擴(kuò)展的比例接近1:1。

之所以能做到這一點(diǎn)，是因?yàn)槿A為云通過(guò)一系列算法和軟件調(diào)優(yōu)，很好地解決了通信瓶頸和負(fù)載不均衡等會(huì)對(duì)線性度造成嚴(yán)重影響的問(wèn)題。

例如，運(yùn)用多任務(wù)算網(wǎng)存融合負(fù)載均衡算法，協(xié)同調(diào)度，實(shí)現(xiàn)全網(wǎng)無(wú)阻塞；結(jié)合集群并行調(diào)度等技術(shù)，提升資源的使用效率以及開(kāi)發(fā)者的開(kāi)發(fā)效率；在算力請(qǐng)求增加或減少時(shí)，系統(tǒng)能夠合理分配計(jì)算資源，實(shí)現(xiàn)節(jié)點(diǎn)內(nèi)（Scale Up）秒級(jí)伸縮，節(jié)點(diǎn)間（Scale Out）毫秒級(jí)極速?gòu)椥浴?/p>

█ 資源極致優(yōu)化，負(fù)載智能感知

前面我們已經(jīng)說(shuō)過(guò)了，CloudMatrix384的所有資源都是池化的。這為資源的優(yōu)化調(diào)度創(chuàng)造了條件。

在大模型推理過(guò)程中，有些任務(wù)是計(jì)算密集型，有些任務(wù)是內(nèi)存（顯存）密集型。通過(guò)“一切可組合”，可以實(shí)現(xiàn)資源的最佳分配。

以前面提到的Prefill（預(yù)填充）和Decode（解碼）兩種任務(wù)為例。前者屬于典型的計(jì)算密集型，后者則是內(nèi)存帶寬密集型。

CloudMatrix384可以根據(jù)NPU資源情況、業(yè)務(wù)請(qǐng)求數(shù)據(jù)等多因子，估算負(fù)載的態(tài)勢(shì)，并結(jié)合新的編排模型，實(shí)現(xiàn)Prefill/Decode按比例組合，以及Prefill/Decode單獨(dú)擴(kuò)縮容。這提升了計(jì)算資源分配的合理性，減少了資源閑置，節(jié)約了成本。

CloudMatrix384還支持訓(xùn)推算力一體部署，比如白天推理，晚上訓(xùn)練。訓(xùn)推的算力可以按卡靈活分配，幫助客戶最優(yōu)使用資源。

這邊要提一下CloudMatrix384的“40天長(zhǎng)穩(wěn)訓(xùn)練、10分鐘快速恢復(fù)”能力。

大家都知道，AI大模型訓(xùn)練經(jīng)常會(huì)出錯(cuò)中斷。中斷后，需要時(shí)間進(jìn)行恢復(fù)。這不僅拉長(zhǎng)的訓(xùn)練周期，也增加了大量的訓(xùn)練成本。

CloudMatrix384借助昇騰云腦，實(shí)現(xiàn)了全棧故障感知、診斷與快速自動(dòng)恢復(fù)。在快速恢復(fù)方面，CloudMatrix384配合“三層快恢技術(shù)”，可以實(shí)現(xiàn)萬(wàn)卡集群故障10分鐘快速恢復(fù)。

█ 最后的話

前不久，華為任正非在接受人民日?qǐng)?bào)采訪的時(shí)候，說(shuō)了這么一句話：

“我們單芯片還是落后美國(guó)一代，我們用數(shù)學(xué)補(bǔ)物理、非摩爾補(bǔ)摩爾，用群計(jì)算補(bǔ)單芯片，在結(jié)果上也能達(dá)到實(shí)用狀況。”

這句話，不正是指的CloudMatrix384超節(jié)點(diǎn)嗎？

任老爺子還是很坦誠(chéng)的，華為昇騰芯片的單芯片算力確實(shí)不如英偉達(dá)的最新競(jìng)品，而且，這個(gè)差距也不是短時(shí)間內(nèi)能夠彌補(bǔ)的。

但是，“單打獨(dú)斗”不行，可以“抱團(tuán)”啊。正所謂“團(tuán)結(jié)就是力量”，通過(guò)對(duì)等互聯(lián)池化，在底層架構(gòu)上進(jìn)行創(chuàng)新，也可以實(shí)現(xiàn)計(jì)算效率的提升，獲得競(jìng)爭(zhēng)優(yōu)勢(shì)。

對(duì)于全球AI產(chǎn)業(yè)來(lái)說(shuō)，摩爾定律逐漸放緩，芯片工藝制程越來(lái)越難提升，與其在單點(diǎn)算力上抓耳撓腮，不如學(xué)習(xí)一下華為，重構(gòu)計(jì)算互聯(lián)架構(gòu)，才能更好地適應(yīng)新時(shí)代的需求，實(shí)現(xiàn)真正的系統(tǒng)最優(yōu)。

目前，CloudMatrix384昇騰AI云服務(wù)已經(jīng)在蕪湖、貴安、烏蘭察布、和林格爾等地的華為云數(shù)據(jù)中心規(guī)模上線。

新浪基于CloudMatrix384昇騰AI云服務(wù)，為“智慧小浪”智能服務(wù)體系構(gòu)建了統(tǒng)一的推理平臺(tái)，推理的交付效率提升超過(guò)50%，模型上線速度成倍加快。通過(guò)軟硬協(xié)同調(diào)優(yōu)，NPU利用率提升超過(guò)40%，讓每一份資源都得到更高效的使用。

硅基流動(dòng)在CloudMatrix384昇騰AI云服務(wù)上部署DeepSeek-R1時(shí)，采納了大規(guī)模專家并行方案，通過(guò)多專家負(fù)載均衡和極致通信優(yōu)化，實(shí)現(xiàn)高吞吐及更高性能，大幅提升了用戶體驗(yàn)。

總而言之，希望CloudMatrix384能走出一條屬于自己的特色發(fā)展之路，也希望國(guó)內(nèi)AI產(chǎn)業(yè)能帶來(lái)更多類似的創(chuàng)新產(chǎn)品。

日積月累，我們一定能夠?qū)崿F(xiàn)彎道超車，打破壟斷，真正在國(guó)際舞臺(tái)上與巨頭們同臺(tái)競(jìng)技，甚至引領(lǐng)全球AI發(fā)展。