周末參加了華為開發(fā)者大會,其中華為云MaaS的發(fā)布會讓我印象極為深刻,因為第一次看到了一家AI平臺把用戶的問題和場景作為重中之重來講,而不是在那里炫大模型有多少參數(shù),或者展示模型的打榜排名。
大模型最近非常熱門,但是很多大模型項目都失敗了,大家嘗嘗鮮就放棄了,主要原因就是AI沒有找到場景,或者沒有在這個場景下真正有效地用起來。
華為公有云運營部部長劉杰舉了一個非常生動的例子:
“一家養(yǎng)豬企業(yè)想要開發(fā)養(yǎng)豬大模型,很多人認為"大模型+RAG就夠了",但測試發(fā)現(xiàn)這就像讓本科生臨時翻書答題,看著相關,卻還不夠專業(yè)。要讓大模型成為養(yǎng)豬專家,必須把百萬字飼養(yǎng)經(jīng)驗真正喂進大模型,把知識內化,才能在復雜業(yè)務場景下的精準泛化。但要微調需要高質量數(shù)據(jù)。客戶有近百萬字專業(yè)文檔,卻散落各個部門的Word、Excel。PPT、PDF里,格式混亂,質量參差不齊,難以處理,這幾乎是傳統(tǒng)行業(yè)的通病——常常高估了算法的神奇,卻嚴重低估數(shù)據(jù)治理的難度?!?/p>
華為云的解決方案就是開發(fā)了一套數(shù)據(jù)清洗解決方案,一鍵抽取養(yǎng)豬指標、工藝、病癥,自動生成高質量問答對,僅一周就備好數(shù)據(jù)集,多快好省的打造出一個“大模型養(yǎng)豬專家”。
再比如有個電力行業(yè)客戶,部署了一套滿血版DeepSeek,但是它并不能同時滿足低時延、本地數(shù)據(jù)微調、長思維鏈精準輸出等需求。華為云的方案是用同一臺昇騰云服務器中部署資格小模型,同時滿足了智能問數(shù)、物料助手、代碼助手和文檔轉換的四大主要業(yè)務需求,不僅整體算力成本降低了50%,還達到DeepSeek-R1滿血版的效果。
這樣的服務案例做多了,華為云敏銳地識別出了大模型冰山下的五個坑:
(1)手握一堆大模型的錘子,卻滿世界找業(yè)務的釘子
(2)大模型越新就越好,越大就越爽
(3)業(yè)務數(shù)據(jù)一片沼澤,無法用于訓練
(4)大模型落地拼算力,不需對業(yè)務理解太深
(5)只做一錘子項目,不搞持續(xù)優(yōu)化
這些坑怎么避?
01
五大坑的解題之道
華為云給出的解題之道是“三層五階十二步”。
三層:重定義智能業(yè)務,模型開發(fā)與交付,持續(xù)優(yōu)化AI應用
五階段:場景識別,模型選型,模型調優(yōu),數(shù)據(jù)治理,持續(xù)運營。
看到如此清晰方法論,一個可復用的AI生產(chǎn)流程,我就感覺到華為云做了很多客戶服務案例,實際上也確實如此:
華為云MaaS平臺本身就做過100+行業(yè)客戶昇騰適配的實踐,沉淀出了大量模型適配經(jīng)驗,在國產(chǎn)算力上收錄了30+業(yè)界主流開源大模型,并全面基于昇騰AI云服務進行適配和優(yōu)化。
與此同時,華為云MaaS平臺基于上百次的支撐中小企業(yè)客戶項目,它總結出了大量經(jīng)過商業(yè)化驗證的場景化解決方案。華為MaaS平臺把這些解決方案形成商業(yè)模板,可以一鍵復制,零代碼搭建,幾分鐘內就可以驗證業(yè)務,效率極高。
在華為云MaaS平臺上還入駐了一大批優(yōu)質的MCP服務(如美圖影像、通達信、天眼查),為用戶深耕行業(yè)提供可商用基礎。
而將上述方案、實踐、經(jīng)驗等融會貫通,華為云推出了一整套解決方案,打通了從底層算力到上層應用的全鏈路,提供了一個系統(tǒng)化的、端到端的解決方案。它不是零散工具的堆砌,而是一個完整、高效的AI能力交付體系,讓企業(yè)的大模型落地更加清晰可靠。
大模型發(fā)展到現(xiàn)在,已經(jīng)從“拼參數(shù)”到了“拼價值”階段,誰更懂客戶的問題,提出更好的解決方案,才可能最后勝出,華為云MaaS平臺上總結出的解決方案,很可能成為最終勝出的殺手锏。
單單有這些方法論還是不夠的,必須有底層的技術平臺來支持。
在底層技術方面,華為云MaaS平臺實力更是“深不可測”。
02
全棧式創(chuàng)新
我們都知道美國一直在限制中國算力的發(fā)展,全面圍堵AI算力供應,中國能拿到的英偉達芯片都是閹割版本。
在這種情況下,如何才能突圍呢?華為云的方案是全棧式創(chuàng)新,用架構優(yōu)勢實現(xiàn)提升。
大家可能都聽過華為云CloudMatrix 384超節(jié)點,華為通過自己擅長的光通信,首創(chuàng)將384顆昇騰NPU和192顆鯤鵬CPU通過全新高速網(wǎng)絡MatrixLink全對等互聯(lián),形成一臺超級“AI服務器”,單卡推理吞吐量躍升到2300 Tokens/s。
雖然英偉達也有GB200 NVL72,并且單卡性能更高,但是受芯片間通訊技術限制,組網(wǎng)規(guī)模受限,72張卡就到頭了。
最終的結果是,華為云CloudMatrix 384超節(jié)點提供高達300 PFLOPs的密集BF16算力,接近達到英偉達GB200 NVL72系統(tǒng)的兩倍!
更厲害的是,華為云CloudMatrix 384超節(jié)點天然就很適合跑像DeepSeek這樣的MoE(多專家)模型。因為DeepSeek V3和R1是由256個專家模型構成的,在英偉達72張卡的超節(jié)點中,一張卡肯定要容納多個“專家”,資源就不夠了。但是在華為云CloudMatrix 384超節(jié)點中,“一卡一專家”,支撐DeepSeek等千億模型推理性能3倍躍升。
這樣的例子還有很多,比如通過大規(guī)模“專家并行”(EP)技術,把模型拆得很散,分配到眾多計算卡上,讓解碼更快,延遲更低。在超節(jié)點內,大模型權重被分布式存儲在數(shù)百張GPU上,單卡預留更多顯存容量,支持更長的上下文序列,實現(xiàn)系統(tǒng)的更大吞吐性能。
就像微服務架構有個網(wǎng)關一樣,華為云MaaS平臺也做了模型網(wǎng)關,無論你身在何處,模型網(wǎng)關都能將請求自動路由至最近節(jié)點,降低用戶側延遲。通過動態(tài)合并空閑算力形成“公共資源池”,提升了集群利用率,它還可以智能識別 Prompt 長度,長文本請求自動調度到高顯存節(jié)點,確保處理穩(wěn)定;短文本則優(yōu)先分配到低延遲實例,提升響應速度。
這種全棧式創(chuàng)新,真正提高了AI大模型的能力上限!
03
磐石般安全和運營
華為是做電信級服務起家的,電信業(yè)務涉及到大量用戶數(shù)據(jù)和敏感信息,對安全性要求極高。
網(wǎng)絡安全作為華為公司的最高綱領,擁有全球140+合規(guī)認證。在友商事故頻發(fā)的情況下,華為云從2024年初到現(xiàn)在重大事故次數(shù)是“0”。
華為云提供包含語料數(shù)據(jù)安全、模型安全、推理安全、應用安全在內的全生命周期模型安全方案。通過提示詞攻擊防范和敏感內容實時檢測,保障大模型推理安全。
有意思的是,華為采用了“以模護?!钡姆桨?,在MaaS平臺中涉及安全能力判斷的,都由信通院認證評估安全可信滿級評分(業(yè)界最高分)的ModelArts Guard大模型安全護欄進行內容審核,非法敏感內容攔截率達90%+,延時<20ms,滿足最嚴網(wǎng)信監(jiān)管。
在運營上,華為MaaS平臺提供豐富全面的監(jiān)控能力,涵蓋首Token時延、增量Token時延、錯誤碼追蹤等100+關鍵指標,幫助用戶洞察性能瓶頸,發(fā)現(xiàn)問題快一步,再配合分鐘級自動告警機制,實現(xiàn)“關鍵問題自動發(fā)現(xiàn)”,真正讓運維壓力大幅減輕。
04
總結
總的來說,華為云MaaS平臺場景化解決方案做得非常好,預置了大量模型,對接眾多優(yōu)質MCP Servers,有很多商業(yè)解決方案模板,可以一鍵復制使用。華為云通過全棧式創(chuàng)新,降低時延的同時又提升了吞吐量,整體性能非常優(yōu)異。在安全上用以模護模的方案,更可靠更安心。
如果你的公司也想用AI來提升效率,又不想關注底層技術細節(jié),想開箱即用,一鍵部署調用,華為云MaaS平臺是個非常不錯的選擇,強烈推薦掃描二維碼體驗:
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.