《科創(chuàng)板日報》10月3日訊,AI時代,存儲芯片已從配角躍升為核心瓶頸與突破口。隨著大模型參數(shù)規(guī)模與訓(xùn)練數(shù)據(jù)量的爆炸式增長,傳統(tǒng)內(nèi)存技術(shù)已成為制約算力發(fā)揮的“內(nèi)存墻”,而HBM憑借其超高帶寬、低功耗和小體積特性,正成為AI芯片的主流選擇。
全球科技巨頭紛紛將HBM作為戰(zhàn)略要地。
在日前的財報會上,美光特別強(qiáng)調(diào),預(yù)計半導(dǎo)體芯片、特別是HBM的供不應(yīng)求情況將會加劇。公司CEO Sanjay Mehrotra透露,當(dāng)前半導(dǎo)體存儲領(lǐng)域,DRAM庫存已低于目標(biāo)水平,NAND庫存持續(xù)下滑;而HBM產(chǎn)能需求增長顯著,產(chǎn)能已被鎖定,預(yù)計2026年HBM出貨量增速將超過整體DRAM水平,成為半導(dǎo)體存儲板塊的核心增長驅(qū)動力。
具體HBM產(chǎn)品中,美光表示,已與幾乎所有客戶就2026年絕大部分HBM3E產(chǎn)能達(dá)成定價協(xié)議;公司正在與客戶就HBM4進(jìn)行討論,供應(yīng)“非常緊張”。
此外,華為也在近期宣布,自昇騰950PR開始,昇騰AI芯片將采用華為自研的HBM。其中,昇騰950搭載自研的HBM HiBL 1.0;昇騰950DT升級至HBM HiZQ 2.0。
▌為什么是HBM?
為何存儲需求熱潮中,“特別是HBM的供不應(yīng)求情況或?qū)⒓觿 保?/p>
華爾街分析師指出,定制化HBM(cHBM)已經(jīng)從曾經(jīng)的被動元件轉(zhuǎn)變?yōu)榫邆溥壿嬎懔Φ闹鲃硬考厮艽鎯Φ慕巧?。在這種情況下,AI基建中,存儲總體擁有成本(TCO)不斷上升。
定制化HBM可以集成不同功能、運算能力與邏輯Die設(shè)計,例如LPDDR與HBM并行工作,在HBM堆棧中加入計算邏輯,成為性能差異化的關(guān)鍵。
目前,存儲廠商已開始提供覆蓋HBM、邏輯die、LPDDR、PIM等的全棧解決方案,并與客戶開展定制化HBM合作。
同時隨著AI能耗的增加,存儲廠商也開始強(qiáng)調(diào)HBM在節(jié)能上的價值。SK海力士預(yù)測稱,HBM能效每改善10%,可帶來單機(jī)架2%的節(jié)能效果,對系統(tǒng)級節(jié)能有重大意義。
▌AI推理將迎“十倍增長” “以存代算”技術(shù)“虎視眈眈”
以HBM為首的存儲需求陡增背后,是AI推理的飛速崛起。
黃仁勛在最新采訪中,重申了對AI推理的信心。他再次強(qiáng)調(diào),AI推理將迎來十億倍增長。推理的量級已不是過去的“一次性回答”,而是逐步演進(jìn)的“先思考再作答”的動態(tài)生成,思考得越久,答案質(zhì)量越高。
券商指出,人工智能技術(shù)的蓬勃發(fā)展推動大模型訓(xùn)練走向規(guī)?;嬲齽?chuàng)造持續(xù)商業(yè)價值的 核心環(huán)節(jié)在于推理過程。AI推理算力需求正迅速超越訓(xùn)練,成為成本與性能的關(guān)鍵瓶頸。
在這一背景下,內(nèi)存受益于超長上下文和多模態(tài)推理需求,處理大量序列數(shù)據(jù)或多模態(tài)信息時,高帶寬于大容量內(nèi)存可降低訪問延遲、提升并行效率。
廣發(fā)證券指出,隨著AI推理應(yīng)用快速增長,對高性能內(nèi)存和分層存儲的依賴愈發(fā)顯著,HBM、DRAM、SSD及HDD在超長上下文和多模態(tài)推理場景中發(fā)揮關(guān)鍵作用,高帶寬內(nèi)存保障模型權(quán)重和激活值的高速訪問,SSD滿足高頻讀寫與短期存儲需求,HDD提供海量長期存儲支持。隨著AI推理需求快速增長,輕量化模型部署推動存儲容量需求快速攀升,預(yù)計未來整體需求將激增至數(shù)百EB級別。
但值得留意的是,“HBM供不應(yīng)求情況加劇”的另一面,是供應(yīng)瓶頸下可能出現(xiàn)的“技術(shù)替代”——“以存代算”。
天風(fēng)證券認(rèn)為,“以存代算”技術(shù)通過將AI推理過程中的矢量數(shù)據(jù)(如KV Cache)從昂貴的DRAM和HBM顯存遷移至大容量、高性價比的SSD介質(zhì),實現(xiàn)存儲層從內(nèi)存向SSD的戰(zhàn)略擴(kuò)展,而非簡單替代。其核心價值在于顯著降低首Token時延、提升推理吞吐量,并大幅優(yōu)化端到端的推理成本,為AI大規(guī)模落地提供可行路徑。分析師進(jìn)一步指出,QLC+PCIe/NVMe+CXL有望構(gòu)筑下一代AI SSD基座,推動SSD從單純存儲介質(zhì),升級為AI推理“長期記憶”載體。
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.