關(guān)于“光進銅退”的趨勢,業(yè)界至今仍莫衷一是。在我看來,這絕非一個可以用線性思維來理解的簡單替代問題。趨勢變化的核心關(guān)鍵變量總結(jié)主要是三個大項,散熱和功耗;信號完整性來評估。
散熱問題
造成 NVIDIA GPU 服務(wù)器散熱要求“陡增”的原因是多方面且相互關(guān)聯(lián)的,核心驅(qū)動因素是 GPU 本身性能和功耗的飛速提升,以及由此引發(fā)的系統(tǒng)級、部署密度和應(yīng)用負載的變化。以下是主要原因的詳細分析:
GPU 芯片功耗 (TDP) 的持續(xù)大幅攀升:
性能追求: NVIDIA 每一代新架構(gòu)的 GPU(如 Ampere -> Hopper -> Blackwell)都在追求更高的計算性能(FP32/FP64 TFLOPS)、更大的顯存帶寬和容量、更強的 AI 算力(Tensor TFLOPS)。這些性能提升很大程度上依賴于塞入更多的晶體管、更高的核心頻率和更復雜的計算單元。
功耗代價: 晶體管數(shù)量的指數(shù)級增長(摩爾定律的延續(xù))和頻率提升直接導致了功耗的急劇增加。數(shù)據(jù)中心級 GPU(如 A100, H100, H200, B100/B200)的 TDP 已經(jīng)從幾百瓦一路飆升至 700W、1000W 甚至更高。單個 GPU 的功耗已經(jīng)遠超傳統(tǒng)的 CPU。
熱密度劇增: 更先進的制程工藝(如 4nm, 5nm)雖然能提高能效比,但允許在更小的芯片面積上集成更多的晶體管和功耗。這意味著單位面積產(chǎn)生的熱量(熱密度)急劇上升。芯片核心區(qū)域的散熱變得極其困難,傳統(tǒng)的散熱方案難以應(yīng)對如此集中的高熱流密度。
服務(wù)器內(nèi) GPU 數(shù)量和密度的增加:
追求更高算力密度: 為了在有限的空間(如一個機架單元 - U)內(nèi)提供盡可能高的計算能力,服務(wù)器設(shè)計趨向于在單臺服務(wù)器內(nèi)集成更多數(shù)量的 GPU。例如,從 4卡、8卡發(fā)展到10卡甚至更多。
功耗和熱量的疊加: 單卡功耗的飆升乘以卡數(shù)的增加,導致單臺服務(wù)器的總功耗和總發(fā)熱量呈倍數(shù)級增長。一臺高密度 GPU 服務(wù)器的總功耗達到 5kW、6kW 甚至 10kW 以上已不罕見。這些熱量都需要在狹小的服務(wù)器機箱內(nèi)有效排出。
GPU 互連技術(shù) (NVLink) 帶來的熱量聚集:
高速互連: NVLink 提供了遠超 PCIe 的 GPU 間帶寬,對于 AI 訓練和 HPC 至關(guān)重要。為了實現(xiàn)全互聯(lián)拓撲(All-to-All),GPU 卡需要緊密地排列在一起。
“熱點”區(qū)域: 這種高密度、緊耦合的排列方式導致 GPU 產(chǎn)生的熱量高度集中在服務(wù)器內(nèi)部的一個狹小區(qū)域,形成強大的“熱點”(Hot Spot)。氣流組織變得異常困難,熱量容易堆積,加劇了散熱挑戰(zhàn)。
計算負載的持續(xù)高強度化:
AI 訓練主導: 現(xiàn)代 GPU 服務(wù)器的主要負載是大型 AI 模型(尤其是 LLM、多模態(tài)模型)的訓練和推理。這些工作負載往往要求 GPU 在接近 100% 利用率的狀態(tài)下長時間(數(shù)天甚至數(shù)周)持續(xù)運行。
持續(xù)滿負荷發(fā)熱: 與間歇性負載不同,這種持續(xù)滿載運行意味著 GPU 芯片及其供電模塊(VRM)始終處于最高功耗狀態(tài),持續(xù)產(chǎn)生最大熱量,幾乎沒有“喘息”的時間讓系統(tǒng)降溫。
顯存 (VRAM) 功耗和散熱需求增加:
容量和帶寬提升: 大模型需要海量顯存(HBM2e, HBM3, HBM3e),容量從 40GB/80GB 向更高發(fā)展。高帶寬顯存本身功耗也相當可觀。
新型高功耗顯存: GDDR6/GDDR6X 顯存(在消費級和部分專業(yè)卡上)以及 HBM 堆棧本身也會產(chǎn)生顯著熱量,需要專門的散熱設(shè)計。HBM 通常緊鄰 GPU 核心,進一步增加了核心區(qū)域的熱密度。
供電模塊 (VRM) 散熱壓力增大:
高電流需求: 為功耗巨大的 GPU 核心和顯存供電,需要非常強大的電壓調(diào)節(jié)模塊(VRM)。這些 VRM 需要處理極高的電流(數(shù)百安培)。
效率損失發(fā)熱: 即使 VRM 效率很高(如 90%-95%),在如此高的功率水平下,其自身的功率損耗(5%-10%的輸入功率)絕對值也非常大,轉(zhuǎn)化為可觀的熱量,成為服務(wù)器內(nèi)部另一個重要的熱源,也需要有效散熱。
機架/數(shù)據(jù)中心級功率密度提升:
機架總功率上限: 單個機架的供電能力(如從 10kW 提升到 20kW, 30kW 甚至更高)和冷卻能力也在提升,允許部署更密集的高功耗服務(wù)器。
密度提升放大散熱挑戰(zhàn): 當機柜內(nèi)塞滿了這些每臺功耗都極高的 GPU 服務(wù)器時,整個機柜的熱負荷密度(kW/機柜)會達到前所未有的高度。這要求數(shù)據(jù)中心冷卻系統(tǒng)(無論是風冷還是液冷)具備強大的能力將如此集中的熱量從機柜中移走并排出建筑物外。
對散熱效率和經(jīng)濟性的更高要求:
降低 PUE: 數(shù)據(jù)中心運營商追求更低的電源使用效率(PUE),即更少的能源用于冷卻等非計算開銷。低效的散熱(尤其是純粹依賴高轉(zhuǎn)速風扇的“暴力”風冷)會顯著增加 PUE。
降噪需求: 高轉(zhuǎn)速風扇產(chǎn)生巨大噪音,對運維環(huán)境不友好。
可靠性要求: 高溫是電子設(shè)備可靠性的頭號殺手。確保 GPU 在安全溫度下運行(避免降頻或宕機)對數(shù)據(jù)中心穩(wěn)定運行至關(guān)重要。更高效的散熱方案(尤其是液冷)能提供更低的運行溫度和更好的溫度均勻性,提升系統(tǒng)可靠性和壽命。
液冷成為必要選擇: 由于上述所有原因,傳統(tǒng)的空氣冷卻在超高功率密度(尤其是 >20kW/機柜)和超高熱密度(GPU 核心)場景下已接近或達到物理極限。冷板式液冷和浸沒式液冷等先進散熱技術(shù)因其遠超風冷的散熱能力和更高的能效(更低的 PUE),正從“可選”變?yōu)椤氨匦琛保詰?yīng)對當前和下一代 GPU 服務(wù)器的散熱挑戰(zhàn)。這也導致了散熱系統(tǒng)設(shè)計和成本的“陡增”。
NVIDIA GPU 服務(wù)器散熱要求的“陡增”,其根本驅(qū)動力是對極致 AI 和 HPC 性能的追求。這導致了單個 GPU 芯片的功耗和熱密度爆炸式增長,進而促使單臺服務(wù)器集成更多 GPU 以實現(xiàn)高算力密度,同時高強度的持續(xù)計算負載和緊密互連布局加劇了熱量聚集。這些因素共同作用,使得傳統(tǒng)的風冷散熱在效率、噪音、成本和物理極限上都無法滿足需求,迫使數(shù)據(jù)中心和服務(wù)器廠商大規(guī)模轉(zhuǎn)向更復雜、更高效但也更昂貴的液冷解決方案,從而顯著抬高了整體散熱要求和成本。上面講這么多散熱的問題,是想告訴大家,目前散熱問題是急需且必須解決的核心關(guān)鍵問題之一,而不是可選解決問題。換句話說,在大家考慮“光進銅退”問題時,必須將如何散熱這一核心關(guān)鍵變量加入。
功耗問題
在互連與配套器件端,功耗的攀升幾乎與GPU核心同步。以GB200為例,每顆 Blackwell GPU 配備18條NVLink 5 鏈路:每條鏈路由兩顆224Gb/s PAM4 SerDes 驅(qū)動,單向帶寬400Gb/s。這些 SerDes 通過背板或<2 m twinax DAC銅纜直接連到機柜中的NVLink Switch,單柜內(nèi)部由此形成130TB/s 的“巨型 GPU”互聯(lián)域。與此同時,GB200 仍須為 PCIe Gen5/CXL 3.0 主機鏈路、NIC控制器和電壓調(diào)節(jié)模塊預留高速PHY與Retimer。
目前的功耗對比主要仍然是DAC( Direct Attach Cable )、AEC( Active Electrical Cable )以及AOC( Active Optical Cable )之間的橫向?qū)Ρ?。其中?DAC采用銅線將兩端的連接器端口組裝起來,不包含任何主動組件, AEC則是含銅纜、連接器、Retimer芯片等, Retimer芯片可消除噪聲并非線性放大信號,以此來延長銅纜連接距離。 AOC則由兩端光模塊和光纖集成,通過光纜傳輸高速信號。
如果只是簡單的對比功耗, 以400G速率為例,DAC、AEC以及AOC三者功耗分別為0.1、5、10W左右。根據(jù)這個指標看,似乎DAC和AEC等銅纜應(yīng)該是應(yīng)用盡用。但是,這個問題的答案不在于功耗本身,而在于降功耗的手段上。眾所周知,英偉達GB系列采用的液冷是冷板方案,具體見下圖,上圖是 GB200 Compute Tray 的液冷方案,下圖是 NVLink Switch Tray 的液冷方案。 大家會發(fā)現(xiàn)液冷部分要占據(jù)相當一部分空間,并且大部分是剛性布局,不可移動。
此時,大家應(yīng)該思考兩個問題。第一個是為了滿足液冷的布局,要如何改動銅纜或其他部分。第二個是在不改動銅纜或其他部分情況下,如何提升液冷布局。先來看第二個問題,在空間總約束一定下,液冷布局這些部分無論怎么改,剛性空間是一定需要的。針對第一個問題,最直接的方法當然是盡可能減少占空間最多的部分。這也就是為什么市場上從去年就傳出 NVL72 中的 Switch tray 可能采用更多 PCB 替代 overpass 和連接器的新方案的原因。 在新的 NVSwitch 托盤設(shè)計中,藍色電纜被移除,只保留紅色電纜。
未來超節(jié)點功耗會繼續(xù)提升,相應(yīng)的散熱需求也會繼續(xù)提升,相信在液冷技術(shù)沒有大踏步進步之前,還是要進一步壓縮銅纜等在柜內(nèi)的空間來滿足散熱需求。
信號完整性問題
再來看下面這張圖,來看看DAC銅纜什么樣子,是不是看起來特別粗特別壯觀,想象一下目前的機架都承受了多少重量。 眾所周知,高速信號傳輸容易受到電磁干擾(EMI)。然而隨著傳輸速率提升,干擾隨之放大,為抑制EMI及保證信號完整性就需要增加介質(zhì)層的厚度或降低絕緣材料的介電系數(shù),結(jié)果就是整根線纜也隨之變得更粗。 由于DAC直連銅纜沒有集成Retimer,為確保信號完整性,介質(zhì)層不得不做的更厚(絕緣OD做大),結(jié)果整根線纜也隨之變得更粗,這也意味著在進行高密度連接時的彎折和排線會更難。
此時應(yīng)該思考一個問題,當大量 DAC 銅纜被高密度地塞入同一塊 compute tray 時,很顯然既會顯著抬高散熱難度,也會放大電磁干擾風險。所以我們也看到了英偉達GB系列也做了很多工程上的努力,來延長DAC銅纜的存在壽命。但是按照當下的技術(shù)環(huán)境,隨著速率的不斷提升,存在的空間會被持續(xù)壓縮。對于銅纜本身來講,為了延長存在壽命,還可以保證信號完整性的前提下增加芯片放大器功能升級到AEC,AEC可以做到32AWG ,也就是可以做到更細,減少銅纜所占空間。另一個,AEC傳輸距離更長,也更方便做超節(jié)點的擴展。這也是我們也看好AEC的原因之一,畢竟在滿足空間、散熱等限制的情況下,從成本、穩(wěn)定性、功耗以及復雜度等角度上講,銅纜還是具備優(yōu)勢的。此外,黃老板也站出來講過,“ We should use copper as far as we can, and that's call it a meter or two. ”( 我們應(yīng)該盡可能使用銅線,大約一兩米的距離 ),我當然非常贊同這句話,注意是贊同這句話本身,就是能用的時候當然要用,畢竟成本和功耗都具有優(yōu)勢,何樂而不為。所以,黃老板講的銅纜應(yīng)用盡用沒錯,只是DAC的確已經(jīng)逐步失去現(xiàn)在,AEC續(xù)命,大概率輸在未來了。大勢所趨往光連接上走更沒有問題,大概率是滲透提升,贏在未來了。為什么講大概率,就是怕有些人講萬一技術(shù)突破了,其實我也挺想可控核聚變和室溫超導立刻馬上突破的。
銅纜突破的技術(shù)方向
Broadcom和Samtec在DesignCon和OFC上展示了CPC技術(shù)。Marvell 和安費諾也在OFC上演示了CPC。CPC共封裝銅線,在某些領(lǐng)域也被稱為共封裝線纜。其基本理念是直接從ASIC中取出銅線,并將其與光纖連接起來。共封裝銅纜 (CPC) 技術(shù)是一種極具吸引力且可能有用的方法,能夠提供交換機架構(gòu)靈活性。這是一種繼續(xù)支持基于可插拔模塊的解決方案的方法,CPC非常適合單機架或刀片服務(wù)器中的縱向擴展服務(wù)器和GPU 集群架構(gòu),這些架構(gòu)的覆蓋范圍通常要求不超過幾米。
專家表示,CPC的主要優(yōu)勢在于它有可能改善ASIC信號完整性并降低通道損耗,從而為下一代線路速率(400G/通道)提供更長的電氣互連。目前,正在進行的200G/通道系統(tǒng)部署并不需要CPC;相反,它是面向未來400G互連的前瞻性封裝技術(shù)。Broadcom在一篇關(guān)于DesignCon活動的博客中寫道,Broadcom的演示和后續(xù)會議探討了進一步開發(fā)CPC的優(yōu)勢,例如通過通道建模和仿真降低信號完整性損失并擴大覆蓋范圍。
除了演示之外,Broadcom和 Samtec 還撰寫了一份關(guān)于 CPC 的白皮書,其中指出:“共封裝銅線(CPC) 可以消除PCB和封裝帶來的損耗和反射損失。當高速 I/O 從封裝頂部布線時,無需使用高級 PCB 材料。封裝垂直路徑和 PCB 布線產(chǎn)生的損耗可以轉(zhuǎn)移到更長的線纜上。”
在OFC展會上,Samtec展示了其Si-FlyHD共封裝線纜組件和Samtec FlyoverOctal小型可插拔(OSFP),這些線纜基于Samtec Eye Speed Hyper Low Skew雙軸銅纜。Flyover技術(shù)是Samtec專有的解決高速信號通過傳統(tǒng)印刷電路板(PCB)傳輸時信號完整性和傳輸距離限制的方法。
Samtec寫道:“該評估平臺融合了Broadcom業(yè)界領(lǐng)先的200G SerDes技術(shù)和Samtec共封裝的Flyover技術(shù)。Si-Fly HD CPC提供業(yè)界最高的封裝密度和強大的互連性能,可在95 x 95毫米的芯片基板上實現(xiàn)102.4T(512個200G通道)傳輸速率。”
CPC才是未來?
目前討論比較多的CPC和CPO分別針對不同的需求和互連需求,而CPC和近封裝光器件 (NPO) 是互補的。人們可以使用CPC將信號從封裝中電導出,并連接到電路板上位于封裝附近的NPO。
1. 降低復雜性和成本CPC采用高速銅纜鏈路(“flyover cables”),通過先進的可插拔連接器直接連接ASIC/GPU,這些連接器的位置非常靠近主芯片,通常就在SerDes 旁邊。這消除了大部分PCB走線損耗,并且無需使用光模塊所需的昂貴高質(zhì)量連接器或先進的PCB材料。與通常需要集成光子封裝和專門組裝的CPO相比,其組裝工藝更加模塊化,維護更簡便。
2. 卓越的信號完整性(在一定程度上)通過最小化電氣路徑長度(從封裝到連接器的銅纜直接連接),CPC極大地降低了插入損耗、串擾和阻抗失配。它保持了穩(wěn)健的眼圖開口,并支持比典型PCB走線更高頻率的信號傳輸。對于短距離連接(例如機架內(nèi)或機箱內(nèi)),銅纜高效可靠,不會像較長的PCB走線或板中布線那樣出現(xiàn)信號衰減。
3. 易于熱管理CPC架構(gòu)可實現(xiàn)更佳的熱隔離效果。銅纜鏈路(跨接電纜)本身產(chǎn)生的熱量非常小,而CPO中的光學引擎則需要精心布局、使用散熱器或與冷板直接接觸,以避免熱量積聚,尤其是在高密度集成封裝內(nèi)。
4. 可維護性和可升級性CPC保留了可插拔的模塊化外形,這意味著維護非常簡單:故障的銅纜鏈路或連接器可以輕松更換,而CPO則可能需要拆卸芯片封裝才能解決問題。這種靈活性提供了重要的每條鏈路升級選項,并且更易于實施,就像傳統(tǒng)的可插拔模塊一樣。
5. 針對機架內(nèi)和短距離連接進行了優(yōu)化CPC非常適合單機架或刀片服務(wù)器中的縱向擴展服務(wù)器和GPU集群架構(gòu),這些架構(gòu)的覆蓋范圍通常要求不超過幾米。CPO在機架間或長距離傳輸方面展現(xiàn)出其最大的優(yōu)勢,因為在這些情況下,光器件是必不可少的。
2025江蘇鹽城東臺-800G高速銅纜供應(yīng)鏈行業(yè)技術(shù)研討會預告
高速互連技術(shù)正面臨單通道224Gbps向448Gbps演進的關(guān)鍵節(jié)點。為應(yīng)對信號完整性、功率損耗及供應(yīng)鏈重組等核心挑戰(zhàn),高速銅纜產(chǎn)業(yè)鏈亟需在材料、精密制造工藝及測試驗證體系等維度實現(xiàn)技術(shù)突破。本次9-5日與江蘇鹽城東臺舉辦的高頻高速時代之800G/1.6T產(chǎn)業(yè)鏈推進技術(shù)研討峰會得到供應(yīng)鏈頭部企業(yè)的全力支持,我們再次誠邀行業(yè)同仁開展建設(shè)性對話,以技術(shù)創(chuàng)新為驅(qū)動,以產(chǎn)業(yè)升級為目標,攜手構(gòu)建高速互連領(lǐng)域的技術(shù)生態(tài)體系。就高速互聯(lián)發(fā)展進程中的技術(shù)瓶頸突破與產(chǎn)業(yè)鏈協(xié)同創(chuàng)新展開更多的深度探討。再次誠邀您報名出席為行業(yè)發(fā)展貢獻一份力量;歡迎掃下圖二維碼報名參會.
報名后加入會議溝通交流群
本次會議將采用:東臺本地高速銅纜供應(yīng)鏈企業(yè)參觀+現(xiàn)場展臺觀展+線纜技術(shù)交流+行業(yè)圓桌會議+交流晚宴幾部分組成,會場按照800人+規(guī)模布置,報滿即止.更多會議細節(jié)了解可以電話:150-1533-1777,魯總.
舉辦會議地點
更多關(guān)于最新的線纜行業(yè)發(fā)展訊息,請關(guān)注我們的微信公眾號!我們將第一時間搜尋到行業(yè)前沿訊息和您一起分享!不做盈利用途,文中觀點都是基于公開數(shù)據(jù)及信息,僅供交流,不構(gòu)成投資建議!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.