2025年上半年，中國AI基礎(chǔ)設(shè)施服務(wù)市場規(guī)模達(dá)198.7億元，同比激增122.4%。IDC預(yù)測，這一數(shù)字將在2029年逼近1500億元。與市場狂熱形成鮮明對比的是，Gartner報(bào)告曾指出：“超50%的AI項(xiàng)目因架構(gòu)問題無法上線”。

當(dāng)生成式AI（GenAI）從技術(shù)驗(yàn)證走向規(guī)?；瘧?yīng)用，企業(yè)正陷入“算力渴求與效率瓶頸并存、創(chuàng)新需求與架構(gòu)桎梏交織”的矛盾。

被架構(gòu)困住的智能轉(zhuǎn)型

賽迪顧問在《企業(yè)級AI應(yīng)用落地白皮書2025》中指出，盡管83%的企業(yè)將AI列為戰(zhàn)略優(yōu)先級，但實(shí)際落地成功率僅29%。

與此同時(shí)，Gartner在《2025年企業(yè)AI架構(gòu)成熟度報(bào)告》中指出，AI落地失敗的根源并非單一技術(shù)缺陷，而是“算力供給、數(shù)據(jù)治理、系統(tǒng)協(xié)同、安全合規(guī)”構(gòu)成的系統(tǒng)性架構(gòu)失衡。這種失衡在不同行業(yè)呈現(xiàn)出共性挑戰(zhàn)，卻又因場景差異衍生出個(gè)性化難題。

對此，青云科技CEO林源表示，從ChatGPT問世之后，2023年開始，至今企業(yè)的數(shù)智化轉(zhuǎn)型已經(jīng)經(jīng)歷了三個(gè)階段。

• 第一個(gè)階段，當(dāng)ChatGPT帶來了新一輪AI浪潮之后，智能算力的緊俏成為阻礙企業(yè)AI應(yīng)用的最大難題。甚至至今，高性能的算力也依舊是困擾企業(yè)AI落地的一個(gè)痛點(diǎn)，Gartner預(yù)測，2025年全球AI訓(xùn)練算力缺口將達(dá)42%，中國市場這一比例將升至55%?！爱?dāng)時(shí)市場的主要的痛點(diǎn)是，非專業(yè)的算力投資者如何去解決算力管理和運(yùn)營的問題，”林源進(jìn)一步指出，“所以青云當(dāng)時(shí)提出了AI Infra 1.0，其核心也是讓智算投資者能運(yùn)維運(yùn)營智算中心。”
• 第二個(gè)階段，隨著智算中心的建設(shè)，越來越多的客戶也愿意對AI進(jìn)行嘗鮮。而在更多行業(yè)不同場景的客戶去擁抱AI的過程中，不同的場景，也存在差異化的需求，這些方面在當(dāng)時(shí)是無法得到充分滿足的。
• 第三個(gè)階段，當(dāng)DeepSeek爆發(fā)之后，企業(yè)對待AI的態(tài)度也從“嘗鮮”走向了認(rèn)真考慮如何讓AI在企業(yè)內(nèi)部落地的方向。在林源看來，這個(gè)過程企業(yè)會面對更多的問題。

當(dāng)企業(yè)處于AI應(yīng)用第三階段時(shí)，首要面對的就是一些“歷史遺留”的IT架構(gòu)問題。原先，企業(yè)IT架構(gòu)的多代際疊加導(dǎo)致算力資源碎片化。IDC《2025企業(yè)算力管理報(bào)告》顯示，制造企業(yè)平均存在4.2個(gè)獨(dú)立算力池（傳統(tǒng)服務(wù)器、虛擬化集群、GPU節(jié)點(diǎn)等），跨池調(diào)度效率僅為28%。67%的制造企業(yè)坦言：“算力與存儲升級跟不上模型迭代速度”?！岸嘀丶軜?gòu)帶來的是企業(yè)級AI落地過程中，更為多重的挑戰(zhàn)?！绷衷磸?qiáng)調(diào)。

此外，為追求上線速度，53%的企業(yè)采用緊耦合AI架構(gòu)，將模型訓(xùn)練、推理與業(yè)務(wù)系統(tǒng)直接綁定。這種“一次性搭建”模式的代價(jià)在迭代階段集中顯現(xiàn)。

另一方面，企業(yè)內(nèi)部的IT團(tuán)隊(duì)與業(yè)務(wù)部門也面臨著問題和沖突，企業(yè)的業(yè)務(wù)越來越復(fù)雜、越來越多元化，新技術(shù)又讓企業(yè)業(yè)務(wù)的更迭頻率變快。在面對這么復(fù)雜多變的企業(yè)應(yīng)用的場景之下，企業(yè)的IT部門能力難以支撐，往往疲于奔命?！安粌H如此，在現(xiàn)在的大環(huán)境之下，企業(yè)一方面要做技術(shù)創(chuàng)新，另一方面還要面對業(yè)務(wù)穩(wěn)定性的剛性要求，這樣讓企業(yè)內(nèi)部的數(shù)字化團(tuán)隊(duì)更加舉步維艱，做多反而錯多?！绷衷匆徽Z道破了企業(yè)當(dāng)前應(yīng)用AI的痛點(diǎn)。

此外，邊緣與中心算力協(xié)同不足加劇失衡。隨著AI推理向邊緣設(shè)備擴(kuò)散，企業(yè)需同時(shí)管理智算中心集群與邊緣節(jié)點(diǎn)，但據(jù)賽迪顧問數(shù)據(jù)顯示，僅19%的企業(yè)實(shí)現(xiàn)算力協(xié)同調(diào)度。

總體來看，企業(yè)當(dāng)前面對著“既要，又要，還要”的三重核心挑戰(zhàn)，林源表示，首先，企業(yè)既要保留歷史IT投資，又要擁抱AI創(chuàng)新，實(shí)現(xiàn)新老兼容；其次，面對愈發(fā)多元化的業(yè)務(wù)需求與越簡單越好的IT架構(gòu)訴求之間的矛盾，企業(yè)如何平衡好兩者之間的關(guān)系；第三，企業(yè)需要在創(chuàng)新過程的技術(shù)迭代性的同時(shí)，滿足業(yè)務(wù)的穩(wěn)定性。

AIInfra破解落地困局的核心引擎

面對如此多的挑戰(zhàn)和問題，企業(yè)需要一座銜接歷史與未來的“橋梁”，在林源看來，這座橋梁需要具備三個(gè)特性：首先，新的IT與應(yīng)用必須要兼容用戶原有的IT資產(chǎn)，必須要尊重客戶現(xiàn)有的存量業(yè)務(wù)。

其次，新的IT架構(gòu)必須具備按需部署，可“進(jìn)化”的特性，“所有的客戶都非常擔(dān)心一步到位的技術(shù)革命，因?yàn)槠髽I(yè)會面臨極大的風(fēng)險(xiǎn)與極高的成本壓力。同時(shí)不同客戶的階段不同、能力不同、需求不同，所以我們需要能夠滿足不同客戶的按需、分階段升級的需求?！绷衷磸?qiáng)調(diào)。

第三，要確保在每次IT架構(gòu)迭代的過程中，用戶業(yè)務(wù)的連續(xù)性、數(shù)據(jù)安全和升級的平滑性。

而AI Infra的出現(xiàn)讓這些問題有了統(tǒng)一的解題思路。賽迪顧問將2025年定義為“中國AI Infra平臺應(yīng)用元年”，其核心價(jià)值在于通過“算力統(tǒng)籌、存儲革新、架構(gòu)整合、生態(tài)開放”四大能力，實(shí)現(xiàn)AI落地的“降本、提效、安全、可控”。

通過“全域調(diào)度、彈性伸縮、能效優(yōu)化”三大技術(shù)路徑，AI Infra能讓“碎片化”的算力，統(tǒng)籌到一起，形成“一體化”的算力平臺，從而提升算力的利用效率，破解算力供給難題，推動算力資源價(jià)值最大化。

AI Infra通過整合GPU/TPU/DCU等多元芯片，構(gòu)建統(tǒng)一調(diào)度的異構(gòu)算力池，實(shí)現(xiàn)“按需分配、動態(tài)擴(kuò)容”。除此之外，通過AI Infra，企業(yè)還能實(shí)現(xiàn)國產(chǎn)化算力應(yīng)用的突破。比如，華為昇騰910B芯片已實(shí)現(xiàn)千億參數(shù)大模型訓(xùn)練，寒武紀(jì)CMX-9芯片以15瓦功耗實(shí)現(xiàn)64TOPS算力，適配邊緣場景需求。燧原科技在慶陽部署的國產(chǎn)異構(gòu)智算中心，成為“東數(shù)西算”示范項(xiàng)目，單集群算力達(dá)100PFLOPS，成本較進(jìn)口方案降低35%。

而在算力調(diào)度方面，基于云原生技術(shù)的統(tǒng)一調(diào)度平臺成為核心。通過算力標(biāo)簽與性能預(yù)測模型，實(shí)現(xiàn)資源與業(yè)務(wù)的精準(zhǔn)匹配。

以青云科技為例，據(jù)林源介紹，青云的KubeSphere調(diào)度層實(shí)現(xiàn)了“通算+超算+智算”的全域整合，“在統(tǒng)一的調(diào)度層之上，就是青云不同能力的呈現(xiàn)，包括企業(yè)需要的完整虛擬化能力、全棧云能力、云原生的能力，以及AI智算的能力，都可以在這個(gè)統(tǒng)一平臺去呈現(xiàn)。這一層是全功能的，確保了客戶的業(yè)務(wù)能夠隨著IT架構(gòu)的變革實(shí)現(xiàn)逐步的進(jìn)化，保障客戶業(yè)務(wù)的連續(xù)性?！绷衷唇榻B道。

在制造業(yè)案例中，某制造業(yè)企業(yè)面臨虛擬化管硬件、云原生管應(yīng)用、智算平臺管算力統(tǒng)一納管的困境。原先該企業(yè)需要使用三套系統(tǒng)、三套流程，造成了跨平臺協(xié)調(diào)的高內(nèi)耗。而據(jù)林源介紹，基于青云AI Infra 3.0架構(gòu)，該企業(yè)實(shí)現(xiàn)了架構(gòu)協(xié)同，“無論是數(shù)據(jù)存儲分析、云原生應(yīng)用部署，亦或是推理算力供給，都在一個(gè)平臺上進(jìn)行搭建和交付。這實(shí)現(xiàn)了全鏈路自動化，將 IT 部門響應(yīng)業(yè)務(wù)部門的速度從 1 小時(shí)大幅縮短到 15 分鐘。這不僅是效率提升，更是業(yè)務(wù)競爭力的重塑?！绷衷慈缡钦f。

在生物制藥案例中，用戶利用AI Infra 3.0架構(gòu)中成熟的模型服務(wù)能力來對接專業(yè)大模型，通過模型和推理引擎分離架構(gòu)來選擇最適配的推理引擎，及時(shí)解決對接集成工作，讓客戶能快速上線醫(yī)療AI分析能力，將新型藥物的分子設(shè)計(jì)周期從18個(gè)月壓縮至12個(gè)月，將高性能復(fù)合材料的微觀結(jié)構(gòu)模擬時(shí)間從72小時(shí)縮短到43小時(shí)。

而這僅是AI Infra價(jià)值的“冰山一角”。IDC《2025 AI Infra價(jià)值評估報(bào)告》指出，部署新一代AI Infra的企業(yè)，AI項(xiàng)目上線率從29%提升至78%，投資回報(bào)率提高120%。

AI Infra迎來商業(yè)化爆發(fā)

AI Infra的戰(zhàn)略價(jià)值引發(fā)全球廠商激烈角逐。Dell'OroGroup預(yù)測，2025年全球AI Infra市場規(guī)模將突破800億美元，年復(fù)合增長率達(dá)58%。當(dāng)前市場呈現(xiàn)“國內(nèi)廠商聚焦本土痛點(diǎn)、國外廠商強(qiáng)化技術(shù)壁壘”的格局，細(xì)分領(lǐng)域的競爭已進(jìn)入白熱化。

廠商紛紛布局的背后是AI Infra技術(shù)競賽，國內(nèi)廠商主要圍繞“信創(chuàng)適配、架構(gòu)整合、成本控制”三大本土需求，形成“全棧型、垂直技術(shù)型、生態(tài)整合型”三類玩家，成為目前市場上的主導(dǎo)。

全棧型方面，青云科技以“橋梁式架構(gòu)”破解歷史兼容難題，其AI Infra 3.0通過PrimusOS內(nèi)核層與KubeSphere調(diào)度層，實(shí)現(xiàn)多代際架構(gòu)整合；華為以昇騰芯片為核心的全棧布局，覆蓋“芯片-框架-平臺-應(yīng)用”。昇騰910B芯片支持千億參數(shù)模型訓(xùn)練，Atlas350標(biāo)卡適配超節(jié)點(diǎn)部署，某科研機(jī)構(gòu)的大模型訓(xùn)練效率提升25%。阿里云以規(guī)模算力與生態(tài)整合見長，靈駿AI集群支持千卡規(guī)模訓(xùn)練，GPU彈性算力響應(yīng)時(shí)間縮短至5分鐘。分布式存儲系統(tǒng)支持千億級小文件調(diào)度，推理時(shí)延控制在6ms以內(nèi)，服務(wù)比亞迪等車企，自動駕駛模型訓(xùn)練周期縮短50%。

垂直技術(shù)型方面，浪潮信息的AI服務(wù)器全球市占率47%，液冷技術(shù)使PUE降至1.15。某智算中心采用其方案后節(jié)能40%，年均電費(fèi)減少280萬元。2025Q1其AI服務(wù)器出貨量同比增長62%，穩(wěn)居全球第一；國產(chǎn)GPU企業(yè)燧原科技在慶陽異構(gòu)智算中心中應(yīng)用的算力規(guī)模達(dá)100PFLOPS，成本較進(jìn)口方案降低35%。其云燧T20GPU已適配100+AI模型，在政務(wù)、金融領(lǐng)域的滲透率達(dá)18%。

生態(tài)整合型方面，騰訊云以“云原生+Agent”推動生態(tài)協(xié)同，國內(nèi)首個(gè)跨型號GPU調(diào)度的Serverless平臺，模型啟動速度提升17倍。Agent Infra解決方案支持?jǐn)?shù)十萬實(shí)例并發(fā)，服務(wù)貨拉拉等企業(yè)，車路協(xié)同響應(yīng)時(shí)延降至15ms；百度智能云則是聚焦模型與Infra協(xié)同，文心一言大模型與千帆AI平臺深度整合。

放眼國際，與國內(nèi)服務(wù)商相比，國際服務(wù)商主要周期全球化與生態(tài)上，稍有領(lǐng)先。微軟Azure通過“云+AI”深度融合，打造了全球首個(gè)NVIDIA GB300 NVL72集群（4600+BlackwellUltraGPU），支持OpenAI超大規(guī)模推理，內(nèi)存帶寬1.44exaflops。自研Maia 100 AI芯片（5nm工藝）功耗較競品降低30%，部署于GPT-3.5Turbo推理，但在中國區(qū)市場占有率僅5%；AWS則是憑借模塊化與成本方面的優(yōu)勢，占有一席之地。其Trainium2芯片性能是第一代4倍，Trn2 UltraServer支持64芯片集群，訓(xùn)練成本較GPU降低30-40%。IoT Greengrass支持邊緣推理，與SageMaker集成。

基于此，賽迪顧問預(yù)測，未來3年全球AI Infra市場將呈現(xiàn)“雙軌并行”格局——中國市場國產(chǎn)化率將從2025年的45%提升至2027年的65%，政務(wù)、金融等領(lǐng)域?qū)崿F(xiàn)100%國產(chǎn)化；全球高端市場仍由NVIDIA、微軟等主導(dǎo)，市占率保持70%以上。

放眼全球，AI Infra的競爭已從單一產(chǎn)品比拼升級為“技術(shù)-生態(tài)-場景”的綜合較量。國內(nèi)廠商需在保持成本與場景優(yōu)勢的同時(shí)，突破高端芯片、基礎(chǔ)軟件等核心技術(shù)瓶頸。未來的贏家，必將是既能掌控核心技術(shù)，又能深刻理解行業(yè)需求的企業(yè)。

2025年作為AI Infra應(yīng)用元年，標(biāo)志著企業(yè)AI轉(zhuǎn)型從“概念探索”進(jìn)入“規(guī)?；涞亍钡年P(guān)鍵階段。AI融入企業(yè)運(yùn)營的每一個(gè)環(huán)節(jié)，成為驅(qū)動生產(chǎn)力變革的核心力量，已經(jīng)是不可逆的事實(shí)，而AI Infra，正是開啟這一時(shí)代的關(guān)鍵鑰匙。（文｜Leo張ToB雜談，作者｜張申宇，編輯丨蓋虹達(dá)）