浪潮信息剛搞出個(gè)大動(dòng)作，把AI推理成本直接干到了1元/每百萬(wàn)token。

這事兒放在現(xiàn)在的AI圈，可不是小新聞。

畢竟現(xiàn)在智能體落地拼的就是生死競(jìng)速，降本早就不是選擇題，而是能不能活下去的關(guān)鍵。

想理解這1塊錢(qián)的分量，看看互聯(lián)網(wǎng)發(fā)展史就懂了。

從撥號(hào)上網(wǎng)按KB收費(fèi)，到現(xiàn)在5G流量隨便用，每一次通信成本大降，都催生出一堆新應(yīng)用，比如視頻平臺(tái)、移動(dòng)支付。

現(xiàn)在AI圈也到了這個(gè)臨界點(diǎn)。本來(lái)想覺(jué)得AI技術(shù)夠強(qiáng)就行，后來(lái)發(fā)現(xiàn)根本不是這么回事。

技術(shù)進(jìn)步讓大家敢用AI做更復(fù)雜的事，比如能規(guī)劃、會(huì)反思的智能體。

可這些復(fù)雜任務(wù)需要的token數(shù)量，是呈爆炸式增長(zhǎng)的。

這就出現(xiàn)了個(gè)有意思的現(xiàn)象，越用越費(fèi)token，反而讓企業(yè)成本壓力更大。

字節(jié)和谷歌的數(shù)據(jù)最能說(shuō)明問(wèn)題。

字節(jié)的豆包大模型，現(xiàn)在一天要用50萬(wàn)億token，比去年同期漲了10倍還多，和剛推出時(shí)比更是翻了幾百倍。

谷歌更夸張，一個(gè)月要處理1300萬(wàn)億token，是一年前的100多倍。

浪潮的劉軍說(shuō)token成本就是競(jìng)爭(zhēng)力，這話真沒(méi)毛病，畢竟直接決定了智能體能不能賺錢(qián)。

為啥之前token成本降不下來(lái)？核心問(wèn)題還是出在計(jì)算架構(gòu)上。

現(xiàn)在AI圈早過(guò)了盲目堆算力的階段，拼的是單位算力能產(chǎn)出多少價(jià)值。

但目前token成本里，八成以上都花在算力上，而且很多算力都被浪費(fèi)了。

最明顯的就是算力利用率的倒掛。

訓(xùn)練模型的時(shí)候，算力能用到一半以上，可到了推理階段，尤其是實(shí)時(shí)問(wèn)答這種場(chǎng)景，因?yàn)橐粋€(gè)token一個(gè)token生成，昂貴的GPU大部分時(shí)間都在等數(shù)據(jù)，實(shí)際能用的算力連十分之一都不到。

這就像買(mǎi)了輛跑車(chē)，卻天天堵在小區(qū)里挪不動(dòng)，純屬浪費(fèi)。

還有個(gè)大麻煩是存儲(chǔ)墻。

智能體處理的內(nèi)容越長(zhǎng)，需要緩存的數(shù)據(jù)就越多，這些數(shù)據(jù)不僅占地方，還特別費(fèi)電。

而且這些數(shù)據(jù)和計(jì)算模塊分開(kāi)存放，不僅慢，還得用貴得離譜的專用存儲(chǔ)，成本自然降不下來(lái)。

跨設(shè)備通信也是個(gè)坑，傳統(tǒng)網(wǎng)絡(luò)延遲太高，通信花的時(shí)間能占總時(shí)間的三成，企業(yè)只能靠多堆設(shè)備來(lái)補(bǔ)速度，錢(qián)就這么燒出去了。

如此看來(lái)，想降本真不能靠把一臺(tái)機(jī)器做的更全，而是要把推理流程拆細(xì)，讓每個(gè)硬件模塊都發(fā)揮最大作用。

這也是浪潮搞新架構(gòu)的核心思路。

知道了問(wèn)題所在，破局就有了方向。

浪潮推出的元腦HC1000超擴(kuò)展AI服務(wù)器，就是靠重構(gòu)架構(gòu)實(shí)現(xiàn)的成本突破。

要知道，之前主流大模型的百萬(wàn)token成本，海外的要十幾美元，國(guó)內(nèi)的也得十幾塊，這讓很多企業(yè)想用錢(qián)都不敢。

這款服務(wù)器的核心是全對(duì)稱的極速架構(gòu)，每個(gè)計(jì)算模塊配了16顆AI芯片，通信直接對(duì)接，不用繞路。

這樣一來(lái)，不僅通信延遲低，還能實(shí)現(xiàn)無(wú)阻塞通信。

而且它支持超大規(guī)模擴(kuò)展，推理性能能提升不少，單卡的算力利用率能翻好幾倍。

另外，通過(guò)智能調(diào)度，緩存數(shù)據(jù)傳輸對(duì)計(jì)算的影響也降低了很多。

當(dāng)然，1元/百萬(wàn)token還不是終點(diǎn)。

劉軍也說(shuō)了，面對(duì)未來(lái)更龐大的token消耗量，還得繼續(xù)推動(dòng)架構(gòu)革新。

現(xiàn)在整個(gè)AI產(chǎn)業(yè)的風(fēng)向，已經(jīng)從追求規(guī)模轉(zhuǎn)向追求效率。

比如開(kāi)發(fā)專用的AI芯片，讓算法和硬件更匹配，這些都是未來(lái)降本的關(guān)鍵。

毫無(wú)疑問(wèn)，浪潮這次的突破，打通了智能體落地最后一公里的成本障礙。

接下來(lái)，隨著架構(gòu)不斷優(yōu)化，AI成本還會(huì)繼續(xù)下降。

等到token成本實(shí)現(xiàn)數(shù)量級(jí)跨越，AI才能真正變成像水電煤一樣的基礎(chǔ)資源，走進(jìn)更多行業(yè)和場(chǎng)景。

到那時(shí)候，智能體的規(guī)?；涞夭潘阏嬲絹?lái)。