AMD Strix Halo平臺(tái)為消費(fèi)級(jí)設(shè)備帶來128B參數(shù)LLM模型的支持

cnBeta

AMD 是通過其 XDNA 引擎將大規(guī)模 AI 計(jì)算引入消費(fèi)級(jí)設(shè)備的先行者之一。AMD 的 APU 產(chǎn)品（例如 Strix Point 和 Strix Halo 系列中的產(chǎn)品）提供了業(yè)內(nèi)最高的 AI 性能，而現(xiàn)在，AMD 已將邊緣 AI 提升到了一個(gè)新的水平。該公司最新的 Adrenalin Edition 25.8.1 驅(qū)動(dòng)程序引入了對(duì) 128B 參數(shù) LLM 模型的支持，這將使消費(fèi)級(jí)設(shè)備能夠支持 Meta 的 Llama 4 Scout 等模型，這是目前獨(dú)一無二的成就。

通過 AMD 的可變顯存 (VGM)，消費(fèi)者可以為 iGPU 提供高達(dá) 96 GB 的顯存，從而支持大型模型在本地運(yùn)行。由于上述 Llama 模型是基于 MoE 的實(shí)現(xiàn)，因此它在運(yùn)行時(shí)僅使用 170 億個(gè)參數(shù)，但盡管如此仍然可以獲得不錯(cuò)的 TPS 數(shù)據(jù)，從而使 LLM 可以用作功能強(qiáng)大的 AI 助手。

更重要的是，AMD 在模型上下文大小方面取得了巨大的進(jìn)步。雖然消費(fèi)級(jí)處理器的行業(yè)標(biāo)準(zhǔn)大約是 4096 個(gè)詞元，但 AMD 成功將其提升了數(shù)倍，達(dá)到了 256000 個(gè)詞元，從而可以更好地控制工作流程，并且無需擔(dān)心性能問題。

目前，搭載 Strix Halo 平臺(tái)的設(shè)備有限，而且不太容易買到，有些設(shè)備的價(jià)格甚至超過了 2000 美元。然而，AMD 在 AI 計(jì)算方面的進(jìn)步確實(shí)令人欣喜，它讓每個(gè)人都能擁有“AI 力量”，盡管你需要花費(fèi)不菲的錢才能買到目前市面上的設(shè)備。