進入 Apple silicon 時代以來，Mac 在性能方面的突飛猛進是大家有目共睹的，尤其是有了統(tǒng)一內(nèi)存架構以后，CPU、GPU 以及 NPU 能夠共享具備高帶寬、低延遲的統(tǒng)一內(nèi)存，讓消費級的 Mac 電腦在運行本地 AI 模型時也能充分發(fā)揮硬件性能，參與到我們的日常生活與工作當中。

雖然云端模型的發(fā)展日新月異，但是本地模型依然有著不可替代的獨特優(yōu)勢：對于普通用戶而言，本地模型可以隨時隨地待命，不受網(wǎng)絡質(zhì)量制約，也能不被網(wǎng)絡需求束縛，讓更多人用上最新最先進的國內(nèi)外大語言模型；對于企業(yè)用戶來說，本地模型不僅有著能保護隱私安全的離線運行特性，還可以通過更靈活的自定義能力，定制自己專屬的模型。

近日，我們就獲得機會與 Exo Labs 的兩位創(chuàng)始人有了一次簡短的交流，聽他們講述了自己使用 Mac 進行本地 AI 模型應用的探索經(jīng)歷，還見到了他們即將發(fā)布的最新版本 exo 的功能演示。

Exo Labs 由多位來自牛津大學的工程師及研究人員共同創(chuàng)立于 2024 年，旨在普及人工智能技術，希望讓更多人在任何地方都能更簡單地運行和使用大語言模型。聯(lián)合創(chuàng)始人 Alex 告訴我們，即使是在牛津大學這樣的全球頂級學府，資源的分配和獲取也是相當困難且緩慢的。如果想要向校方申請 GPU 集群進行本地模型研究，相關人員一次僅能申請一張顯卡，整個申請過程可能需要長達數(shù)月之久。

正因如此，Alex 和伙伴們開始了自己最初的嘗試，通過串聯(lián)兩臺搭載 M3 Max 芯片的 MacBook Pro 組成集群，成功運行了參數(shù)量高達 4050 億 (405B) 的 Llama 模型。雖然你應該能夠想到結果，不論是在速度還是穩(wěn)定性上，僅靠兩臺 MacBook Pro 運行如此復雜的模型都已經(jīng)顯得捉襟見肘。

不過，這次的嘗試也讓他們意識到了，這樣的想法是完全可行的。隨著 Apple silicon 架構的迭代，Exo Labs 團隊也在不斷優(yōu)化 exo 的算法和框架，并在如今做好了新版的發(fā)布準備。

據(jù)介紹，如今 exo 不僅支持了多種主流的大語言模型——如 Llama、Mistral、Qwen 以及 DeepSeek 等等，并且支持動態(tài)模型拆分，在組成集群的多臺設備中，exo 會根據(jù)每臺設備的內(nèi)存和帶寬使用狀況，自動將模型切分為多個部分，分配不同節(jié)點并切執(zhí)行，從而讓性能需求遠超單臺設備的本地模型能夠順利運行并實現(xiàn)快速響應。

在現(xiàn)場演示中，Alex 通過四臺搭載 M3 Ultra 芯片的頂配 Mac Studio 組成集群 (128 核 CPU、240 核 GPU、2TB 內(nèi)存、~3.28TB/s 帶寬)，設備之間通過雷靂 5 線纜實現(xiàn)高速連接，向我們演示了 exo 的運行過程。

在這個集群中，exo 同時運行了 8-bit 量化版本的 DeepSeek-V3-0324 和 DeepSeek-R1-0528 兩個本地模型，兩個模型的總參數(shù)量高達約 1.36 萬億，所需內(nèi)存接近 1.5TB。在如此高負載的工作場景之下，exo 不僅做到了同時并快速地向用戶返回輸出結果，還通過直觀的可視化形式向我們展示了 exo 的動態(tài)分配能力，一覽便能看清每臺設備的內(nèi)存使用情況、工作溫度、耗電水平等等。

別看這四臺 Mac 的售價已經(jīng)高達 40 多萬元人民幣，要知道過去如果想通過傳統(tǒng)硬件方案達到如此強大的性能表現(xiàn)，不僅需要采購售價高達百萬級的硬件設施，相關設施對于空間如大小、散熱等的復雜要求也是一個不小的考驗。

Alex 還表示，exo 框架在開源之后獲得了社區(qū)的熱烈響應，并已有多家企業(yè)選擇了 exo 在內(nèi)部構建本地 AI 推理集群。值得一提的是，在 Global Energy Alliance for People and Planet 項目中，Exo Labs 僅僅通過幾臺老舊的智能手機與一臺電腦設備連接，在非洲的一個偏遠村莊中為當?shù)剡\行本地大模型提供了支持，助力當?shù)亟逃约斑h程醫(yī)療服務。

最后，針對普通用戶如何用好手中設備、善用 AI 能力，Alex 也給出了自己的看法。

雖然對于絕大部分用戶而言，他們并沒有采購價格如此高昂設備的能力以及需求，但依然不妨礙人人都能從本地模型中獲益。

目前在 Mac 上，已經(jīng)有如 Ollama、LM Studio、Open WebUI 等一眾出色且易用的本地 LLM 部署和運行工具，讓每個人都能輕松上手來自全球頂級科技公司的本地 AI 模型。這不僅能夠讓人人切實感受到技術的進步與發(fā)展，也能降低用戶的試錯成本，找到更加適合自己的 AI 模型。也得益于有像 Mac 這樣愈發(fā)完善與強大的軟硬件生態(tài)，AI 模型的使用門檻能夠變得更低，運行速度能夠變得越來越快。

https://sspai.com/post/101711?utm_source=wechat&utm_medium=social

作者：waychane

責編：waychane