谷歌（Google）正式宣布推出Coral NPU，一個(gè)面向邊緣人工智能（Edge AI）的開源全棧平臺(tái)。這一平臺(tái)旨在解決當(dāng)前邊緣 AI 設(shè)備面臨的核心挑戰(zhàn)，使大型、現(xiàn)代的人工智能模型（LLMs）直接嵌入到智能手表、耳機(jī)和各類傳感器等對(duì)功耗極度敏感的微型設(shè)備中，并首次實(shí)現(xiàn)在智能手表、耳機(jī)或傳感器等小型設(shè)備上實(shí)現(xiàn)全天候運(yùn)行。

（來源：Github Coralnpu）

近年來，云端大模型的強(qiáng)大創(chuàng)造力、推理和輔助能力已經(jīng)從根本上重塑了我們對(duì)技術(shù)的期望。谷歌認(rèn)為，下一個(gè)重大的技術(shù)飛躍，不在于讓模型更大，而在于讓智能更貼近我們。

要讓 AI 成為真正的貼身助手，主動(dòng)幫我們規(guī)劃日程、實(shí)時(shí)翻譯對(duì)話、或理解我們的物理環(huán)境，它就必須在我們佩戴和攜帶的設(shè)備上運(yùn)行。這就導(dǎo)向了當(dāng)前行業(yè)的核心挑戰(zhàn)：如何將“環(huán)境 AI”（ambient AI）植入電池容量極其有限的邊緣設(shè)備，使其在實(shí)現(xiàn)全天候輔助的同時(shí)，確保用戶數(shù)據(jù)的絕對(duì)隱私。

Coral NPU 的目標(biāo)就是實(shí)現(xiàn)極致的能源效率，讓 AI 模型在僅消耗幾毫瓦功率的情況下運(yùn)行，從而擺脫對(duì)云端連接的依賴，并從根本上增強(qiáng)設(shè)備的隱私保護(hù)能力。

谷歌指出，要將 AI 從云端遷移到個(gè)人設(shè)備，首先要解決三個(gè)根深蒂固的難題：一是性能鴻溝，即現(xiàn)代模型所需的龐大算力與微型設(shè)備有限資源之間的矛盾；二是碎片化的成本，即面對(duì)硬件與軟件工具鏈的嚴(yán)重碎片化，開發(fā)者需要為一個(gè)充斥著各種專有處理器的、高度碎片化的市場(chǎng)編譯和優(yōu)化 ML 模型，而這一過程極其困難且成本高昂；三是用戶信任，面對(duì)數(shù)據(jù)傳輸至云端處理帶來的隱私泄露風(fēng)險(xiǎn)，個(gè)人 AI 必須將個(gè)人數(shù)據(jù)的隱私與安全置于首位。

傳統(tǒng)上，低功耗邊緣設(shè)備的開發(fā)者面臨一個(gè)根本性的權(quán)衡：要么選擇通用 CPU，它們靈活且軟件支持廣泛，但缺乏針對(duì) ML 工作負(fù)載的專用架構(gòu)，導(dǎo)致性能低下且能效比差；要么選擇專用加速器，它們 ML 效率高，但“不靈活、難以編程，且不適合通用任務(wù)”。

其次，這種硬件困境被一個(gè)高度碎片化的軟件生態(tài)系統(tǒng)放大了。CPU 和 ML 模塊的編程模型截然不同，開發(fā)者常常被迫使用專有編譯器和復(fù)雜的指令緩沖。這造成了陡峭的學(xué)習(xí)曲線，使行業(yè)長(zhǎng)期缺乏一個(gè)成熟的、能有效支持多種 ML 開發(fā)框架的低功耗架構(gòu)。

傳統(tǒng)的芯片設(shè)計(jì)思路是圍繞通用 CPU 構(gòu)建，再“外掛”一個(gè) AI 加速器。這種架構(gòu)在處理“常駐”的、持續(xù)性的 AI 任務(wù)時(shí)效率低下。Coral NPU 的出現(xiàn)則開辟了一條新的思路。它不再以 CPU 為中心，而是將負(fù)責(zé)運(yùn)行神經(jīng)網(wǎng)絡(luò)核心數(shù)學(xué)運(yùn)算的“矩陣引擎”置于芯片設(shè)計(jì)的核心位置。這一神經(jīng)處理單元（NPU）架構(gòu)，結(jié)合了一個(gè)小型的 RISC-V 控制核心 和一個(gè) RVV 1.0 向量單元，未來還將推出量化外乘矩陣單元。

這種以“AI 優(yōu)先”（AI-first）為先的架構(gòu)，Coral NPU 旨在實(shí)現(xiàn)極高的能效比。其目標(biāo)性能是每秒執(zhí)行約 5,120 億次操作（512GOPS），而功耗則控制在毫瓦級(jí)別。這種性能與功耗的平衡，對(duì)于需要 24/7 全天候運(yùn)行 AI 功能且電池容量極其有限的小型 AI 設(shè)備而言，堪稱一次飛躍。

（來源：Google for Developers）

同時(shí)，Coral NPU 還是一個(gè)“全棧”平臺(tái)。為了解決工具鏈碎片化的問題，谷歌為其配備了一個(gè)統(tǒng)一的編譯器堆棧。該堆?；?MLIR、IREE 和 TensorFlow Lite Micro 等開源技術(shù)。其核心優(yōu)勢(shì)在于，開發(fā)者只需編寫一次模型代碼，就能在任何基于 Coral NPU 架構(gòu)的芯片上運(yùn)行，真正實(shí)現(xiàn)模型的跨硬件無縫遷移。這極大地降低了開發(fā)門檻，使開發(fā)者無需再為每一個(gè)品牌的硬件重寫和優(yōu)化代碼。

在解決“信任赤字”方面，Coral NPU 的一個(gè)核心原則是通過“硬件強(qiáng)制安全”（hardware-enforced security）來建立用戶信任。其架構(gòu)正在被設(shè)計(jì)為支持像 CHERI 這樣的新興技術(shù)，該技術(shù)能提供細(xì)粒度的內(nèi)存級(jí)安全和可擴(kuò)展的軟件分區(qū)。谷歌希望通過這種方法，將敏感的 AI 模型和個(gè)人數(shù)據(jù)隔離在一個(gè)“硬件強(qiáng)制的沙箱”中，以有效抵御基于內(nèi)存的攻擊。

谷歌將 Coral NPU 視為邊緣 AI 的新開放標(biāo)準(zhǔn)，而這一愿景已開始落地。據(jù)悉，芯片設(shè)計(jì)公司 Synaptics 已經(jīng)開始采用這種新設(shè)計(jì)來構(gòu)建其下一代芯片，證明了該平臺(tái)不僅僅停留在理論階段。Coral NPU 的開源和全棧特性，有望催生下一代真正智能且持久續(xù)航的邊緣設(shè)備，從根本上改變用戶與可穿戴設(shè)備和傳感器的交互方式。

參考資料：

1.https://developers.googleblog.com/en/introducing-coral-npu-a-full-stack-platform-for-edge-ai/

2.https://research.google/blog/coral-npu-a-full-stack-platform-for-edge-ai/

3.https://github.com/google-coral/coralnpu

運(yùn)營(yíng)/排版：何晨龍