• 編輯部 整理自 MEET2026
  量子位 | 公眾號 QbitAI

從“感知”到“生成”，再到自主行動的“智能體”，AI正在終端側(cè)掀起一場無聲的算力革命。

量子位MEET2026智能未來大會上，高通公司AI產(chǎn)品技術(shù)中國區(qū)負責(zé)人萬衛(wèi)星指出：

• 盡管目前行業(yè)關(guān)注點仍然集中在生成式AI上，但整個產(chǎn)業(yè)其實正呈現(xiàn)出從生成式AI向智能體AI演進的路線。

他將這一演進過程梳理為四個階段——從傳統(tǒng)的感知AI出發(fā)，歷經(jīng)當(dāng)前的生成式AI、正在到來的智能體AI，最終邁向理解真實定律的物理AI。

而目前產(chǎn)業(yè)正處于從“生成”向“智能體”躍遷的關(guān)鍵窗口期，終端側(cè)的能力也正從單一文字模態(tài)，向全模態(tài)交互加速演進。

在他看來，在端側(cè)運行大模型，最大的護城河在于“個性化”——在離數(shù)據(jù)產(chǎn)生最近的地方做推理，不僅能實現(xiàn)隱私保護，更能提供無需聯(lián)網(wǎng)的即時響應(yīng)。

然而，要在手機、PC等高集成度設(shè)備上部署百億級參數(shù)模型，必須直面內(nèi)存受限、帶寬瓶頸與功耗控制這三大挑戰(zhàn)。 對此，萬衛(wèi)星分享了高通的破局之道。

最后，對于未來的終端體驗，他描繪了一個混合AI與分布式協(xié)同的圖景——智能眼鏡、手機、汽車將實現(xiàn)跨端的AI推理。

為了完整體現(xiàn)萬衛(wèi)星的思考，在不改變原意的基礎(chǔ)上，量子位對演講內(nèi)容進行了編輯整理，希望能給你帶來更多啟發(fā)。

MEET2026智能未來大會是由量子位主辦的行業(yè)峰會，近30位產(chǎn)業(yè)代表與會討論。線下參會觀眾近1500人，線上直播觀眾350萬+，獲得了主流媒體的廣泛關(guān)注與報道。

核心觀點梳理

• AI應(yīng)用的演進，可以分為感知AI、生成式AI、智能體AI和物理AI四個階段。
• 從模態(tài)來看，終端側(cè)正在從單一文字模態(tài)，向多模態(tài)甚至全模態(tài)方向演進。
• 生態(tài)系統(tǒng)從單體模型向復(fù)合系統(tǒng)的轉(zhuǎn)變是邁向智能體AI的基礎(chǔ)。
• 在終端側(cè)運行大模型，最大的好處之一是個性化。
• 在終端側(cè)運行大語言模型主要面臨內(nèi)存限制、帶寬限制和功耗控制等挑戰(zhàn)。
• 為解決這些挑戰(zhàn)，高通進行了一系列技術(shù)儲備與預(yù)研：量化與壓縮、并行解碼技術(shù)等以提高推理效率、先進NPU與異構(gòu)計算架構(gòu)。

以下為萬衛(wèi)星演講原文

AI應(yīng)用演進的四個階段

今天我想跟大家分享一下高通在終端側(cè)AI以及混合AI上的成果和思考。

首先，我們來看一下AI應(yīng)用在整個行業(yè)中的演進。

第一個階段可以稱之為感知AI，包括大家比較熟悉的、傳統(tǒng)的自然語言處理、語音降噪、圖片識別和分割等AI技術(shù)，都屬于這個范疇。

這些技術(shù)其實在很多年前就已經(jīng)在許多終端側(cè)設(shè)備上實現(xiàn)商業(yè)化落地。

第二個階段是生成式AI，是隨著ChatGPT的興起而來的，這一階段主要基于大量數(shù)據(jù)進行預(yù)訓(xùn)練，并在人類監(jiān)督下完成某類具體任務(wù)

包括文生圖、聊天機器人，或是利用大模型進行翻譯等在內(nèi)，都屬于“生成式AI”。

第三個階段，我們稱之為智能體AI

與生成式AI相比，智能體AI可以在幾乎沒有人類監(jiān)督或無干預(yù)的情況下，進行自主行動、預(yù)測、意圖理解與任務(wù)編排。

我們能夠看到，盡管目前行業(yè)關(guān)注點仍然集中在生成式AI上，但整個產(chǎn)業(yè)其實正呈現(xiàn)出從生成式AI向智能體AI演進的路線

第四個階段，我們叫做物理AI

在這個階段，AI可以理解真實的物理世界，并根據(jù)真實的物理定律與規(guī)律做出相應(yīng)的反饋和響應(yīng)。

目前，物理AI尚處于研究和探索的初期。

端側(cè)AI的優(yōu)勢和挑戰(zhàn)

我們看到在終端側(cè)生成式AI的生態(tài)中，模型尺寸正在不斷增大——

• 目前手機可以支持將近100億參數(shù)的大模型部署；
• PC可以支持約200億參數(shù)的大模型終端側(cè)部署；
• 在車載場景中，模型支持的規(guī)模則更大，可部署的參數(shù)量級已達到200億至600億之間。

在模型尺寸不斷擴大的同時，模型質(zhì)量也不斷提升。

今年年初我們已經(jīng)能夠?qū)⒅С炙季S鏈（CoT）和推理能力的模型完全部署在端側(cè)。

同時，端側(cè)模型所支持的上下文長度也在顯著增長——從兩年前端側(cè)僅能處理1K到2K的上下文，到去年已提升至4K，而今年則已能夠支持8K到16K的典型用例在端側(cè)進行部署。

事實上，就像我們在今年9月的驍龍峰會上展示的那樣，在某些特殊場景下，已經(jīng)可以實現(xiàn)128K上下文窗口的端側(cè)大模型部署。

從模態(tài)的角度來看，終端側(cè)AI也呈現(xiàn)出從單一的文字模態(tài)，向支持文本、圖片、視頻、音頻、語音等多模態(tài)，甚至全模態(tài)演進的趨勢。

再來看一下在端側(cè)運行AI的優(yōu)勢，以及所面臨的挑戰(zhàn)。

我們認(rèn)為在終端側(cè)運行大模型或AI，最大的好處之一是個性化

數(shù)據(jù)的產(chǎn)生都在終端側(cè)，在距離數(shù)據(jù)產(chǎn)生最近的地方做推理，是自然而然的事情，同時也非常有利于保護用戶的隱私和安全。

和云端相比，端側(cè)還具備兩個優(yōu)勢，一是完全免費，二是無需任何網(wǎng)絡(luò)連接。

那么挑戰(zhàn)有哪些呢？在這里我想著重分享兩點。

首先是內(nèi)存限制，終端側(cè)有限的內(nèi)存大小限制了可運行模型參數(shù)量的大小，從而約束了終端側(cè)模型的能力上限。

其次是帶寬限制，終端側(cè)有限的帶寬決定了AI的推理速度，因此會影響用戶體驗。

當(dāng)然，在手機這類集成度非常高的終端去運行大語言模型，對能效控制也提出了極致要求，因為如果功耗過高，就容易觸發(fā)設(shè)備的溫控機制。

面對這些挑戰(zhàn)，高通公司都有哪些技術(shù)儲備和預(yù)研呢？

第一是量化和壓縮。從8 bit、4 bit到今年實現(xiàn)的2 bit，通過更極致的量化壓縮，我們使端側(cè)能夠支持的模型尺寸越來越大，其所占用的內(nèi)存越來越小；

第二是在端側(cè)帶寬約束下，我們采用并行解碼技術(shù)以提高大語言模型的token速率；

第三是通過先進的NPU，包括eNPU的架構(gòu)和領(lǐng)先的異構(gòu)計算系統(tǒng)，我們讓端側(cè)AI從以往的被動式服務(wù)向主動式、個性化的AI服務(wù)邁進。

接下來，我想就并行解碼技術(shù)再進行展開講解。

當(dāng)前大語言模型大部分是基于自回歸架構(gòu)，它需要把所有的輸入和權(quán)重全部加載到內(nèi)存中，才能生成一個token。

從效率的角度來講，這是非常不經(jīng)濟的行為。尤其是隨著模型規(guī)模持續(xù)增大，token的生成速度會非常慢，進而導(dǎo)致時延增加、影響用戶體驗。

高通通過并行解碼技術(shù)，先在端側(cè)運行一個較小的草稿模型，一次性推理出多個token，然后將這些token交予原始的、較大的模型進行校驗。

因為草稿模型是基于原始大模型訓(xùn)練而來，在原始大模型上進行token驗證時，能夠保證較高的接受率，從而實現(xiàn)并行解碼，達到提高端側(cè)解碼速度的目的。

從生成式AI向智能體AI演進

我們正處在從生成式AI向智能體AI演進的路徑上。

從用例的角度來講，生成式AI主要能支持關(guān)鍵的“單體”用例，比如實時翻譯、文生圖或者內(nèi)容創(chuàng)作、摘要、續(xù)寫等任務(wù)。

智能體AI是更復(fù)合、更復(fù)雜、更主動式的AI服務(wù)。

實現(xiàn)智能體AI需要許多基礎(chǔ)模塊，首先需要一個具有推理能力的大模型，它可以在端側(cè)或者云上運行以理解用戶意圖；

在理解用戶的意圖和任務(wù)之后，智能體可以通過查詢個人知識圖譜等個人本地數(shù)據(jù)，生成個性化的任務(wù)編排；

最后，智能體還要通過調(diào)用本地或云上的API執(zhí)行相應(yīng)的任務(wù)。

下面可以看一個具體的智能體AI用例。

用戶可以利用智能體發(fā)布微博，這個過程中首先要通過自然語言和智能體進行交互。

當(dāng)智能體理解了用戶“需要發(fā)布微博”的意圖后，會打開微博APP，搜索需要發(fā)布的照片，同時根據(jù)用戶過往的個人偏好給照片加濾鏡，最終完成整個發(fā)布過程。

不僅如此，用戶還可以通過自然語言交互監(jiān)測回復(fù)，并進行相應(yīng)操作，比如我特別喜歡某個評論時，可以去點贊或回復(fù)。

這個用例在今年9月的驍龍峰會上進行展示時，整個流程是全部運行在端側(cè)的。

除了手機之外，高通的芯片也覆蓋了豐富品類的產(chǎn)品，包括智能眼鏡、PC、汽車、智能手表、IoT等產(chǎn)品，并且我們能夠支持所有驍龍設(shè)備之間的智能互聯(lián)。

大家可以想象一下，智能眼鏡、智能手表等算力較小的設(shè)備，可以通過Wi-Fi或者藍牙與手機、汽車連接，去共享它們之間的本地數(shù)據(jù)，將大模型推理從較小設(shè)備中轉(zhuǎn)移到手機、PC甚至汽車等算力較大的設(shè)備上，實現(xiàn)分布式的個性化大模型推理

最后，我們相信AI體驗在未來會向混合AI的方向發(fā)展。

也就是說，在終端側(cè)運行垂類的、比較高效的模型，提供更好的、更安全的個性化AI服務(wù)；在云端，運行更大尺寸的模型，提供能力更強、更通用、更極致的AI服務(wù)。

高通公司也將憑借低時延、高速且安全的連接技術(shù)，確?；旌螦I場景下的端云協(xié)同和端云連接。