拐點未現(xiàn)，應用仍在路上。

整理｜田思奇

編輯｜栗子

在人工智能進入高速迭代的第三年，行業(yè)的注意力已從單一模型的參數(shù)和能力，轉向能否真正落地。Agent的落地拐點、多模態(tài)的應用前景，和系統(tǒng)架構的擴展性，成為這一波技術討論的三條主線。

8月19日，在昆侖萬維發(fā)起的第一期Skywork全球技術論壇討論會中，來自南洋理工大學、清華大學、上海交通大學、香港中文大學等高校，以及蘋果、谷歌、Meta、微軟、英偉達、硅基流動等公司的十余位國內外嘉賓，圍繞主題「探索大模型邊界:從強化學習到多模態(tài)推理，以及Agent的下一站」，展開長達數(shù)小時的深入交流。

ROI是否足以支撐Agent商業(yè)化，長上下文如何在延遲與成本間取得平衡，多模態(tài)的研究路徑是否已觸及天花板？對于這些核心問題，與會者提出了許多坦率的判斷。

行業(yè)當下的真實處境依然是：熱度仍在，但“如何被真正用起來”才是關鍵。

以下為本次技術討論會的核心觀點，經過編輯整理：

1.短期內，C端Agent更可能選擇出海

Agent 商業(yè)化拐點是否已經到來？

Agent在2025年被推到熱潮中心，被寄望成為下一代人機交互的入口。但現(xiàn)實依然是：看收入就行。Coding已經出現(xiàn)了拐點，而Agent還沒有。技術熱度尚未在商業(yè)層面兌現(xiàn)。

尤其在中國市場，長期被免費教育的用戶對訂閱付費意愿極低，這讓Agent的商業(yè)轉化更加艱難。

為了衡量這種矛盾，有人提出了“Agentic ROI”的概念——便利與交互成本的比值。只有當這個比例足夠高，用戶才會愿意付費。但在國內，大廠幾乎免費的競品讓ROI接近為零，進一步壓低了商業(yè)轉化。短期內，C端Agent更可能選擇出海，到訂閱習慣更成熟的市場尋找機會。

但放眼未來一兩年，國內隨著成本下降、應用數(shù)量增加，ROI有望逐步提高，商業(yè)化拐點也才可能真正到來。

2.如果環(huán)境單一，Agent的能力很快觸頂

Agent的壁壘在哪里？

在競爭激烈的市場環(huán)境里，通用Agent難以形成優(yōu)勢，真正能走深的是行業(yè)知識和垂直場景。當前，編程與數(shù)學是 token消耗最大的應用方向，因為數(shù)據(jù)充足、模式清晰，容易形成可復制的能力。但在其他領域，數(shù)據(jù)不足讓產品很難走向深入。對于中國團隊而言，只有找到明確的垂直場景，才能在出海市場站穩(wěn)。

同時，過去推動模型進步的方式是“堆數(shù)據(jù)”和加長序列，在純文本時代行之有效。但進入Agent階段后，這種規(guī)模擴展已不夠。環(huán)境復雜度才是關鍵：如果環(huán)境單一，Agent的能力很快觸頂。研究者普遍關注的，是如何創(chuàng)造并搭建多樣化的環(huán)境，讓模型能在更復雜的情境中學習與交互，否則再強的算力也無法支撐能力提升。

3.任務與獎勵的設計決定了Agent能否學到有效策略

多輪訓練需要什么樣的任務與獎勵？RL是否能建立通用標準？

Agent訓練的難點往往在于任務本身沒有定義好。多輪訓練需要難度遞進的任務，同時需要低噪聲的獎勵，否則模型難以學到可復制的策略。動作空間的設計同樣關鍵：自由度越高，潛力越大，但訓練難度也會急劇增加。

業(yè)界正在探索異步采樣的訓練架構，以并行方式加快進程，但也帶來了算法一致性的新問題。隨著訓練輪數(shù)增加，上下文管理也逐漸成為瓶頸。而更根本的困境在于，語言模型之所以成功，是因為找到了可擴展的訓練機制；而在強化學習中，尚沒有類似的“通用獎勵標準”。在多智能體和復雜場景下，什么才算“做得好”，至今沒有統(tǒng)一答案。缺乏穩(wěn)定反饋，就無法形成可復制的能力。

4.多模態(tài)強化學習的生態(tài)突破

多模態(tài)如何增強Agent訓練？獎勵機制如何遷移到生成任務？

多模態(tài)被認為是潛在的突破口，但現(xiàn)有模型并不適合作為Agent前端，在復雜界面下的理解力不足。如果在預訓練階段引入Agent場景，或采用更激進的混合訓練方式，有可能培養(yǎng)更強的長程理解力。但前提是Agent必須具備反思和回退的能力，否則隨著工具數(shù)量增加，錯誤率會被放大。

生態(tài)短板也不容忽視。目前缺乏開源的原生多模態(tài)模型，大公司雖然掌握了強大的視頻和多模態(tài)能力，但并不開放，這讓社區(qū)幾乎沒有機會在多模態(tài)模型上做后訓練，只能依賴有限的閉源接口。這是一個硬傷。

另一方面，對“環(huán)境”的重新理解也在發(fā)生。傳統(tǒng)RL依賴成百上千個環(huán)境保證泛化，而在大模型時代，文本框本身就是一個環(huán)境，疊加指令即可形成多任務，關鍵不在于環(huán)境數(shù)量，而在于數(shù)據(jù)質量。

與此同時，研究者正嘗試通過獎勵機制來衡量視頻與圖像的生成效果，把人類偏好直接引入訓練。GRPO雖在推理上很有效，但生成任務主流方法是基于流匹配的確定性采樣，缺乏隨機性，難以直接遷移。后來出現(xiàn)的Flow-GRPO等改進，把獎勵信號與訓練方式統(tǒng)一起來，改善了生成任務中的動作連貫性和一致性。這種方法足夠簡單，可以擴展到視頻等更多生成任務，讓過去“不收斂”的探索出現(xiàn)了可操作路徑。

5.娛樂場景或許更先爆發(fā)

為什么要默認Agent的突破口一定是生產力？

判斷拐點的方式未必只有收入曲線，使用情況同樣能說明問題。如果用戶一輪又一輪追問，而模型能夠不斷生成越來越多的內容，這意味著系統(tǒng)已經進入正向循環(huán)。

有觀點認為：“比如讓我每月花二十塊訂個Agent，我會猶豫。但讓我買個玩具、看看視頻，我花錢更開心?！?從用戶消費心理來看，娛樂反而更可能率先迎來爆發(fā)。虛擬伴侶、游戲NPC、視頻創(chuàng)作助手等場景在海外已經跑出用戶基礎，未來或許比效率工具更早打開市場。

長遠來看，Agent的能力增長可能依賴于一種“雙輪過程”：基礎模型先預訓練，再讓Agent在具體任務里積累經驗數(shù)據(jù)，這些數(shù)據(jù)反過來提升模型，再進入更復雜的新任務，如此往復。用戶一旦感受到Agent能力增強，就會提出更難的任務，這時必須依靠Agent framework去擴展范圍，再把經驗積累回饋給模型。

這種循環(huán)一旦建立，能力會快速迭代。未來一年內可能出現(xiàn)首批Agent基礎模型，初期可能很小，但會在端側設備和專業(yè)任務場景率先落地。長遠來看，未來千億級別模型的訓練數(shù)據(jù)，很可能大部分都來自Agent自身的經驗。

當前的使用數(shù)據(jù)揭示了另一種信號：在OpenRouter的統(tǒng)計中，Coding調用token占比高達87%，Roleplay占8%。只有當這種使用高度集中的情況逐漸變得均勻，Agent才算真正進入各行各業(yè)，那才是真正的拐點。

6.多模態(tài)正在拓展自然交互方式，任務設計成關鍵變量

如何找到合適的規(guī)?；蝿眨?br/>

最近多模態(tài)方向的開源工作包括Skywork出品的R1V多模態(tài)推理系列，以及有“開源Genie3”之稱的Matrix-Game 2.0系列，但是范式的可持續(xù)性已經顯露出問題。強化學習與擴大規(guī)模仍能奏效，但前提是不斷找到新的任務與數(shù)據(jù)。

現(xiàn)實困境在于：合適的任務越來越稀缺。機器人也被視為潛在方向，卻因環(huán)境規(guī)?；y度過高而受阻。即便是OpenAI也并沒有把重心放在機器人或復雜場景，而是選擇繼續(xù)打磨策略與模型本身。在現(xiàn)有的商業(yè)框架下，多模態(tài)理解、生成與對話系統(tǒng)仍然可以運作，但長期來看，這條路能走多遠，仍是一道開放問題。

應用層面，多模態(tài)輸入能讓交互更自然。用戶拍一張照片就能生成PPT，用圖像替代復雜的文字描述——這些都是比鍵盤更高效的表達方式。他發(fā)現(xiàn)國內一些金融公司在應用的落地速度上甚至領先美國，說明多模態(tài)并非虛無縹緲，而是正在改變辦公和業(yè)務流程。

但也有觀點認為，端側模型確實能讓日常操作快上幾秒鐘，但差異遠未達到革命性。他舉了一個例子：即便系統(tǒng)能幫用戶自動完成外賣下單，從點餐到支付全程無縫銜接，但和用戶自己點單相比，本質差別并不大。真正的突破必須在交互體驗中產生質變，而不是僅僅“更快”。

3D和AR/VR領域的瓶頸在于用戶規(guī)模，連微軟的專業(yè)設備都賣不動。相比之下，視頻應用更接近大規(guī)模落地。這種分化的現(xiàn)狀說明：多模態(tài)的延伸正在遭遇任務稀缺與應用分化的雙重挑戰(zhàn)。

7.世界模型需要找到新的數(shù)據(jù)采集方式

游戲與虛擬世界能否帶來突破？

世界模型是多模態(tài)討論的焦點。Genie3帶來的震撼僅次于Sora，它展示了開放世界的潛力。目標是從《我的世界》逐步逼近GTA級別的復雜度，核心在于物理一致性，而這正是世界模型的關鍵。

基于此，新的嘗試正在出現(xiàn)。Matrix-Game2.0被稱為“開源Genie3”，它不僅能生成開放世界，還能支持多人協(xié)作。未來的世界模型不能停留在單人鍵盤操作，而要支持多人協(xié)作：同一虛擬世界里，每個人共享場景，但從不同視角互動。他設想用戶不僅通過鍵盤控制，還能用即時輸入修改環(huán)境，比如加入新的元素或特效，再繼續(xù)探索?；谝曨l生成的世界模型與視頻編輯在他看來本就是一體，只是交互方式不同。

然而，進展背后也存在清晰的局限。模型的一致性和多樣性雖在快速進步，但交互動作空間依舊過窄，只能支持簡單動作。更關鍵的是，真實世界數(shù)據(jù)依然稀缺，反向標注視頻誤差大。如果未來能普及長續(xù)航的采集設備，讓普通人日常攜帶并錄制場景，也許才能提供有價值的訓練數(shù)據(jù)輔助世界模型。

8.生成與理解融合是長期方向，短期內拼接更可行

生成是否能反哺理解？統(tǒng)一模型是必然還是工程折中？

生成與理解是否應該統(tǒng)一，是多模態(tài)研究中最具爭議的問題?；仡橤PT-4的實踐可以看出，圖像生成與理解在后訓練階段其實是兩套流程，并非真正統(tǒng)一。雖然在預訓練階段可能存在互相促進，但缺乏明確證據(jù)。理解可以幫助生成，但還沒有看到生成顯著幫助理解。

同時，生成追求極細節(jié)，理解則是抽象語義，硬統(tǒng)一可能適得其反。多數(shù)公司選擇保留兩套模型，各自最優(yōu)。這類“統(tǒng)一模型”，往往只是工程折中而已。

另一種聲音堅持統(tǒng)一的價值。在實際服務中，用戶咨詢足球鞋時，模型不僅文字解釋，還能自動生成圖像，展示鞋釘與場地的對應關系。這種“理解+生成”的一體化體驗，才真正體現(xiàn)了多模態(tài)的意義。

但在工程層面，拼接方案短期更穩(wěn)健。生成需要低層次特征，理解偏高層抽象，兩者難以兼容，訓練也更難收斂。相比之下，把理解模型的推理能力注入生成流程，反而能顯著提升質量，減少幻覺。因此他判斷，短期和中期拼接方案會是主流。

一體化模型Skywork UniPic系列作為拼接派代表工作之一，讓“理解—生成—編輯”在統(tǒng)一表示里閉環(huán)；同時又與獎勵模型的耦合，實現(xiàn)了前沿的生成和理解效果，也兼顧落地穩(wěn)定性。

9.音頻有望成為主流人機交互入口

語音交互的挑戰(zhàn)是什么？數(shù)據(jù)困境如何突破？

在視覺之外，音頻被普遍認為是下一個潛在突破口。音頻生成正在經歷結構性變化：從低采樣語音逐步邁向高保真音樂，從單聲道過渡到沉浸式環(huán)繞聲，再到與視頻模態(tài)的緊密結合，這些演進都意味著新的交互可能性。例如，當音頻與視頻一同輸入時，模型在理解層面的表現(xiàn)往往會更準確。

但與視覺相比，音頻領域的問題更加棘手——風格和情緒標簽的主觀性，使得標注難度極高，不同人往往無法達成一致。這種數(shù)據(jù)困境，讓音頻模態(tài)的潛力顯得既誘人又難以把握。

展望未來，分歧依然存在。有人判斷多模態(tài)將長期賦能智能硬件與機器人，滲透到更多終端設備；也有人主張借鑒人腦的模塊化架構，讓感知、記憶、推理分區(qū)運作，再通過協(xié)調實現(xiàn)低功耗與可解釋性；另一條路線則是繼續(xù)追求大一統(tǒng)模型，用跨模態(tài)超大規(guī)模數(shù)據(jù)和新架構尋求突破。與此同時，也有人強調工程可行性，認為拼接與大一統(tǒng)會長期并行發(fā)展。

在交互層面，語音被寄予厚望。相比文字輸入，語音更自然直觀，也能承載情緒與語氣。用戶之間或者用戶與模型之間，可以僅通過自然語音共建世界模型，邊說邊生成，動態(tài)地改造和拓展虛擬世界。這種方式比打字更高效直觀，也更符合人類的交流習慣。

不過語音交互仍面臨一些挑戰(zhàn)：口頭指令往往含糊，復雜操作可能需要與文字或圖形界面結合；而“邊說邊生成”對模型的實時響應也提出了算力和延遲方面的更高要求。他相信語音將在未來成為多模態(tài)協(xié)作的重要入口。

10.長上下文是最大的瓶頸，也是最核心的價值

長上下文如何改變Agent的應用場景？

當視角轉回系統(tǒng)層面，問題就更加直接：長上下文帶來的延遲與顯存壓力。從Linear到Sparse，從MoE到非對稱稀疏，工程層的博弈決定了這些探索能否真正落地。

隨著模型輸入長度從2023年的8k、32k，擴展到2024年GPT-4-turbo的128k、Claude 3的200k，以及Gemini 1.5 Pro的1M token，上下文的急劇增長推高了計算成本。推理顯存占用不僅線性增加，推理所需計算量甚至呈超線性上升，一次對話的成本可能從幾毛錢漲到數(shù)元甚至數(shù)十元。企業(yè)被迫通過縮短輸入或拆分任務來規(guī)避，但當長上下文成為剛需，這種矛盾愈發(fā)尖銳。

長上下文已成為Agent應用的最大瓶頸——很多功能要么慢，要么價格高，根源都在上下文過長。即便做到百萬級上下文，檢索增強機制會長期存在，本質上類似人類的長期記憶調用。“人的工作記憶很短，很多信息都靠長期記憶檢索，AI也是一樣，即便做到百萬級上下文，檢索仍然需要，只是更高效。

11.混合注意力架構正在成為趨勢，但算法選擇與工程代價尚未收斂

Linear與Sparse的分歧能否統(tǒng)一？

在長上下文壓力下，業(yè)界逐漸分化為Linear與Sparse（如DeepSeek團隊提出的NSA）兩大派系。但現(xiàn)實是，兩者并非非此即彼，而是常常需要混合使用。MiniMax的模型就交錯結合了Linear Attention和Global Attention，甚至可以嘗試把Global部分換成NSA，看是否能互補。然而，這類實驗幾乎沒有團隊真正做過，因為資源消耗太大。Sparse尚未在大模型中展現(xiàn)出決定性優(yōu)勢，Linear也存在信息丟失問題，單走一條路現(xiàn)在都不夠好。

具體到方案，Linear Attention的問題在于它對所有位置一視同仁，和語義層級特征不符，高層語義理應更粗粒度。而NSA至少能做到先粗選再細推，符合語義處理規(guī)律。但NSA的工程復雜度很高，目前體驗也不理想。另一種方向是Log-Linear狀態(tài)空間，它能讓狀態(tài)隨時間以對數(shù)方式擴展，更像人腦的記憶曲線：“信息逐漸累積，但不是均勻增加?！蔽磥硪部赡艹霈F(xiàn)更直觀的方案，比如模擬記憶曲線或KV壓縮。

這些探索說明，混合注意力機制正走向主流，但在算法選擇與工程代價之間仍未收斂。

12.稀疏化與MoE展現(xiàn)潛力，硬件支持將決定規(guī)?；磥?/p>

MoE如何避免顯存失衡？非對稱稀疏能否更高效？

長上下文引發(fā)的是“記憶”的爭論，而MoE直指“激活”。MoE的細節(jié)差異常常決定效果。共享專家機制并非必要，過細的路由還可能導致GPU顯存分配失衡。一種改進思路是讓非關鍵信息token限制專家路由，把算力集中在關鍵token上。另一種設想是“非對稱稀疏”：不同token激活不同規(guī)模的專家，簡單任務提前中止，復雜任務調用更多層。這可能更高效，但目前尚無成熟實踐。

稀疏化的潛在收益很大，但優(yōu)化難度同樣增加。細粒度稀疏潛力巨大，卻難以工程化；結構化稀疏是當前現(xiàn)實的折中方案。GPU的特性決定了這一限制：人腦是全稀疏的，而GPU并不擅長非結構化稀疏。MoE在宏觀上稀疏、微觀上稠密，恰好契合GPU的block結構，因此能落地。如果未來硬件能更好支持稀疏計算，微觀稀疏化也許才可能真正規(guī)模化。

這也解釋了為什么大模型發(fā)展不能僅依賴參數(shù)和算法疊加，而需要結構稀疏化、訓練異步化和系統(tǒng)異構化的協(xié)同演進。GPT-5迭代速度放緩，正是實驗資源逼近極限的直接反映。

這類架構問題往往在營銷敘事中不被強調，但它們決定了大模型能否真正走出實驗室，商業(yè)與技術如何對齊，研究與應用如何銜接，這才是今天最現(xiàn)實的矛盾。

從Agent到多模態(tài)，再到系統(tǒng)架構，Skywork技術研討會嘉賓很難較短的時間內提出最終的解決方案，但核心問題均已浮出水面。對昆侖萬維而言，舉辦這樣的研討，將有力推動產業(yè)界與學術界在關鍵議題上達成共識。接下來，Skywork技術論壇討論會研討會還將持續(xù)展開，而這些未竟的對話，本身就是值得關注的方向。