“現(xiàn)在多模的理解和生成還是分開的，但未來一定會走向統(tǒng)一?！?br/>

文丨王與桐

編輯丨程曼祺

半年沉寂后，國產(chǎn)大模型之戰(zhàn)重歸火熱。

現(xiàn)在打開 Hugging Face，大模型榜單前十全部由中國模型占據(jù)。月之暗面、阿里通義、階躍星辰、智譜在一個月內(nèi)接連開源最新基座模型 K2、Qwen3、Step 3 和 GLM-4.5。

其中，剛剛在 7 月 31 日正式上線的 Step 3 是階躍首次開源的主力基座模型。這是一個采用混合專家（MoE）架構(gòu)、總參數(shù)量 3210 億、激活參數(shù)量 380 億的多模態(tài)推理基座模型。

自創(chuàng)立起，階躍星辰就選擇了 “路徑更重” 的打法——重押多模態(tài)，多線并進：迄今，階躍已發(fā)布 26 個模型，在中國大模型創(chuàng)業(yè)公司中數(shù)量最多，其中 20 個模型與多模態(tài)的理解、生成或推理相關(guān)。

有人質(zhì)疑多線作戰(zhàn)分散資源與精力，姜大昕卻認為必須如此，因為他和階躍相信多模態(tài)生成與理解的統(tǒng)一，才能走向 AGI—— AGI 不僅能描述語言，還要能模擬、推演物理世界中的動作與變化。

“如果你只想讓它通過圖靈測試，那語言足夠了；但如果你認為它要與人的智能相提并論，那就一定要有視覺、感知、空間理解。”

已經(jīng)做到微軟全球副總裁，再開始創(chuàng)業(yè)，對姜大昕而言也是 “必須” 的選擇。他不是那種 “命定的創(chuàng)業(yè)者”，創(chuàng)業(yè)本身不是目的和他的渴求，AGI 才是。

2023 年初，博士畢業(yè)后，一直在微軟工作 16 年的姜大昕曾遞交一份 10 頁的技術(shù)文檔，試圖說服微軟自研大模型，但公司選擇了扶持 OpenAI。如果留下，他認為自己將與 AGI 絕緣。

首次開源基座模型的同時，階躍近期聯(lián)合華為昇騰、沐曦、壁仞科技、燧原科技、天數(shù)智芯、無問芯穹、寒武紀、摩爾線程、硅基流動等近十家芯片及基礎(chǔ)設(shè)施廠商成立模芯生態(tài)創(chuàng)新聯(lián)盟。在當前國產(chǎn) GPU 實際推理體驗普遍不及紙面指標的背景下，Step 3 在國產(chǎn)卡上有較高質(zhì)量的適配表現(xiàn)。

在 Step 3 發(fā)布前，我們對話了姜大昕，他談?wù)摿硕嗄B(tài)統(tǒng)一的技術(shù)難度、視覺理解與生成的融合路徑、自回歸與 diffusion 的結(jié)合趨勢。

“真正的聰明人會尊重彼此，而不是 PK 誰更厲害”

晚點：您 2023 年創(chuàng)立階躍之前的 16 年一直在微軟工作，從一個看起來很穩(wěn)定的長期狀態(tài)到創(chuàng)業(yè)，這個跳躍怎么發(fā)生的？

姜大昕：我以前就常被問，常識和推理什么時候能實現(xiàn)？我原本的回答是 20 年后，但大模型讓這一切提前了 20 年。

2023 年初，我給微軟管理層寫過一份 10 頁的文檔，想自研大模型，但當時公司的選擇是優(yōu)先扶持 OpenAI。如果我還留在微軟，就只能看著 AGI 跟我無關(guān)了。

晚點：創(chuàng)業(yè)是您自己的想法，還是來自周圍朋友的建議？

姜大昕：是我自己的想法。2022 年底我第一次用上 GPT-4，整個人被震到了。我問它 “你多大”，它告訴我今天是幾月幾號，我的訓練是哪天完成的，所以我現(xiàn)在多大。它不僅理解 “多大” 的意思，還能推理、能計算。

過去的 AI，不是答錯就是設(shè)定死，比如永遠說 “16 歲”。但這次我真感覺它 “懂” 了。我又問 “Can I walk in the cloud？” 它說不行，還解釋因為云是水蒸氣。然后又能識別出 “云中漫步” 是比喻，這句話還不是抄的，是它自己生成的。那一刻我覺得，它不是個搜索引擎，是另一種智能。

晚點：階躍是怎么吸引來朱亦博、張祥雨這種技術(shù)大牛的？

姜大昕：決定創(chuàng)業(yè)之后，我們就要找人，微軟的老同事就建議我跟張祥雨、朱亦博聊聊，看他們是不是有興趣。之前我和張祥雨交集不是很多，但我們都在微軟亞研院工作過，聽說過彼此。我們創(chuàng)業(yè)第一天就知道系統(tǒng)很重要，所以就想找朱亦博。我覺得朱亦博肯定不是被我折服，他應(yīng)該是被張祥雨折服了。

晚點：階躍的核心技術(shù)研發(fā)團隊相對穩(wěn)定，怎么做到的？

姜大昕：算法、數(shù)據(jù)、系統(tǒng)是人工智能的三要素，我們這三方面都有最頂尖的人：朱亦博管系統(tǒng)，張祥雨管算法，數(shù)據(jù)是我在微軟做搜索時的同事焦斌星。三方都要頂尖，才能互相吸引，才能留得住。好的技術(shù)人才，也能吸引更多一線的人才。

晚點：這么多聰明人在一起，對管理來說也是不小的挑戰(zhàn)。

姜大昕：我覺得核心是考驗 CEO 的人才審美。一般聰明人 ego 都不小，但真正聰明的人，遇到同樣聰明的人會很尊重彼此。比如祥雨說的話，斌星和亦博都會認真聽，反過來也一樣。大家更像是互補長處、勁往一處使，而不是互相 PK 誰更厲害。

“AGI 一定要有多模態(tài)”

晚點：你們有一個外號是 “多模態(tài)卷王”，幾乎每個月都發(fā)布模型。你們是怎么保持這樣的節(jié)奏的？Step 3 你們準備了多久？

姜大昕：Step 3 我們準備了將近半年的時間，做了很多系統(tǒng)層面優(yōu)化。階躍多模態(tài)的布局非常完整，有圖像、視頻、音樂、語音等多條線，每條戰(zhàn)線都是經(jīng)過幾個月或者半年的積累才產(chǎn)生新的迭代。如果同時看所有模態(tài)，會覺得我們發(fā)布的節(jié)奏很快，每一兩個月就有新成果出來。

晚點：過去，行業(yè)里有一部分從業(yè)者認為，相對多模態(tài)，在語言上投入更多精力、算力和資源，對智能的提升更快。但你們從 2024 年初第一次亮相開始，就在講 “多模生成和理解的統(tǒng)一”，這背后是什么思考？

姜大昕：區(qū)別在于大家對 AGI 的理解。如果認為 AGI 就是圖靈測試，那確實不用多模態(tài)。GPT-4.5 號稱通過了圖靈測試，完全用符號語言定義人的智能。

如果認為 AGI 是來類比人的智能，那一定要有多模態(tài)，因為人的智能除了語言以外，應(yīng)該是多維度的，還有應(yīng)用智能、空間智能、視覺智能，這些單單通過語言是學不出來的。

同時，絕大多數(shù)應(yīng)用都希望模型能看、能聽、能說，能很自然地和人類交互，能理解人所處的環(huán)境，這都會用到多模態(tài)能力。

晚點：階躍迄今發(fā)了 26 款模型，其中 20 款跟多模態(tài)相關(guān)，每個模態(tài)里，又常常分成生成、理解不同的模型。作為資源有限的創(chuàng)業(yè)公司，同時做這么多模型是個好選擇嗎？

姜大昕：如果要做到理解生成一體化，那就得這些都做。

文本不存在生成和理解分開的問題，文本天生就是理解、生成一體化的模型：你給一篇文章，讓一個模型去做閱讀理解，這是一個典型的理解問題，它用的是 GPT 模型；你給它一個題目，讓它去生成一篇文章，這是一個生成問題，用的還是 GPT 的能力。

但是在視覺中，大家還沒有找到一個辦法能夠一體化，很難說理解和生成誰比誰更重要。在我看來，多模的路徑會和語言一樣，先去做一體化，之后做大規(guī)模的預(yù)訓練，再做推理。

視覺新趨勢是 GPT-4o，能生成吉卜力風格的圖片，很好玩，并且 GPT-4o 能夠做連續(xù)、多輪的編輯。雖然 OpenAI 沒說是怎么做的，但我覺得是在理解生成一體化上邁進了一大步，否則做不出這個效果。

晚點：同時做多個模型，那資源、精力具體怎么分配？

姜大昕：這對于創(chuàng)業(yè)公司的資源要求確實高，所以能做出這件事的公司一定不多。

我們的做法是，某段時間可能覺得某個方向比較有希望，就多放點資源，稍微沖一沖；沖到一定程度了，就看下一個。一段時間內(nèi)，有領(lǐng)跑和陪跑。

晚點：在視覺上，實現(xiàn)一體化的技術(shù)路線有哪些？OpenAI 透露，GPT-4o 的文生圖能力用到了自回歸的方法。

姜大昕：理解生成一體化，目前有兩派做法，一派是強行離散，另一派分布模擬。

強行離散，最直接的做法就是仿照語言，強行把高維的東西映射成離散的 token，完全照語言這條路走下去。語言是一個相對來說還比較低維的離散空間，一萬多或者幾萬的維度；而視覺是高維的連續(xù)空間，非要用一個低維的離散空間（表達），那一定會有信息損失。所以目前看到的所有離散化的效果，都沒有那么好。

先不說視頻，先說圖片，圖片是 1024×1024，比語言的維度要高很多，并且是連續(xù)的。如果我們再考慮視頻，更是復(fù)雜。

所以語言用自回歸就可以實現(xiàn)了，視覺做不到，視覺的分布太復(fù)雜。

第二種基本上就是用 diffusion 這種方法。而且一般一次分布太復(fù)雜，沒有辦法用簡單的一次分布去模擬它，所以大家一般用連續(xù)多次，只不過采樣的方法越來越高級。因為 diffusion 很難去照顧到前面很長的 context，它不是一步一步來的，而是 “啪” 一下全部出去。

現(xiàn)在大家又回過頭來討論，這兩種做法能否結(jié)合？能不能把自回歸和 diffusion 結(jié)合起來？這種思路近幾個月很熱。

晚點：生成、理解一體化的好處是什么？

姜大昕：生成控制理解，理解監(jiān)督生成。

比如，一個視頻里老師在黑板寫字，Sora 可以模擬手是怎么動的，粉筆和黑板是怎樣接觸的，但是老師寫了一半停下來了，后面會寫什么？這個部分是要理解去控制的。

反過來，我怎么知道模型是否真的理解了。Feynman 說，“What I cannot create，I do not understand”。即除非我能生成、我能創(chuàng)作，否則我很難說我是真正理解。

晚點：這和語言模型的邏輯其實是一致的。

姜大昕：對，語言模型就是這樣的。語言模型不停的做 predict next token，使其能夠很好地理解，所以 GPT 的理解能力比 Bert（谷歌 2018 年提出的預(yù)訓練語言模型） 上升了不止一個數(shù)量級。我們一直在尋找視覺領(lǐng)域怎么能 predict next frame。

視頻的 “frame” 是指圖片。如果是一張圖，就是 predict next patch，一組像素，但是圖片沒有太多的 context，所以很難產(chǎn)生像語言那樣長序列的壓縮效果，這也是為什么大家做很多很多圖片的預(yù)訓練，發(fā)現(xiàn)它并沒有很多智能。

如果真的有本事 predict next frame 做出來一小時的視頻，那很多物理規(guī)律會在 predict 過程中建模的。

晚點：從多模理解的生成統(tǒng)一到走向世界模型，會經(jīng)歷哪些階段？

姜大昕：AGI 最終是世界模型。

模型能夠完全復(fù)刻一個世界所需要的步驟，理解、預(yù)測、執(zhí)行分步。

先是模擬，predict next frame，再到探索，把動作加進去，能夠預(yù)測接下來的狀態(tài)，以及隨之而來的獎勵是什么。它不是一個具體的數(shù)，它是一個分布。這就是對世界模型最樸素的一個描述。

人實際上就是不停地在做預(yù)測，那世界模型也要能預(yù)測。我的手去動一個杯子之前，大腦就能模擬出推一下杯子之后可能會水灑了、杯子掉地上，然后我彎腰撿起來，這就是動作導(dǎo)致的 predict next state。

晚點：這個和大家講的 VLA （Vision-Language-Action）模型的關(guān)系會是什么？

姜大昕：現(xiàn)在大家理解的 VLA，是做到了 predict action。但實際上我認為 VLA 應(yīng)該是給了視覺之后，有 action 的分布，每一個 action 它會產(chǎn)生什么 state，產(chǎn)生什么 reward ——這才能叫 VLA。

晚點：目前視覺模型還沒做到一體化，你怎么看這種 “先分開、再融合” 的過程？

姜大昕：現(xiàn)在視覺不是堵在這個點上不能往后走了。理解和生成分開，分別在往前走，但就是還沒合起來。

這兩件事情分開走也沒問題，到某一個節(jié)點，也許就水到渠成了?，F(xiàn)在就缺一層窗戶紙，看誰能真正找到一個辦法，把它合起來。

我之前也說過，Sora 出來時我們有些失望，因為 4V 是理解方向的，下一步應(yīng)該是理解生成一體化，但是 OpenAI 出了一個生成模型。

這對我們來說有兩點啟發(fā)：一，這件事情非常難，他們也沒做出來；二，他們現(xiàn)在開始看兩者之間能不能互相增強。比如怎么找到 Sora 的訓練數(shù)據(jù)？可能是拿 4V 去打標的。Sora 生成的數(shù)據(jù)，能不能再幫 4V 去做理解？我覺得 OpenAI 內(nèi)部可能也做了這樣的事情。生成和理解相輔相成，可以認為像太極一樣在轉(zhuǎn)。

晚點：多模理解生成統(tǒng)一，你覺得你們 2025 年會實現(xiàn)嗎？

姜大昕：我是期待有一個大的 jump 出來，能讓大家覺得這件事情簡單?，F(xiàn)在大家看到了一點光，以前不敢做，現(xiàn)在 GPT-4o 說可以做。

有時就是這樣的，你不知道什么時候會突然出一個什么東西。目前我們看到的三個大的 jump，ChatGPT 算一個，Sora 算一個，o1 算一個，下一個我希望是理解生成一體化。

“將來也許所有的終端都可以變成一個 Agent”

晚點：今年冒泡鴨做了調(diào)整，躍問也更名為階躍 AI。為什么會這么調(diào)整？

姜大昕：早期我們基于當時的模型能力進行了一些產(chǎn)品探索。2025 年，隨著多模態(tài)和推理能力的成熟，我們產(chǎn)品進行收斂，聚焦 Agent 方向。“躍問” 改名為 “階躍 AI”，意味著它從 Chat 類的產(chǎn)品到 Agent 能力的轉(zhuǎn)變。

晚點：你們今年重點是和手機、汽車結(jié)合智能終端 Agent ，以及滿足行業(yè)需求的垂類 Agent，為什么會選這兩個方向？

姜大昕：這背后的邏輯是，硬件很重要。第一，很多終端是用戶感知和體驗的延伸。比如說我們的手機，最近的一些 AI 眼鏡或者是耳機，它可以認為是人體器官的延伸，它可以搜集我們所處的環(huán)境，能夠幫助模型更好地理解用戶的上下文。比如 PLAUD 就是人耳的延伸，用戶帶著它到處跑，它能隨時隨地收集我們的 context，然后對信息加工，完成用戶讓它完成的任務(wù)，這是非常自然的過程。

第二，很多的智能終端設(shè)備，能幫你完成任務(wù)。比如說你過去沒法通過自然語言操作一個有很多功能的微波爐，但如果它接入多模態(tài)模型，就變成一個 Agent，你可以跟它說 “我要蒸個雞蛋”，它就會自動去做。

晚點：這種和硬件結(jié)合的 Agent，和大家今年討論的主要在 Web 端、移動端幫你做白領(lǐng)工作，比如 PPT、寫報告的 Agent 產(chǎn)品形態(tài)不太一樣？

姜大昕：什么是 Agent？大家也沒有形成統(tǒng)一的定義，我也看到過有非常冗長的對于 Agent 的定義，方方面面滴水不漏。我自己喜歡簡單的描述，即 “它能夠自主地幫人類完成復(fù)雜的任務(wù)”。

咬文嚼字一下，什么是 “自主”？一個自動，一個主動。

“自動” 是能獨立完成多步任務(wù)，盡可能少的或者不需要人類去干預(yù)；“主動” 是能夠理解用戶的環(huán)境、理解用戶的上下文，從而主動地發(fā)起任務(wù)。比如開會時，老板突然說了一點事先沒有準備的話題，Agent 可以默默地把所有的相關(guān)材料準備好，并且 summarize。

如果類比到人，可能我們對 Agent 更高級的期許就是 Agent 應(yīng)該眼里有活。

晚點：Agent 概念 2023 年之前就有了，為什么在 2024 年底至今的階段越來越受到關(guān)注？

姜大昕：要做到 “自動”，就要有相對比較長的鏈條，支撐自動完成且不出錯，需要比較強的推理能力。所以模型推理能力要達到一定的門檻，才能做這件事情。

“主動” 是理解用戶的環(huán)境、理解上下文，就少不了多模態(tài)。

那 Agent 為什么會在今年火爆？2024 年下半年 GPT-4 出來，多模態(tài)融合有相對比較大的進步；從 9 月份開始，OpenAI o1-Preview 出來，一直到 DeepSeek R1 出來，模型推理能力得到了非常大的提高。兩個進展出現(xiàn)之后，Agent 完成度和用戶滿意度會達到一個新的點。這是為什么大家突然覺得 Agent 可做。

晚點：回到你們對 Agent 的設(shè)想，手機、汽車、機器人，未來所有終端都會需要 AI Agent 的能力嗎？它們共享同一個 Agent 嗎？這是一個怎樣的未來？

姜大昕：Agentize every hardware，這是我自己造的詞，就是把沒有生命的、不知道怎么跟人類交流的終端設(shè)備變成一個 Agent，變成你的伙伴。硬件本身是很長尾的，除了手機，很多家電、可穿戴設(shè)備，這些都可以變成 Agent。

我的另一個判斷是，未來還有做生態(tài)的機會，需要有一個跨設(shè)備的平臺讓人操控各類硬件。

垂類 Agent 我們是生態(tài)打法，選擇和頭部合作伙伴深度合作。比如金融領(lǐng)域，我們和界面財聯(lián)社成立財躍星辰，專門來做金融領(lǐng)域相關(guān)布局。

晚點：你們智能終端的 Agent，更多是 2B2C（服務(wù)對接消費者的企業(yè)）模式，已經(jīng)跟 OPPO、TCL、智元機器人、吉利汽車等方面合作，可以講講這么做的邏輯嗎？

姜大昕：我們希望跟合作伙伴一起打造產(chǎn)品級的收入。車和手機，是現(xiàn)在出貨量比較大的終端，IoT 和具身是未來可能出貨量比較大的終端。我們希望和終端合作，做個性化的 AI 助手。

晚點：跟硬件廠商合作，你們現(xiàn)在的商業(yè)模式是什么？收取一次性的開發(fā)、部署費用，還是按銷量獲得 license（專利授權(quán)） 費用？還是按模型調(diào)用量收費？

姜大昕：我們當前和終端的合作模式比較緊密，有多樣的收費方式，并且是可持續(xù)的。

現(xiàn)在還是生態(tài)演變的早期，未來整個產(chǎn)品平臺會有非常多演變的機會。license 未來也會探索，甚至有可能用戶訂閱了以后我們分潤。商業(yè)模式還有待探討，我們也會根據(jù)發(fā)展情況隨時調(diào)整。

晚點：手機上有很多 App，如果都被 Agent 化了，AI Agent 變成流量入口了，手機廠商樂意嗎？

姜大昕：我目前沒有答案。手機廠商、模型廠商、APP 之間生態(tài)到底怎么合作？它們的互動方式是什么樣的？我覺得還是需要一些時間來探索的。

晚點：手機廠商可能會怎么想這個問題？

姜大昕：一方面手機廠商很興奮，覺得這是改變生態(tài)的機會；但另一方面他們也很克制，因為需要考慮改變帶來的影響。中間有個博弈的過程。

“我們 I 人天然就喜歡在二樓 watch over the balcony”

晚點：你的一天一般會怎么度過？

姜大昕：我一般來公司比較早，8 點到 10 點半基本沒人打擾我，我會自己靜下心來看一些需要 deep think 的東西。比如論文，因為我發(fā)覺論文不看，會影響自己的判斷。也會看一些公眾號，包括《晚點》。

等大家都來公司了，我會跟他們開會，問問進展。

晚點：你會用 AI 來幫你看論文嗎？

姜大昕：會，可以隨時隨地問。我自己也會寫一點小的 AI 工具玩一玩，比如幫我把播客扒下來轉(zhuǎn)文字，因為我看的速度比聽的速度快很多。

我以前更多是 from books 和 paper，創(chuàng)業(yè)之后，現(xiàn)在我越來越多 from others，因為我發(fā)現(xiàn)時間很少，很多事也不用那么 deep：光我一個人 deep 也沒用；我再 deep 也 deep 不過張祥雨和朱亦博，甚至是很多一線的同學。

但我要知道得比較寬，所以我就把他們一個個喊來，給我各種各樣的 input。如果當下我沒搞懂，我可能第二天早晨花點時間 deep 一下。

晚點：你在微軟時也帶 400 多人團隊，和你現(xiàn)在創(chuàng)業(yè)帶團隊的區(qū)別是什么？

姜大昕：大部分挺像的。跟原來不一樣的是要做很多抉擇。教員說過：“一把手只干三件事，定方向、搭班子、帶隊伍?！?以前搭班子和帶隊伍經(jīng)常做，但不需要我太多做決策，CEO 就是每天都要做決策。

晚點：做決策意味著什么？有人說工作可以是有限責任，但是創(chuàng)業(yè)一開始就是無限責任。

姜大昕：我理解的做決策就是你要做什么，不做什么，尤其是你不做什么。因為太多東西你想做，你也說我們做得很多，其實那已經(jīng)是我們決定了很多不做的。

晚點：有哪些是你在創(chuàng)業(yè)之初沒有想到，后來發(fā)現(xiàn)還挺難的事？

姜大昕：現(xiàn)在做 CEO，需要去宣傳。這是我原先不太想做，現(xiàn)在也不太想做的，并且我覺得我做得不是特別好。

我讀 Ph.D 時，我老板跟我講，你怎樣才能畢業(yè)？就是你要學會 presentation，這包括兩個，一個是你要能寫 paper，第二個是你要能做 talk。

技術(shù) talk 相對比較好講，它有一個套路。你第一件事情要說為什么這件事情很重要，別人才有興趣往下聽；第二件事去說這件事情很難，還要講一個小故事，我一開始是怎么做的，但后來發(fā)現(xiàn)不對，我的 insight 是什么；最后一件事，你要說不僅我自己好，還要帶動大家一起好，所以你一定要聽我的 talk。

我是一個 well-trained 的 Ph.D，但我發(fā)現(xiàn) CEO 的 presentation 和 Ph.D 的 presentation 不一樣。相同點是要講一個故事；但是 Ph.D 講的是技術(shù)的故事，CEO 要講的是商業(yè)的故事，這是不一樣的。

晚點：告訴大家為什么這件事很重要，倒是很像商業(yè)的 talk。

姜大昕：這兩者之間有點是通的。但是我是 I 人，現(xiàn)在還在適應(yīng)，怎么把商業(yè) talk 講得更好。

晚點：這可能是 I 人要成長的地方。那 I 人做 CEO 有什么優(yōu)勢？

姜大昕：I 人的優(yōu)勢是，會去 listen，會去 observe，我覺得這對一個 CEO 來說還是蠻重要的。當然也要去展示，但是在 output 之前要先有 input。

我在微軟經(jīng)過一次培訓，一個觀點我印象很深，他說一個管理者的角色是 watch over the balcony。在歐洲，很多人是要在一樓的舞池里跳舞，作為 CEO、管理層在下面跳，一定很風光，但你看不到舞池里誰跳得不對。你可以是全場跳得最好的人，但不要陶醉于此。

晚點：E 人更容易下場跳舞，I 人則能看到舞池里誰跳得不對。

姜大昕：我們 I 人天然就喜歡在二樓 watch over the balcony。

題圖來源：階躍星辰