西風(fēng) 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI

剛剛，文心5.0正式發(fā)布了！

全新一代主打原生全模態(tài)，最開始就把語言/圖像/視頻/音頻放在同一套自回歸統(tǒng)一架構(gòu)里，做統(tǒng)一的理解與生成訓(xùn)練。

所以，最終模型能夠做到支持全模態(tài)輸入（文字/圖片/音頻/視頻）+全模態(tài)輸出（文字/圖片/音頻/視頻），創(chuàng)意寫作、指令遵循、智能體規(guī)劃方面也更強(qiáng)了。

在官方展示中，上傳一個(gè)電影片段，它立馬就能分析出最緊張的情節(jié)，具體到第幾秒到第幾秒的那種。

同時(shí)上傳一段視頻和一段音頻，就能讓它指出視頻里是否有用到音頻里的音樂，還能說出節(jié)點(diǎn)：

做音視頻融合生成也行，簡單操作即可爆改甄嬛傳滴血認(rèn)親（佟掌柜版）：

視頻鏈接：https://mp.weixin.qq.com/s/wMeWKu2HAGuilZtlY7Q5KA

拿來生成3D交互式地球與衛(wèi)星演示模型，用戶可以通過鼠標(biāo)拖拽旋轉(zhuǎn)視角，直觀地觀察地球與衛(wèi)星的空間運(yùn)動(dòng)關(guān)系：

官方基準(zhǔn)測試結(jié)果顯示，文心5.0 Preview在語言、視覺理解、音頻理解、視覺生成多維度表現(xiàn)突出

就在幾天前，文心5.0 Preview（ERNIE-5.0-Preview-1022）還閃現(xiàn)大模型競技場LMArena，在文本排行榜（Text Arena）上得分1432，與gpt-4.5-preview、claude-opus-4-1、claude-sonnet-4-5等并列全球第二，位居國內(nèi)第一

當(dāng)時(shí)，不少在LMArena體驗(yàn)過的網(wǎng)友給出好評。

更有網(wǎng)友追問啥時(shí)候正式上線。

這不，現(xiàn)在它來了。

目前，文心5.0 Preview已上線文心一言網(wǎng)頁版、文心App；同時(shí)上線百度千帆大模型平臺，提供API服務(wù)。

不過，Preview版暫且先支持全模態(tài)輸入（文/圖/音/視頻）+多模態(tài)輸出（文/圖）。量子位了解到，能實(shí)現(xiàn)全模態(tài)輸出的滿血版現(xiàn)在正在進(jìn)行產(chǎn)品體驗(yàn)優(yōu)化，之后會(huì)陸續(xù)推出。

那就先讓文心5.0 Preview帶我們一探，文心5.0體驗(yàn)感究竟如何。

文心5.0 Preview實(shí)測，原生全模態(tài)強(qiáng)在哪？

先來看輸入方面，文心5.0 Preview支持全模態(tài)輸入。

在單次交互中，不論是文檔、圖片，還是音頻、視頻，都能一口氣發(fā)給它，可跨文件類別混合上傳

具體規(guī)則如下：

值得一提的是，經(jīng)用戶授權(quán)，它還能與百度網(wǎng)盤關(guān)聯(lián)，無需下載就能訪問處理網(wǎng)盤文件：

接下來，整活兒～

多模態(tài)理解推理全面強(qiáng)化

在多模態(tài)理解能力上，我們上來就給它看了一段跳水比賽史上的名場面：

視頻鏈接：https://mp.weixin.qq.com/s/wMeWKu2HAGuilZtlY7Q5KA

給出簡單的prompt：這個(gè)視頻中發(fā)生了什么？有什么好笑的？

只見文心5.0 Preview和之前的深度思考模型一樣，先進(jìn)行了一輪自我思考，包括回顧視頻內(nèi)容、描述視頻、找出好笑的地方以及確認(rèn)了更多細(xì)節(jié)，緊接著快速給出了結(jié)果。

這波回答什么水平？

細(xì)看文心5.0 Preview的理解分析，咱只能說，理解的精細(xì)度有點(diǎn)離譜了。

從起跳、空中翻轉(zhuǎn)到入水，各動(dòng)作階段拆得門清；一閃而過的選手信息、動(dòng)作名稱、難度系數(shù)，也都被它精準(zhǔn)捕捉到了。

同時(shí)，它甚至還帶有視頻情感理解能力，注意到了選手的表情——起跳時(shí)皺著眉、咬著牙，像是在硬著頭皮往下跳。

“入水瞬間水花越小越厲害”“壓水花”，這些行規(guī)它也懂。

真正的神來之筆，是它連視頻中的慢放片段都能識別，還點(diǎn)明慢動(dòng)作回放補(bǔ)刀。

好好好，下一題。

搬出“你怎么穿著品如的衣服??？”這一電視劇名場面，問：品如穿的什么顏色的衣服？

這時(shí)，文心5.0 Preview又當(dāng)如何作答？

結(jié)合視頻中的臺詞，文心5.0 Preview輕松答對：

上難度。

那么，“視頻中的女人是品如嗎？”

這次文心5.0 Preview依靠智能體能力自主調(diào)用了搜索工具，通過角色名等線索，將這一幕準(zhǔn)確定位為出自電視劇《回家的誘惑》。

值得一提的是，它最后是根據(jù)角色的性格特征，分析出視頻中的不是品如的

并且也是通過性格特征推測，穿著品如粉色衣服的這個(gè)人，大概率是艾莉。

不得不說，這理解能力確實(shí)讓人眼前一亮。

那再來一張難倒不少大模型的帶有文字的諧音梗圖，看它能否理解透徹：

通過思考，圖片理解對它來說更是不在話下了：

最后，咱下班路上路過賣炒貨的攤兒，順手拍了幾秒的視頻上傳給文心5.0 Preview。

盡管視頻分辨率不是很高，它也能抓到細(xì)節(jié)，算出兩斤糖炒栗子、一斤炒內(nèi)蒙瓜子、一斤現(xiàn)炒四粒紅花生一共多少錢。

要說瑕疵的話，就是沒區(qū)分會(huì)員價(jià)和非會(huì)員價(jià)，默認(rèn)按會(huì)員價(jià)計(jì)算。不過視頻確實(shí)有點(diǎn)糊，也難怪看不清。

測試下來不難發(fā)現(xiàn)文心5.0 Preview的特點(diǎn)——

它不僅能識別畫面中的內(nèi)容，而且還能精準(zhǔn)捕捉到各種細(xì)節(jié)，同時(shí)擅長結(jié)合視頻情節(jié)、臺詞等多模態(tài)內(nèi)容，理解其中的情感氛圍和敘事意圖

另外，在綜合推理、跨模態(tài)信息整合、復(fù)雜場景判別方面，文心5.0 Preview也更強(qiáng)，不容易被單一模態(tài)誤導(dǎo)，能從多個(gè)角度判斷畫面的合理性。

更多用法，隨你發(fā)揮

除了上面這些用法，基于全模態(tài)輸入+多模態(tài)輸出，還能玩出更多花樣。

比如文圖混合輸入生成新圖

秒秒鐘把家里的貓貓打扮成“高雅人士”：

日常學(xué)習(xí)工作中，我們常需高效獲取視頻、音頻的核心內(nèi)容。只需上傳，文心5.0 Preview就能快速完成總結(jié)。

而且別忘了文心5.0 Preview一次性最多能上傳10個(gè)視頻，多任務(wù)內(nèi)容整理輕松搞定。

以李飛飛團(tuán)隊(duì)最新成果Marble的宣傳片為例，它不僅能精準(zhǔn)提煉核心主題，還能條理清晰地梳理完整情節(jié)，就算臺詞很少，它也能根據(jù)畫面講清楚細(xì)節(jié)。

更多功能，大家伙可以自己親自上手多測一測。

原生全模態(tài)技術(shù)背后

從技術(shù)上來看，文心5.0這次的設(shè)計(jì)以“原生統(tǒng)一”為目標(biāo)，走的是非后期拼接的原生全模態(tài)路線。

過去的多模態(tài)模型通常是各模態(tài)獨(dú)立訓(xùn)練、后期再進(jìn)行特征拼接或融合，這種方式雖然工程上更易落地，但在語義對齊、信息互證和效率上存在天然瓶頸。

文心5.0的方法是從訓(xùn)練伊始，就將語言、圖像、視頻、音頻等多模態(tài)數(shù)據(jù)放入同一套架構(gòu)中聯(lián)合學(xué)習(xí)，使模型在底層就能形成跨模態(tài)的內(nèi)在關(guān)聯(lián)與理解邏輯。就像人看到閃電會(huì)聯(lián)想到雷聲，文心5.0也在試圖建立這種跨模態(tài)的直覺。

為了實(shí)現(xiàn)這種統(tǒng)一的理解，它采用了自回歸統(tǒng)一結(jié)構(gòu)

通過對不同模態(tài)的訓(xùn)練目標(biāo)進(jìn)行離散化建模，使多模態(tài)特征得以在統(tǒng)一的架構(gòu)中充分融合與協(xié)同優(yōu)化。這意味著，無論輸入是文字、圖像還是音頻，都會(huì)被映射到統(tǒng)一的表征空間中，用同一套邏輯結(jié)構(gòu)進(jìn)行處理與解碼，從而打通模態(tài)間的邊界。

為同時(shí)兼顧知識容量與運(yùn)行效率，文心5.0引入了當(dāng)前大模型主流架構(gòu)——超大規(guī)?；旌蠈＜壹軜?gòu)

該架構(gòu)在保持模型性能的同時(shí)，通過稀疏激活機(jī)制顯著降低了計(jì)算負(fù)載。每次推理只會(huì)激活與任務(wù)最相關(guān)的專家模塊，實(shí)現(xiàn)能力全面與成本可控的平衡。

官方透露，在底層實(shí)現(xiàn)上，百度飛槳深度學(xué)習(xí)框架提供了關(guān)鍵支撐

訓(xùn)練端，通過多模態(tài)編碼器分離異步訓(xùn)練架構(gòu)、動(dòng)態(tài)自適應(yīng)顯存卸載、細(xì)粒度通信計(jì)算重疊編排及FP8混合精度訓(xùn)練，文心5.0實(shí)現(xiàn)了萬億級參數(shù)模型的高效分布式訓(xùn)練。

推理端，基于多模編碼器-預(yù)填充-解碼-多模生成器的多級分離推理部署框架，結(jié)合超稀疏混合專家、數(shù)據(jù)負(fù)載和注意力計(jì)算的均衡算法，以及動(dòng)態(tài)自適應(yīng)多步投機(jī)解碼和效果無損低比特鍵值緩存量化技術(shù)，大幅降低了推理成本。

整體而言，文心5.0的模型總參數(shù)規(guī)模超過2.4萬億；其超稀疏激活參數(shù)設(shè)計(jì)，激活比例低于3%，在保持模型性能的同時(shí)顯著優(yōu)化了計(jì)算與推理效率。

另外，文心5.0的能力還延伸到智能體與工具調(diào)用的執(zhí)行層。

通過在真實(shí)和模擬環(huán)境中合成長程任務(wù)軌跡數(shù)據(jù)，并結(jié)合思維鏈、行動(dòng)鏈與多輪強(qiáng)化學(xué)習(xí)訓(xùn)練，模型在任務(wù)規(guī)劃、工具使用和決策執(zhí)行方面實(shí)現(xiàn)了系統(tǒng)性提升。

今年完成的又雙叒一輪迭代

近一年，大模型領(lǐng)域的競爭邏輯發(fā)生轉(zhuǎn)變。

行業(yè)正越來越注重底層架構(gòu)創(chuàng)新、訓(xùn)練與推理效率、落地成本等多維度的綜合考量，各廠商也在技術(shù)路徑上尋找差異化突破口。

從百度今年基礎(chǔ)模型的迭代節(jié)奏來看，更新步伐持續(xù)加快：

4月，發(fā)布文心4.5 Turbo和文心X1 Turbo，增強(qiáng)多模態(tài)能力和推理能力。

6月底，文心4.5系列，包括47B、3B激活參數(shù)的混合專家（MoE）模型及0.3B參數(shù)的稠密型模型等10款模型，宣布開源，預(yù)訓(xùn)練權(quán)重和推理代碼上均做到完全開放。

9月，文心X1.1深度思考模型發(fā)布，在事實(shí)性、指令遵循、智能體能力上持續(xù)提升。其開源模型ERNIE-4.5-21B-A3B-Thinking在抱抱臉全球模型總趨勢榜和文本模型趨勢榜均排名第一。

伴隨底層模型的迭代，如百度電商數(shù)字人、百度搜索等上層應(yīng)用也在持續(xù)演進(jìn)，逐步承接模型能力。

這一次，文心5.0原生全模態(tài)模型的推出，也是百度從最底層實(shí)現(xiàn)的又一次差異化突破。背后撐起這一躍的，是百度在底層架構(gòu)、算法訓(xùn)練、推理優(yōu)化及生態(tài)協(xié)同等全鏈路環(huán)節(jié)上的系統(tǒng)性積累。

在多模態(tài)“強(qiáng)推理”和“深理解”方向，百度正在探索下一階段模型能力的邊界。