4月14日，小鵬汽車在香港舉辦AI技術(shù)分享會，首次對外展示其正在研發(fā)的超大規(guī)模自動駕駛大模型——“小鵬世界基座模型”，參數(shù)規(guī)模高達720億。這一模型將為小鵬汽車的“AI汽車”提供全新的智能大腦，并賦能其AI機器人、飛行汽車等業(yè)務(wù)。

小鵬世界基座模型以大語言模型為骨干網(wǎng)絡(luò)，通過海量優(yōu)質(zhì)駕駛數(shù)據(jù)訓練，具備視覺理解、鏈式推理和動作生成能力。通過強大的強化學習訓練，該模型不斷自我進化，有望發(fā)展出超越人類的自動駕駛技術(shù)。

小鵬汽車自動駕駛負責人李力耘介紹，該模型的一大優(yōu)勢是具備鏈式推理能力（CoT），能夠像人類一樣進行復雜的常識推理，并將推理結(jié)果轉(zhuǎn)化為行動，實現(xiàn)與物理世界的交互。未來，智能駕駛系統(tǒng)有望借助這一模型從“模仿人類”進化到“超越人類”，處理全場景自動駕駛問題。

為了支持基座模型的研發(fā)，小鵬汽車早在去年就開始布局AI基礎(chǔ)設(shè)施，建成國內(nèi)汽車行業(yè)首個萬卡智算集群，打造了一套名為“云端模型工廠”的生產(chǎn)流程。該工廠涵蓋了基座模型的預訓練、后訓練、模型蒸餾、車端模型訓練等任務(wù)，實現(xiàn)了從云到端的高效生產(chǎn)。

目前，小鵬“云端模型工廠”擁有10 EFLOPS的算力，集群運行效率常年保持在90%以上，從云到端的全鏈路迭代周期可達平均5天一次。此外，小鵬汽車自主開發(fā)了底層的數(shù)據(jù)基礎(chǔ)設(shè)施，使數(shù)據(jù)上傳規(guī)模提升22倍、訓練中的數(shù)據(jù)帶寬提升15倍，模型訓練速度提升了5倍。

在分享會上，小鵬汽車披露了基模研發(fā)的三個階段性成果：

驗證規(guī)模法則：小鵬團隊首次驗證了規(guī)模法則在自動駕駛領(lǐng)域持續(xù)生效，即參數(shù)規(guī)模和訓練數(shù)據(jù)量越大，模型的能力越強。

基?？剀嚕盒※i汽車在后裝算力的車端成功實現(xiàn)基模控車，全新基模展現(xiàn)出令人驚喜的基礎(chǔ)駕車技能。

啟動72B參數(shù)基模訓練：小鵬汽車已經(jīng)啟動72B參數(shù)基模的訓練，并搭建了針對強化學習的模型訓練框架。

小鵬汽車去年就開始研發(fā)強化學習技術(shù)，用以提升基座模型的性能天花板。強化學習能夠幫助模型自我進化，學會處理訓練數(shù)據(jù)中沒有的長尾問題，做到極致安全的自動駕駛。

同時，小鵬汽車已經(jīng)著手開發(fā)世界模型(World Model），作為“云端模型工廠”的重要一環(huán)，支持基座模型的性能優(yōu)化。這一實時建模和反饋系統(tǒng)能夠構(gòu)建一個閉環(huán)的反饋網(wǎng)絡(luò)，幫助基座模型不斷進化，突破過去“模仿學習”的天花板。

基模研發(fā)是小鵬汽車“AI化”轉(zhuǎn)型的重要一步，小鵬汽車將繼續(xù)在自動駕駛領(lǐng)域投入研發(fā)，推動智能汽車技術(shù)的發(fā)展。關(guān)于小鵬世界基座研發(fā)和訓練成果更多的細節(jié)，今年6月小鵬汽車將會在計算機視覺國際頂會CVPR上進一步分享，值得期待。