新智元報道

編輯：桃子 好困

【新智元導讀】馬斯克的終極設想，正在成形。今天，特斯拉放出了「世界模擬器」震撼演示。一個神經(jīng)網(wǎng)絡，每天狂吞500年人類駕駛經(jīng)驗，并在無限的虛擬世界中自我進化。同款AI大腦，擎天柱也可共用。

一個神經(jīng)網(wǎng)絡模型，統(tǒng)治了一切。

今天，特斯拉官宣神經(jīng)網(wǎng)絡「世界模型器」，AI可以直接模擬、合成自動駕駛的「孿生世界」。

如下九宮格演示中，特斯拉「世界模擬器」生成了汽車行駛過程中的不同視角。

同時，一些長尾場景，諸如行人橫穿馬路、車輛加塞，AI都可以直接「腦補」生成。

從相同的初始視頻出發(fā)，讓模擬中的汽車以對抗性方式形式

以往遇到的挑戰(zhàn)場景，「世界模擬器」能夠在虛擬世界中不斷試煉。

從相同的初始視頻片段（綠色小方塊）開始，模擬會根據(jù)新的動作集發(fā)散到不同狀態(tài)

這種數(shù)據(jù)的合成，還可以通過像玩游戲一樣，在模擬的世界中駕駛。

如下所示，神經(jīng)網(wǎng)絡成功合成8個攝像頭、24幀/秒的連續(xù)畫面，一次直出長達6分鐘的逼真駕駛體驗，細節(jié)還原度驚人。

通過調(diào)配算力，同一模型即可實時模擬世界

一直以來，馬斯克宣稱，特斯拉所打造「世界模型」是一套共用的AI大腦，并為其配上不同的「身體」——自動駕駛汽車、機器人。

沒錯，這個「世界模擬器」所有合成的環(huán)境，同樣可以模擬多種真實場景，訓練擎天柱。

擎天柱正在特斯拉的神經(jīng)網(wǎng)絡虛擬世界中穿行

擎天柱的各種不同動作，都能精準地反映在虛擬世界的模擬當中

這種無限的絕佳試煉場，正是特斯拉讓FSD和擎天柱，不斷精進的秘密武器。

那么，特斯拉「世界模擬器」是如何學習、訓練，并用于測試的呢？

近來，在ICCV 2025主題演講中，特斯拉AI團隊的負責人Ashok Elluswamy揭開了內(nèi)幕。

一個神經(jīng)網(wǎng)絡大腦，兩個身體

眾所周知，特斯拉利用一個「端到端」的神經(jīng)網(wǎng)絡來實現(xiàn)自動駕駛。

這個端到端網(wǎng)絡處理來自多個攝像頭、車輛速度等運動學信號、音頻、地圖及導航信息，最終生成控制車輛行駛的指令。

選擇「端到端」這條技術路線，意味著什么？

要理解特斯拉在做什么，我們首先得知道，自動駕駛領域存在著兩條截然不同的技術路線。

第一條路，也是絕大多數(shù)公司選擇的路，可以稱之為「模塊化」的方法。這種方法將駕駛?cè)蝿詹鸾獬蓭讉€獨立的步驟：

• 感知（Perception）：利用激光雷達、高清攝像頭等傳感器，識別出道路上的所有物體——這是車，那是人，這是一條車道線。

• 預測（Prediction）：利用感知數(shù)據(jù)，預測這些物體的下一步動向——那輛車可能會變道，那個行人可能會過馬路。

• 規(guī)劃（Planning）：根據(jù)預測結(jié)果，規(guī)劃出自己車輛的最佳行駛路徑——應該減速，還是應該繞行。

這種方式的好處顯而易見：分工明確，每個模塊都可以獨立開發(fā)和調(diào)試，在項目初期更容易上手。

第二條路，也是特斯拉所選擇的：是「端到端」（End-to-End）神經(jīng)網(wǎng)絡。

在特斯拉的系統(tǒng)中，不存在獨立的感知、預測和規(guī)劃模塊，只有一個龐大而統(tǒng)一的神經(jīng)網(wǎng)絡。

這個網(wǎng)絡的「輸入端」，是車輛攝像頭捕捉到的原始像素畫面、車輛自身的速度、音頻、地圖導航信息等一切原始數(shù)據(jù)；

這也是特斯拉一直以來，所推崇的「純視覺」方案。

而它的「輸出端」，則直接是兩個指令：轉(zhuǎn)動方向盤的角度，和踩下油門/剎車的力度。

在特斯拉看來，與依賴激光雷達等昂貴傳感器的「模塊化」（感知、預測、規(guī)劃分立）方案相比，端到端方案擁有根本性優(yōu)勢：

1.學習人類價值觀

復雜的現(xiàn)實路況充滿了「迷你電車難題」，這些權衡難以用代碼規(guī)則窮舉，但可以從海量的人類駕駛數(shù)據(jù)中隱式學習。

舉個栗子，在下面的場景中，AI需要決定是直接碾過前方一大片水洼，還是借道對向車道。

通常來說，突然駛?cè)肓硪粋?cè)車道會存在一定的危險。

傳統(tǒng)的「模塊化」系統(tǒng)會在這里陷入邏輯沖突。

它的程序里可能有兩條寫死的規(guī)則：「規(guī)則A：絕對不能駛?cè)雽ο蜍嚨馈购汀敢?guī)則B：避免駛過障礙物（如此大的水坑）」。

當兩條規(guī)則沖突時，系統(tǒng)該如何抉擇？

但眼下能見度足夠高，在可預見的未來未來不會有對向車輛駛來；其次，水坑比較大，最好是避開。

而這種權衡，很難用傳統(tǒng)編程邏輯描述出來，但人看一眼就知道該怎么做了。

這只是經(jīng)典「迷你電車難題」其中一個案例，現(xiàn)實中，自動駕駛汽車還會遇到各種罕見的問題。

AI不是在執(zhí)行規(guī)則，而是在學習一種更接近人類價值觀的判斷方式。

2.消除模塊間的信息損失

在傳統(tǒng)方案中，感知、預測和規(guī)劃模塊之間的接口難以明確界定。

而在端到端系統(tǒng)中，梯度能夠從最終的控制指令一直反向傳播至傳感器輸入，從而對整個網(wǎng)絡進行整體性優(yōu)化。

如下兩段路況：一個是雞群要過馬路，另一個是鵝群在路中間溜達。

若在「感知」和「規(guī)劃」這兩個模塊之間，建立一套明確的判斷規(guī)則（本體論ontology）非常困難。

對于模塊化系統(tǒng)，「感知」模塊可能會給「規(guī)劃」模塊傳遞這樣的信息：「識別到一群鳥類」。

但這種信息是冰冷的。

這群鳥的「意圖」——一種微妙、難以量化的信息——在模塊之間的傳遞過程中很容易丟失。

「規(guī)劃」模塊無法知道，它應該為這群雞減速讓行，還是可以安全地繞過這群鵝。

一群雞正在路邊，看起來有要過馬路的意圖；FSD停車等待

一群鵝在路邊，但它們只是想待在原地；FSD直接繞行

在「端到端」的網(wǎng)絡里，不存在這種信息傳遞的壁壘。

整個網(wǎng)絡作為一個整體，直接從像素中理解了「雞要過馬路」和「鵝想待著」這兩種不同的「軟意圖」（soft intent），并直接輸出減速或繞行的駕駛行為。

從輸入到輸出，信息是完整流動的，不存在中間環(huán)節(jié)的損耗。

正是基于這些原因，特斯拉選擇了「端到端」這條路。當然，也伴隨著巨大的挑戰(zhàn)。

3.可擴展性與簡潔性

它能更好地處理現(xiàn)實世界中無窮無盡的「長尾問題」，并且計算架構(gòu)統(tǒng)一，延遲確定。

4.Scaling Law的延續(xù)

總體而言，這更符合「苦澀的教訓」（The Bitter Lesson）所揭示的規(guī)律——即強大的通用方法和海量算力，最終將超越復雜的人工設計。

正是因為上面這些原因，以及其更多其他的考量，特斯拉才選擇了「端到端」架構(gòu)來做自動駕駛。

不過話說回來，要打造這樣的系統(tǒng)，還得克服不少難題。

20億token輸入，跳出「維度詛咒」

在真實世界中，一個安全的自動駕駛系統(tǒng)，需要處理高幀率、高分辨率、長時間序列的輸入信息。

特斯拉算了一筆賬：

• 7個攝像頭×36幀/秒×500萬像素×30秒歷史數(shù)據(jù)

• 未來幾英里的導航地圖和路線

• 100 Hz車輛動態(tài)數(shù)據(jù)，如速度、慣性測量單元（IMU）、里程計等

• 48 KHz音頻數(shù)據(jù)

如果將這些輸入token拆分成最小的「信息單元」，比如每個圖像塊是5x5像素，token總數(shù)將高達20億個。

神經(jīng)網(wǎng)絡的任務，就是在這20億個輸入信息單元中，找到正確的因果關系，并最終將其壓縮成2個token——方向盤和加減速。

這是一個極其棘手的問題，AI很容易在如此海量的數(shù)據(jù)中，學到錯誤的、偶然的「相關性」，而非真正的「因果性」。

特斯拉的解法簡單粗暴：用巨大的數(shù)據(jù)量來解決問題。

他們坐擁一個數(shù)據(jù)寶庫，其車隊每天能產(chǎn)生相當于人類500年駕駛時長的海量數(shù)據(jù)。

負責人Ashok Elluswamy將其稱之為，「Niagara Falls of data」。當然，并非所有數(shù)據(jù)都有用。

因此，特斯拉建立了一套復雜的「數(shù)據(jù)引擎」流水線，從海量視頻中自動篩選出最有趣、最罕見、最高質(zhì)量的學習樣本。

當AI學習了足夠多這樣的「疑難雜癥」數(shù)據(jù)后，它就能展現(xiàn)出驚人的泛化能力。

比如在一個雨天路滑的場景中，AI在前方車輛還未明顯失控時，就提前開始減速。

它理解到：下雨、前車可能打滑、撞上護欄后可能反彈回車道……這種對「二階效應」的預判，只有在見過足夠多復雜情況后才能學會。

FSD思維過程揭開，全憑攝像頭

「端到端」系統(tǒng)最大的詬病在于——「黑箱」特性。

如果車輛做出了一個奇怪的舉動，工程師如何知道是哪里出了問題？

Ashok認為，這個「黑箱」其實可以被打開。

特斯拉神經(jīng)網(wǎng)絡在輸出最終駕駛指令的同時，也能輸出可供人類理解的「中間token」（Intermediate Tokens）。

這些token可以被看作是AI的「思考過程」，也是人們常說的CoT。

完整架構(gòu)與可解釋性輸出

其中一項最直觀的技術，叫做「生成式高斯?jié)姙R」（Generative Gaussian Splatting）。

車輛在行駛過程中，軌跡通常是線性的，導致視角變化不足，用傳統(tǒng)方法重建3D模型質(zhì)量不高。

尤其是，在新視角下更容易失真。

此外，3D高斯?jié)姙R還需要以來，其他pipeline良好的初始化，整體優(yōu)化時間可能長達數(shù)分鐘。

另一方面，它還具備了出色的泛化能力。

無需初始化，全程運行時間僅約220毫秒，能夠?qū)討B(tài)物體進行建模，還能和端到端大模型聯(lián)合訓練。

最厲害的是，所有這些高斯點，都基于車上配置的攝像頭生成。

特斯拉神經(jīng)網(wǎng)絡生成的高斯?jié)姙R渲染的新視角

由攝像頭視頻（上），生成的特斯拉生成式高斯模型（下）

此外，AI還能用自然語言解釋它的決策。這套系統(tǒng)已經(jīng)在FSD v14.x版本中部分運行。

自然語言推理

世界模擬器，AI無限試錯

最后一個，也是最難的挑戰(zhàn)是——評估。

一個訓好的自動駕駛系統(tǒng)，若在真實道路上測試，既危險又緩慢。

即使AI在歷史數(shù)據(jù)上表現(xiàn)完美，也不意味著它能在真實世界中應對自如。

為此，特斯拉亮出了終極武器：一個完全由神經(jīng)網(wǎng)絡構(gòu)成的「世界模擬器」。

這個模擬器和駕駛AI一樣，也是用海量真實世界數(shù)據(jù)訓練出來的。

但它的功能不同：它不是根據(jù)當前狀態(tài)預測「下一步該怎么開」，而是根據(jù)「當前狀態(tài)」和「一個駕駛動作」，來生成「下一秒世界會變成什么樣」。

這個模擬器能以極高的保真度，實時生成車輛所有攝像頭應該看到的畫面。它就像一個由AI創(chuàng)造的、無限逼真的駕駛視頻游戲。

如前所述，這個「世界模擬器」的威力在于：

• 閉環(huán)評估：可以將新的駕駛AI模型放入這個模擬世界中，讓它自由駕駛，評估其長期表現(xiàn)。

• 情景再現(xiàn)與修改：可以截取一段真實發(fā)生的危險場景，讓AI在這個模擬世界里用不同的方式重新應對一次，看看結(jié)果是否會更好。

• 創(chuàng)造對抗性場景：可以人為地在模擬世界中創(chuàng)造出極端、罕見的危險情況，比如讓一輛車突然做出不合常理的舉動），專門測試AI的應對極限。

真正的終局：人形機器人

講到這里，你會發(fā)現(xiàn)，特斯拉的野心早已超越了「造車」。

汽車，只是他們收集數(shù)據(jù)的觸手，和這套AI系統(tǒng)的第一個應用載體。他們真正打造的，是一套可以解決通用物理世界交互問題的底層AI引擎。

最好的證據(jù)是，這套系統(tǒng)已經(jīng)無縫遷移到了他們的另一個人形機器人項目——擎天柱（Optimus）上。

為FSD打造的「世界模擬器」，同樣可以為擎天柱生成在工廠里漫步的場景，測試和訓練它在物理世界中的導航與交互能力。

而這，才是特斯拉自動駕駛故事背后，那個更宏大、也更激動人心的未來。

參考資料：

https://x.com/aelluswamy/status/1981644831790379245

https://www.youtube.com/watch?v=wHK8GMc9O5A

https://x.com/Tesla/status/1982255564974641628