10月25日，特斯拉AI負責(zé)人阿肖克·埃盧斯瓦米（Ashok Elluswamy）在X上發(fā)布長文，揭秘了特斯拉FSD的技術(shù)方法論，信息量非常大。

簡單來說，特斯拉正在用「端到端」的神經(jīng)網(wǎng)絡(luò)，把自動駕駛這件事變成一個純粹的AI問題，而不是一個需要無數(shù)工程師寫規(guī)則的工程學(xué)問題。

他們認為，行業(yè)主流的把感知、預(yù)測、規(guī)劃拆開做的「模塊化」老路子不僅笨重，而且天花板明顯，端到端AI模型才是自動駕駛正解。

稿件重點如下：

• 核心路線之爭：為什么必須是「端到端」？
  行業(yè)主流方案是“感知、預(yù)測、規(guī)劃”三件套，各模塊獨立工作再拼起來，特斯拉認為斯拉認為這種方式接口復(fù)雜、難以優(yōu)化。而「端到端」AI模型直接“看”到像素，“吐出”駕駛指令，一步到位，整個系統(tǒng)可以被整體優(yōu)化。這不僅是為了解決駕駛問題，更是為了在AI的「苦澀教訓(xùn)」面前，站在可規(guī)模化擴展的正確一側(cè)。

• AI如何處理“人性”難題？
  現(xiàn)實駕駛充滿了“是碾過水坑，還是借道逆行”這樣的「迷你電車難題」。這種需要權(quán)衡利弊的微妙決策，很難用代碼寫死，但通過學(xué)習(xí)海量的人類駕駛數(shù)據(jù)，AI能潛移默化地學(xué)會符合人類價值觀的駕駛策略。

• AI能讀懂“弦外之音”
  FSD能分清「一群想要過馬路的雞」和「一群只想在路邊閑逛的鵝」，從而做出不同決策。這種對“潛在意圖”的理解，在模塊化系統(tǒng)里很難傳遞，但端到端模型可以在其“潛在空間”里輕松理解和處理。

• 數(shù)據(jù)洪流淹沒「維度詛咒」
  FSD每秒要處理來自攝像頭、地圖、音頻等高達20億個輸入信息，并瞬間決策，壓縮成2個指令（轉(zhuǎn)向和加速）。解決這個難題的唯一武器，就是特斯拉車隊每天產(chǎn)生的、相當于500年駕駛時長的「數(shù)據(jù)尼亞加拉大瀑布」，通過智能篩選，用最精華的數(shù)據(jù)喂養(yǎng)AI。

• “大力出奇跡”的效果：預(yù)判你的預(yù)判
  海量數(shù)據(jù)訓(xùn)練出了驚人的泛化能力。在一個雨天路滑的案例中，F(xiàn)SD在事故發(fā)生前5秒就開始減速，因為它預(yù)判到前車失控后會「撞墻反彈」回到自己車道。這種對「二階效應(yīng)」的提前預(yù)判，是傳統(tǒng)方案難以企及的。

• 打開AI“黑箱”的兩把鑰匙
  為了解決端到端模型難以調(diào)試和解釋的問題，特斯拉讓模型在輸出駕駛指令的同時，也輸出可供理解的“中間結(jié)果”。文中提到了兩招：

  1. 視覺重建：利用「生成式高斯?jié)姙R」技術(shù)，在220毫秒內(nèi)，根據(jù)攝像頭視頻實時生成周圍環(huán)境的動態(tài)3D模型，讓工程師能“看見”AI眼中的世界。

  2. 語言解釋：訓(xùn)練AI用自然語言來解釋自己的行為。一個小型化的語言推理模型，其實已經(jīng)在FSD v14.x版本中運行了。

• 最難的挑戰(zhàn)是“評估”
  模型跑分再高也沒用，真實世界的評測才是最難的。為此，特斯拉開發(fā)了一個「神經(jīng)世界模擬器」。這個模擬器本身也是一個強大的AI，能實時生成以假亂真的虛擬世界。它不僅能復(fù)現(xiàn)歷史數(shù)據(jù)，還能創(chuàng)造各種極端的事故場景，對FSD進行“地獄模式”的壓力測試。本質(zhì)上，特斯拉為FSD造了一個超現(xiàn)實的“駕駛游戲”，讓它在里面7x24小時不間斷地“打怪升級”。

• 這套技術(shù)棧的終極目標：一套AI，通吃所有
  這套方法論不僅適用于汽車，還能無縫遷移到特斯拉的「擎天柱」人形機器人上。文章展示了模擬器已經(jīng)可以生成擎天柱在工廠里導(dǎo)航的畫面，證明了其技術(shù)的通用性，最終目標是解決現(xiàn)實世界的通用人工智能問題。

附注：Ashok Elluswamy是特斯拉的AI軟件副總裁，負責(zé)特斯拉的人工智能業(yè)務(wù)。他于2024年晉升至現(xiàn)職，此前曾任自動駕駛軟件總監(jiān)。自2022年起，他直接向馬斯克匯報工作，曾參與特斯拉自動駕駛系統(tǒng)的早期開發(fā)。

原文如下：

【特斯拉的自動駕駛方法】

本周，我有幸在國際計算機視覺大會（International Conference of Computer Vision）上，代表@Tesla_AI團隊展示了我們近期的部分工作成果。在這篇演講的精簡版中，我們將探討特斯拉解決自動駕駛問題所采用方法的一些核心要點。

如許多人所知，特斯拉利用一個端到端（end-to-end）的神經(jīng)網(wǎng)絡(luò)來實現(xiàn)自動駕駛。這個端到端神經(jīng)網(wǎng)絡(luò)接收來自多個攝像頭的像素信息、車輛的運動學(xué)信號（如車速）、音頻、地圖和導(dǎo)航信息，并最終輸出驅(qū)動汽車的控制指令。

為什么是端到端？

盡管特斯拉堅信端到端神經(jīng)網(wǎng)絡(luò)的路線，但這絕非實現(xiàn)自動駕駛的業(yè)界共識。大多數(shù)其他研發(fā)自動駕駛的實體采用的是一種依賴大量傳感器、模塊化的方法。雖然這類系統(tǒng)在初期可能更易于開發(fā)和調(diào)試，但其系統(tǒng)本身存在諸多復(fù)雜性。與這個基線相比，端到端方法具備多項優(yōu)勢，僅舉幾例：

• 將人類價值觀進行編碼是極其困難的。從數(shù)據(jù)中學(xué)習(xí)這些價值觀則要容易得多。

• 感知、預(yù)測和規(guī)劃之間的接口定義不清。在端到端網(wǎng)絡(luò)中，梯度可以從控制端一直流向傳感器輸入端，從而對整個網(wǎng)絡(luò)進行整體優(yōu)化。

• 可輕松擴展，以處理現(xiàn)實世界機器人技術(shù)中的胖尾和長尾問題。

• 具有確定性延遲的同構(gòu)計算。

• 總體而言，在擴展方面，這遵循了“慘痛教訓(xùn)”（the bitter lesson）的正確指引。

以下幾個例子可以說明這一點。

示例 1：

在下面的例子中，AI需要決策是碾過一個大水坑，還是駛?cè)雽ο蜍嚨馈ＭǔＧ闆r下，駛?cè)雽ο蜍嚨罆浅Ｔ愀?，并具有潛在危險。然而，在這種情況下，車輛有足夠的視野可以判斷，在可預(yù)見的未來不會有對向來車。其次，那個水坑相當大，最好是避開。這樣的權(quán)衡取舍很難用傳統(tǒng)的編程邏輯寫下來，而對于一個觀察該場景的人類來說，這卻相當直接。

經(jīng)典的“電車難題”（trolley problem）通常被認為是一個自動駕駛汽車極少會遇到的罕見問題。然而，事實恰恰相反。自動駕駛汽車時刻都在面臨如上所示的“微型電車難題”。通過對人類數(shù)據(jù)的訓(xùn)練，機器人能夠?qū)W習(xí)到與人類價值觀相符的價值觀。

示例 2：

在“感知”和“規(guī)劃”這兩個模塊化單元之間，很難建立一個清晰的接口。在下面兩個片段中，一個場景里雞群想要過馬路，而另一個場景里鵝群只是想待在原地。要在這些模塊化單元之間為此創(chuàng)建一個本體論（ontology）是相當困難的。這種“柔性意圖”最好是以一種端到端的、潛在的方式（latent fashion）來傳遞。

基于所有這些以及更多的原因，特斯拉采用了端到端的架構(gòu)來實現(xiàn)自動駕駛。話雖如此，要構(gòu)建這樣一個系統(tǒng)，仍有許多挑戰(zhàn)需要克服。接下來我們將討論其中的幾個挑戰(zhàn)。

1. 維度詛咒（Curse of dimensionality）

要在真實世界中安全運行，需要處理高幀率、高分辨率、長上下文的輸入。如果我們對“輸入令牌（input token）”的大小做一個合理的假設(shè)，比如一個5x5像素的圖像塊，我們最終將得到如下數(shù)量的令牌：

• 7個攝像頭 x 36 FPS x 500萬像素 x 30秒歷史數(shù)據(jù) / (5x5像素圖像塊)

• 未來幾英里的導(dǎo)航地圖和路線

• 100赫茲的運動學(xué)數(shù)據(jù)，如速度、慣性測量單元（IMU）、里程計等

• 48千赫茲的音頻數(shù)據(jù)

這相當于大約20億個輸入令牌。神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)正確的因果映射，將這20億個令牌減少到2個令牌——即車輛的下一個轉(zhuǎn)向和加速指令。要從中學(xué)習(xí)到正確的因果關(guān)系，而不學(xué)習(xí)到虛假相關(guān)性，是一個極其棘手的問題。

幸運的是，特斯拉憑借其龐大的車隊，擁有如尼亞加拉大瀑布般的海量數(shù)據(jù)。整個車隊每天總共能產(chǎn)生相當于500年駕駛時長的里程數(shù)據(jù)。并非所有數(shù)據(jù)都有價值，也不可能接收所有數(shù)據(jù)。因此，特斯拉使用復(fù)雜的數(shù)據(jù)引擎流水線來篩選最有趣、最多樣化和最高質(zhì)量的數(shù)據(jù)樣本。下面是這類數(shù)據(jù)的一小部分示例。

如果你用這樣的數(shù)據(jù)進行訓(xùn)練，你將獲得對極端案例（corner cases）極強的泛化能力，而這是用其他方法難以實現(xiàn)的。這里有一個例子，展示了AI模型如何學(xué)會主動規(guī)避一次潛在的碰撞。視頻中令人印象深刻的是，AI在第5秒左右就做出了反應(yīng)，而那時情況還遠未明朗到會升級為碰撞。AI需要理解到：外面在下毛毛雨，前車可能正在失控打滑，它可能會撞上護欄然后反彈回自車的行駛路徑上，因此現(xiàn)在就應(yīng)該謹慎剎車。只有一個能力極強的AI系統(tǒng)，才能如此提前地預(yù)測到這類二階效應(yīng)（second order effects）。

2. 可解釋性與安全保證（Interpretability and safety guarantees）

當車輛行為不符合預(yù)期時，調(diào)試這樣一個端到端系統(tǒng)可能會很困難。在實踐中，這并不是一個大問題，因為模型同樣可以產(chǎn)生可解釋的中間令牌（intermediate tokens）。根據(jù)情況，這些中間令牌也可用作推理令牌（reasoning tokens）。

其中一項任務(wù)就是特斯拉的“生成式高斯濺射”（Generative Gaussian Splatting）。雖然3D高斯濺射技術(shù)近年來在計算機視覺領(lǐng)域取得了長足的進步，但它依賴于大基線（large baseline）的相機視角才能獲得良好性能。不幸的是，典型的車輛運動軌跡是相當線性的，運行傳統(tǒng)的高斯濺射會導(dǎo)致重建質(zhì)量很差，尤其是在新穎視角（novel viewpoints）下。這些3D高斯濺射也需要來自其他流水線的良好初始化，并且總優(yōu)化時間可能長達數(shù)十分鐘。

相比之下，特斯拉的生成式高斯濺射具有出色的泛化能力，運行時間約220毫秒，不需要初始化，可以為動態(tài)物體建模，并且可以與端到端AI模型進行聯(lián)合訓(xùn)練。值得注意的是，所有這些高斯函數(shù)（gaussians）都是基于量產(chǎn)車配置的攝像頭生成的。

除了3D幾何結(jié)構(gòu)，系統(tǒng)還可以結(jié)合視頻溯源（video grounding），用自然語言進行推理。一個小型版本的推理模型已經(jīng)在FSD v14.x版本中運行。

3. 評估（Evaluation）

最后一個也是最困難的挑戰(zhàn)是評估。即使擁有高質(zhì)量的數(shù)據(jù)集，開環(huán)預(yù)測（open-loop predictions）的損失（loss）也可能與真實世界中的優(yōu)異表現(xiàn)并不相關(guān)。評估過程需要多樣化且具備模式覆蓋（mode covering），以便實現(xiàn)快速的開發(fā)迭代。這項工作是繁瑣的，需要投入巨大的努力才能在評估指標中獲得高信噪比（signal-to-noise ratio）。

正因如此，在特斯拉，我們開發(fā)了一個神經(jīng)世界模擬器（neural world simulator）。這個模擬器使用我們篩選出的同樣的海量數(shù)據(jù)集進行訓(xùn)練。然而，它并非預(yù)測給定狀態(tài)下的行動，而是根據(jù)當前狀態(tài)和下一步行動來合成（synthesizes）未來狀態(tài)。然后，這可以與智能體（agent）或策略AI模型連接起來，以閉環(huán)方式（closed-loop fashion）運行，從而評估性能。

這個世界模擬器完全由特斯拉訓(xùn)練，用于生成車輛的所有攝像頭和其他傳感器數(shù)據(jù)。它是因果的（causal），并能響應(yīng)駕駛策略模型的指令。它運行速度快，同時能夠合成高分辨率、高幀率和高質(zhì)量的傳感器數(shù)據(jù)。

這里是一個該神經(jīng)模擬器模型長達一分鐘的推演（rollout）示例。

【視頻內(nèi)容描述：完全由AI生成的模擬駕駛視頻，持續(xù)一分多鐘。頂部是前置攝像頭視角，中間是側(cè)視，底部是后視。畫面逼真，光影、車輛動態(tài)和環(huán)境細節(jié)都高度模擬了真實世界?！?/p>

這種模擬可用于對照歷史數(shù)據(jù)來驗證新的駕駛模型。

【視頻內(nèi)容-描述：從同一個真實視頻片段（綠色小方框標出）開始，模擬器根據(jù)新模型輸出的一系列不同動作，推演出兩條完全不同但都符合物理邏輯的未來軌跡?！?/p>

此外，我們還可以人工合成新的對抗性場景（adversarial scenarios），以測試額外的極端情況。

【視頻內(nèi)容描述：從同一個初始視頻開始，模擬器中的一輛背景車被設(shè)定為以對抗性的方式行事（例如突然切入），以測試FSD模型的應(yīng)對能力?！?/p>

通過調(diào)整測試時計算資源（test-time compute）的用量，同一個模型可以實時模擬世界。下面是一個例子，一個人能夠駕駛超過6分鐘，期間所有8個攝像頭的畫面（每秒24幀）完全由一個神經(jīng)網(wǎng)絡(luò)實時合成。你可以注意到，即使在如此長的生成時間內(nèi)，細節(jié)也相當逼真。

【視頻內(nèi)容描述：一個類似駕駛游戲的演示。】

關(guān)于以上所有要點，最棒的一點是，它們不僅解決了車輛的自動駕駛問題，還能無縫遷移到特斯拉的人形機器人——擎天柱（Optimus）上。這里是一個遷移的例子。

同樣的視頻生成模型也適用于在特斯拉超級工廠中導(dǎo)航的擎天柱機器人。

【視頻內(nèi)容描述1：展示了在神經(jīng)世界模擬器中，一個擎天柱機器人在虛擬的特斯拉工廠環(huán)境中行走和執(zhí)行任務(wù)?！?/p>

【視頻內(nèi)容描述2：擎天柱的不同動作能夠被準確地反映在世界模擬器中，展示了模擬器對機器人行為的精確響應(yīng)。】

顯然，以上所有的視頻生成技術(shù)不僅限于評估。它可以被用來進行大規(guī)模的閉環(huán)強化學(xué)習(xí)（reinforcement learning），以達到超越人類的表現(xiàn)（superhuman performance）。