新智元報道

編輯：犀牛

【新智元導(dǎo)讀】銀河通用聯(lián)合多所大學發(fā)布了全球首個跨本體全域環(huán)視導(dǎo)航基座大模型NavFoM，讓機器人能自己找路，而不再依賴遙控，從而推動具身智能向規(guī)?；虡I(yè)落地演進。

今年 6 月，一支機器狗的視頻在社交平臺上刷屏——它在未訓練過的真實場景（如人流密集的商場里）Zero-Shot地跟隨用戶，完成自主移動、避障、轉(zhuǎn)向，并能能聽懂「跟著媽媽」、「去陪孩子」的語音指令。

那背后，是銀河通用發(fā)布的導(dǎo)航大模型 TrackVLA（）。

該模型由仿真大數(shù)據(jù)訓練，在真實復(fù)雜場景中實現(xiàn) Sim2Real，完成智能的用戶跟隨，展現(xiàn)了極強的 C 端應(yīng)用落地潛力。

最近，銀河通用的導(dǎo)航大模型技術(shù)又迎來了質(zhì)的飛躍。

銀河通用聯(lián)合北京大學、阿德萊德大學、浙江大學等團隊，推出了全球首個跨本體全域環(huán)視的導(dǎo)航基座大模型——NavFoM（Navigation Foundation Model）。

如果說 TrackVLA 讓機器人學會「跟著人走」，那么 NavFoM 的意義在于——讓機器人掌握全?！敢苿拥幕A(chǔ)知識」。作為基座大模型，其自身可以做到：

• 全場景：同時支持室內(nèi)和室外場景，未見過的場景 Zero-Shot 運行，無需建圖和額外采集訓練數(shù)據(jù)；

• 多任務(wù)：支持自然語言指令驅(qū)動的目標跟隨和自主導(dǎo)航等不同細分導(dǎo)航任務(wù)；

• 跨本體：可快速低成本適配機器狗、輪式人形、腿式人形、無人機、甚至汽車等不同尺寸的異構(gòu)本體。

除此之外，該模型允許開發(fā)人員以之為基座，通過后訓練，進一步進化成滿足特定導(dǎo)航要求的應(yīng)用模型。

下面將從技術(shù)視角，解析其技術(shù)特點，介紹以此為基石衍生出的應(yīng)用模型具身和對應(yīng)的產(chǎn)業(yè)應(yīng)用價值。

「導(dǎo)航」是具身智能的

基礎(chǔ)能力之一

導(dǎo)航是所有機器人移動操作的基礎(chǔ)，也是感知、理解、決策、行動的綜合體現(xiàn)。

然而在過去很長一段時間里，具身導(dǎo)航的技術(shù)體系是相對碎片化的——不同任務(wù)（如跟隨、搜索、駕駛）各用一套算法，不同機器人（如四足、人形、無人機）又各自訓練模型。每換一個任務(wù)或本體，模型就得重新開發(fā)。

這樣的割裂不僅使得具身導(dǎo)航模型訓練時效率低，二次開發(fā)難度大，還造成具身模型商用落地周期長，在不同本體上、不同場景中規(guī)?；虡I(yè)應(yīng)用的邊際成本高等問題。

對此，銀河通用的研發(fā)團隊認為，讓機器人具備可遷移智能、邁向大規(guī)模商用的第一步是讓具身導(dǎo)航模型技術(shù)凝聚成一個通用的具身大腦，即構(gòu)建一個能多任務(wù)、全場景、跨本體的具身導(dǎo)航大模型基座，實現(xiàn)讓具身導(dǎo)航模型從「學會完成一條導(dǎo)航智能」到「真正理解機器人移動」的跨越。

從 TrackVLA 到 NavFoM

不僅能「跟著走」更能「自己找路」

基于這一思考，銀河通用聯(lián)合北京大學、阿德萊德大學、浙江大學等團隊共同發(fā)布了新一代導(dǎo)航基座大模型——NavFoM（NavigationFoundation Model）。

這是全球首個跨本體全域環(huán)視導(dǎo)航基座大模型，把Vision-and-Language Navigation、Object-goal Navigation、Visual Tracking 和Autonomous Driving 等不同機器人的導(dǎo)航任務(wù)統(tǒng)一到相同的范式。

如果說 TrackVLA 是讓機器人能聽懂人類語言、跟隨目標前進，那么 NavFoM 的目標是讓機器人能夠自主感知世界，在完全未知的環(huán)境中自己決定去哪、怎么走。

統(tǒng)一范式

讓不同機器人「掌握同一種語言」

NavFoM重新定義了導(dǎo)航的底層邏輯。

過去，導(dǎo)航任務(wù)往往被拆分成識別、定位、規(guī)劃等獨立模塊，模型之間缺乏統(tǒng)一語言。

而 NavFoM 建立了一個全新的通用范式：「視頻流 + 文本指令 → 動作軌跡」。

無論是「跟著那個人走」，還是「找到門口的紅車」，在 NavFoM 里都是同一種輸入輸出形式。模型不再依賴模塊化拼接，而是端到端地完成“看到—理解—行動”的全過程。

這意味著，曾經(jīng)割裂的任務(wù)經(jīng)過統(tǒng)一的數(shù)據(jù)對齊和任務(wù)建?？梢曰ハ噙w移；不同形態(tài)的機器人能共享學習經(jīng)驗和運動知識。

例如，四足機器人在商場里學到的「避讓人群」經(jīng)驗，可能會幫助無人機在空中理解「動態(tài)障礙」；自動駕駛模型中的「道路預(yù)測」，也能反哺輪式機器人在室內(nèi)路徑規(guī)劃中的判斷。

統(tǒng)一的輸入與決策機制，讓機器人真正具備了跨任務(wù)的「認知遷移」能力。

體系升維

從「任務(wù)模型」到「智能基座」

NavFoM 通過兩項關(guān)鍵技術(shù)創(chuàng)新構(gòu)建統(tǒng)一學習范式，讓機器人不僅看得懂、記得住、學得會，還能聯(lián)合利用不同本體、不同任務(wù)和不同場景的數(shù)據(jù)實現(xiàn)知識共享，最終成為一個基座模型，衍化出針對不同應(yīng)用需求優(yōu)化的產(chǎn)品級應(yīng)用模型矩陣。

第一，TVI Tokens（Temporal-Viewpoint-Indexed Tokens）——讓模型理解時間與方向。

不同相機、不同角度、不同時間拍到的畫面，常常讓模型「迷失」。

TVI Tokens 就像時間軸與方向羅盤，給每一幀畫面加上時間和視角的標記，讓模型知道這幅圖像來自哪個角度、哪個時刻，從而理解空間的連續(xù)變化。

它讓模型同時兼容單目、環(huán)視、無人機等多種視覺輸入方式，真正具備「世界在變化」的時空理解能力。

第二，BATS 策略（Budget-Aware Token Sampling）——讓模型在算力受限下依然聰明。

導(dǎo)航時的視頻數(shù)據(jù)極其龐大，不可能每一幀都處理。

BATS 策略像人類的注意力系統(tǒng)，會動態(tài)判斷哪些畫面是「關(guān)鍵幀」，哪些可以略過。

越靠近當前時刻、越重要的場景，采樣概率越高，從而節(jié)省算力又不損失判斷準確性。

這一機制讓 NavFoM，這一7B參數(shù)級別的基座模型也能在真實機器人上毫秒級響應(yīng)，兼顧實時性與精度。

給定 Token 上限，在不同幀數(shù)下的采樣分布（左圖）；給定視頻幀數(shù)，在不同Token上限下的采樣分布（右圖）

長程VLN任務(wù)

千萬級高質(zhì)量數(shù)據(jù)

讓模型「學懂世界」

NavFoM 的能力還來自于它龐大的訓練數(shù)據(jù)體系。

銀河通用構(gòu)建了前所未有的跨任務(wù)數(shù)據(jù)集：包含八百萬條跨任務(wù)、跨本體導(dǎo)航數(shù)據(jù)，覆蓋視覺語言導(dǎo)航，目標導(dǎo)航，目標跟蹤，自動駕駛，網(wǎng)絡(luò)導(dǎo)航數(shù)據(jù)等多種任務(wù)；

以及四百萬條開放問答數(shù)據(jù)，讓模型具備語言與空間之間的語義理解能力，這一訓練量約為以往工作的兩倍左右；

訓練數(shù)據(jù)量對比

為降低訓練對硬件的需求并支持更大規(guī)模訓練，團隊還對圖像數(shù)據(jù)采用了視覺特征緩存（cache）機制，從而顯著減少在線計算開銷、提升訓練效率。

這些數(shù)據(jù)覆蓋了四足、人形、輪式、無人機等多種機器人形態(tài)，真正實現(xiàn)「在仿真中學，在現(xiàn)實中通」。

數(shù)據(jù)預(yù)處理

正因為有了這樣的數(shù)據(jù)與工程保障，NavFoM 學到的不只是「走哪條路」，而是如何感知「世界的結(jié)構(gòu)」和「目標的意義」。

這讓它在陌生環(huán)境下依然能自主推理，完成零樣本導(dǎo)航與決策。

憑借架構(gòu)創(chuàng)新與數(shù)據(jù)規(guī)模，NavFoM 在多個國際公開基準上均達到或刷新 SOTA 水平：在 VLN-CE、HM3D-OVON、NavSim 等任務(wù)中表現(xiàn)領(lǐng)先；在目標搜索、視覺語言導(dǎo)航、自動駕駛等任務(wù)上均展現(xiàn)強大的跨任務(wù)泛化能力。

更重要的是，它能在真實機器人上直接部署，無需針對任務(wù)微調(diào)，只需修改自然語言指令或相機配置即可。

在實測中，NavFoM 成功驅(qū)動多種形態(tài)機器人執(zhí)行復(fù)雜任務(wù)：四足機器人長程自主跟隨、輪式機器人室內(nèi)外混合導(dǎo)航、無人機復(fù)雜地形規(guī)劃飛行、自動駕駛系統(tǒng)的路徑推理與避障決策。

一個模型，驅(qū)動所有形態(tài)，標志著具身智能通用導(dǎo)航智能的雛形已然成形。

同一套模型實現(xiàn)機器狗，輪式機器人，無人機的跟隨

體系再升維

從「智能基座」到「模型矩陣」

NavFoM 不僅僅是一項技術(shù)突破，更是銀河通用具身大模型體系的重要基座。

以 NavFoM 的統(tǒng)一架構(gòu)為基石，銀河通用針對不同的落地需求，訓練并發(fā)布了三個「身懷絕技」的應(yīng)用模型：

TrackVLA++：其能力相對于TrackVLA顯著升級，能實現(xiàn) 30 分鐘以上穩(wěn)定的長程自主跟隨，室內(nèi)和室外均不在話下、并能適應(yīng)多種更復(fù)雜路況和地形；

UrbanVLA：針對室外場景應(yīng)用需求，和 第三方地圖軟件打通，可根據(jù)地圖指引，自主規(guī)劃最優(yōu)路線并行至目的地，在街道、天橋、單元樓等各種環(huán)境中穿梭自如，堪稱機器人的「自動駕駛」，難度和復(fù)雜度較汽車「自動駕駛」更甚一籌；

MM-Nav：支持 360° 無死角厘米級純視覺避障，行業(yè)內(nèi)首次突破躲避玻璃、細線等傳統(tǒng)方案難以解決的極限困難，商業(yè)應(yīng)用的「長尾困難」也輕松應(yīng)對。

它們共同構(gòu)成了從室內(nèi)到城市、從汽車到機器人再到無人機的完整具身智能導(dǎo)航體系，讓以導(dǎo)航大模型為驅(qū)動的具身智能機器人真正開始走向現(xiàn)實世界。

體系再再再升維

從「模型矩陣」到「規(guī)?；虡I(yè)落地」

從單一任務(wù)模型到統(tǒng)一智能基座；以統(tǒng)一智能基座構(gòu)建全棧模型矩陣；依托全棧模型矩陣實現(xiàn)規(guī)?；虡I(yè)落地。

銀河通用正推動導(dǎo)航技術(shù)從「局部功能」進化為「智能基礎(chǔ)設(shè)施」，讓機器人真正具備「理解空間、適應(yīng)變化、自主行走」的能力。

這種體系化模型能力，是未來具身智能大規(guī)模落地的關(guān)鍵。

從學習特定任務(wù)到理解通用知識，NavFoM 作為業(yè)內(nèi)首個跨本體全域環(huán)視的導(dǎo)航基座大模型，第一次讓機器人擁有了類似人類的通用「方向感」——在陌生街區(qū)中找路、在人群中穿行、在復(fù)雜空間中預(yù)測障礙等等。

而本次 NavFoM 的發(fā)布也標志著銀河通用完成了從機器人導(dǎo)航從單一功能創(chuàng)新到智能基座建設(shè)的跨越，其將和銀河通用的操作基座大模型 GraspVLA、GroceryVLA 等一起支撐起銀河通用讓具身大模型機器人走進千家萬戶、服務(wù)千行百業(yè)的宏大商業(yè)理想。