在機器人與智能體領(lǐng)域，一個長期的挑戰(zhàn)是：當(dāng)你給機器人一個「去客廳把沙發(fā)上的書拿來」或者「沿著樓道走到門口，再右轉(zhuǎn)」這一類指令時，機器人能不能不僅「看見環(huán)境」，還能「理解指令」、「規(guī)劃路徑」、然后「準(zhǔn)確執(zhí)行動作」？

之前的許多方法表面上看起來也能完成導(dǎo)航任務(wù)，但它們往往有這樣的問題：推理（reasoning）的過程不夠連貫、不夠穩(wěn)定；真實環(huán)境中路徑規(guī)劃與即時控制之間難以兼顧；在新的環(huán)境里泛化能力弱等。

Nav-R1 出場：什么是 Nav-R1？

• 論文標(biāo)題：Nav-R1: Reasoning and Navigation in Embodied Scenes
• 論文地址：https://arxiv.org/pdf/2509.10884

這篇題為《Nav-R1: Reasoning and Navigation in Embodied Scenes》的新論文，提出了一個新的「身體體現(xiàn)式（embodied）基礎(chǔ)模型」（foundation model），旨在讓機器人或智能體在 3D 環(huán)境中能夠更好地結(jié)合「感知 + 推理 + 行動」。簡單說，它不僅「看到 + 聽到＋開動馬達(dá)」，還加入清晰的中間「思考」環(huán)節(jié)。

核心創(chuàng)新

1.Nav-CoT-110K：推理軌跡的冷啟動（cold-start）基礎(chǔ)

作者構(gòu)造了一個大規(guī)模的數(shù)據(jù)集Nav-CoT-110K，包含約 11 萬（110K）條 Chain-of-Thought（推理鏈 / 思考鏈、CoT）軌跡。每條軌跡里不僅有任務(wù)描述（導(dǎo)航指令），還有機器人從環(huán)境中看到的 egocentric 視覺輸入 (「我從這里看到了墻、看到了桌子、右邊是沙發(fā)…」 等)，以及每一步可能的行動選項，再加上明確格式化的思考與動作輸出。

這些軌跡用于冷啟動訓(xùn)練（即監(jiān)督訓(xùn)練階段），使模型「先學(xué)會怎么思考 + 怎么根據(jù)環(huán)境和指令決定動作」，在進入強化學(xué)習(xí) (RL) 優(yōu)化之前就已有了一個較為穩(wěn)定的推理與行動基礎(chǔ)。

2.三種獎勵（rewards）：格式、理解、路徑

在強化學(xué)習(xí)階段，Nav-R1 不只是簡單地獎勵「到達(dá)目的地」，它引入了三種互補的獎勵機制，使得行為更精準(zhǔn)、更有邏輯、更符合人類期待：

• 等標(biāo)簽的分明區(qū)分，這樣既便于機器解析，也讓內(nèi)在推理清晰。
• Understanding Reward（理解獎勵）：鼓勵模型不僅「走到目標(biāo)」，還要能語義上理解環(huán)境，例如回答場景問題、視覺與語言間對齊、語義正確。包括對正確答案的精確匹配，也包括與視覺輸入（如 RGB-D 圖像）的語義對齊。
• Navigation Reward（導(dǎo)航獎勵）：關(guān)注路徑的 fidelity，也就是路徑與參考路徑的匹配度 (trajectory fidelity)、終點精度 (endpoint accuracy) 等。通過這一獎懲機制，保證機器人走出來的不僅只是到達(dá)目的地，而是走出一條合理、不繞彎、不浪費時間的路徑。

3.Fast-in-Slow 推理范式：腦子快 + 身體穩(wěn)

一個非常有意思的設(shè)計靈感是借鑒人類認(rèn)知中的 “雙系統(tǒng)理論”（Thinking Fast and Slow 等），即一個系統(tǒng)擅長深思熟慮、長遠(yuǎn)規(guī)劃；另一個系統(tǒng)擅長快速反應(yīng)、實時控制。

• Slow 系統(tǒng)（System-2）：以較低頻率工作，處理更宏觀、更長時段的語義信息和歷史觀察（視覺歷史、語言指令等），負(fù)責(zé)制定長期目標(biāo)和語義一致性。
• Fast 系統(tǒng)（System-1）：以高頻率執(zhí)行，負(fù)責(zé)即時響應(yīng)，控制短期動作，比如避障、調(diào)整姿態(tài)、走直線或轉(zhuǎn)彎等。它借助 Slow 系統(tǒng)的 latent 指導(dǎo)，但自己要輕量、低延遲。
• 兩者異步協(xié)調(diào)：Slow 提供大致方向和語義指導(dǎo)，F(xiàn)ast 則負(fù)責(zé)執(zhí)行，保證在復(fù)雜環(huán)境中既不丟失目標(biāo)語義一致性，也能快速響應(yīng)環(huán)境變化。

實驗與效果：真的有用嗎？

Nav-R1 給出的實驗證據(jù)很有說服力，既有模擬環(huán)境中的各種基準(zhǔn)（benchmarks）也有真實機器人部署。

• 在多個導(dǎo)航任務(wù)（如視覺 - 語言導(dǎo)航 Vision-Language Navigation 的 R2R-CE、RxR-CE，以及物體目標(biāo)導(dǎo)航 ObjectGoal Navigation 等）中，Nav-R1 的成功率（success rate）、路徑效率 (SPL, 路徑長度加權(quán)指標(biāo)) 等指標(biāo)相比于其他先進方法提升了約 8% 或更多。

VLN 任務(wù)結(jié)果

ObjectNav 任務(wù)結(jié)果

• 在真實硬件上的部署也通過了測試：機器人平臺（WHEELTEC R550，Jetson Orin Nano + LiDAR + RGB-D 攝像頭等硬件）在會議室、休息室、走廊這些不同的室內(nèi)場景中執(zhí)行導(dǎo)航任務(wù)，表現(xiàn)穩(wěn)健。

Robot Setup

在三個不同的室內(nèi)環(huán)境中進行真實世界實驗結(jié)果

• 延遲 / 實時性方面也做了設(shè)計優(yōu)化：Nav-R1 雖然推理能力強，但通過云端推理 + 本地執(zhí)行命令 + Fast-in-Slow 架構(gòu)，使得在資源受限的邊緣設(shè)備上仍可近實時運行（服務(wù)器端推理延遲在約 95 ms 左右）對比只在本地推理的大延遲優(yōu)勢明顯。

平均推理延遲比較

Demo 展示：從仿真到現(xiàn)實的雙重驗證

為了讓大家更直觀地理解 Nav-R1 的能力，研究團隊還準(zhǔn)備了視頻 Demo，涵蓋仿真環(huán)境和真實機器人環(huán)境兩類典型場景。

仿真環(huán)境：VLN 與 ObjectNav

在Habitat 仿真平臺中，Nav-R1 接收自然語言導(dǎo)航指令，例如「從走廊穿過客廳，到達(dá)右邊的沙發(fā)」。

• 在VLN (Vision-Language Navigation)任務(wù)中，Nav-R1 能夠理解復(fù)雜的語言描述。

指令：Walk past brown leather recliner. Walk through open french doors. Make hard left opposite zebra painting. Wait at mirror.

• 在ObjectNav (Object Goal Navigation)任務(wù)中，給定目標(biāo)類別（如「找到電視顯示器」），Nav-R1 會主動探索、識別物體，并規(guī)劃合理路徑，避開障礙物，快速到達(dá)目標(biāo)。

指令：Search for a tv monitor.

真實世界：VLN ObjectNav 機器人部署

研究團隊還把 Nav-R1 部署在WHEELTEC R550 移動機器人平臺（配備 Jetson Orin Nano、RGB-D 攝像頭和 LiDAR）。在會議室、走廊、休息區(qū)等真實場景中，Nav-R1 執(zhí)行類似的 VLN 指令和 ObjectNav 任務(wù)。

• 在VLN (Vision-Language Navigation)任務(wù)中，Nav-R1 能夠理解復(fù)雜的語言描述，并在真實環(huán)境中執(zhí)行指令。

指令：Go to the black chair on your left and pause, then move forward to the front-right and stop at the blue umbrella.

• 在ObjectNav (Object Goal Navigation) 任務(wù)中，給定目標(biāo)類別（如「找到電視顯示器」），Nav-R1 會主動探索真實環(huán)境、識別物體，并規(guī)劃合理路徑，避開障礙物，快速到達(dá)目標(biāo)。
• 
  

指令：Move straight ahead and look for the keyboard along the wall in front.

意義與應(yīng)用場景

Nav-R1 它帶來了一些比較實際且有影響力的可能性。

1. 服務(wù)機器人 / 家庭機器人

在家里，機器人要在雜亂的環(huán)境中穿行、按指令找東西、與人交互時，不僅要走得快、走得穩(wěn)，還要走得「懂」。Nav-R1 的結(jié)構(gòu)化推理 + 路徑精準(zhǔn)性 + 實時控制恰好能提升用戶信心與使用體驗。

2. 助老 / 醫(yī)療 / 輔助設(shè)備

在醫(yī)院、養(yǎng)老院、輔助設(shè)施中，環(huán)境復(fù)雜，人多物雜，需要機器人能安全、可靠地導(dǎo)航，且對錯誤能夠有語義上的理解與糾正能力。

3. 增強現(xiàn)實 / 虛擬現(xiàn)實

AR 或 VR 中，如果虛擬智能體或助手要在用戶的物理環(huán)境中導(dǎo)航（或通過視覺輸入理解環(huán)境為用戶指路），這樣的推理 + 控制結(jié)合非常關(guān)鍵。

4. 工業(yè) / 危險環(huán)境

在工廠、礦井甚至災(zāi)害現(xiàn)場，機器人需要在未知或危險環(huán)境中執(zhí)行任務(wù)。Nav-R1 的泛化能力與穩(wěn)健性使得它可以作為基礎(chǔ)模塊進一步應(yīng)用。

作者介紹

劉慶祥是上海工程技術(shù)大學(xué)電子電氣工程學(xué)院在讀碩士，研究方向聚焦于視覺語言導(dǎo)航、具身智能。曾參與多項科研項目，致力于構(gòu)建具備具身世界模型。

黃庭是上海工程技術(shù)大學(xué)電子電氣工程學(xué)院在讀碩士，Zhenyu Zhang 和 Hao Tang老師的準(zhǔn)博士生，研究方向聚焦于三維視覺語言模型、空間場景理解與多模態(tài)推理。曾參與多項科研項目，致力于構(gòu)建具備認(rèn)知與推理能力的通用 3D-AI 系統(tǒng)。

張澤宇是 Richard Hartley 教授和 Ian Reid 教授指導(dǎo)的本科研究員。他的研究興趣扎根于計算機視覺領(lǐng)域，專注于探索幾何生成建模與前沿基礎(chǔ)模型之間的潛在聯(lián)系。張澤宇在多個研究領(lǐng)域擁有豐富的經(jīng)驗，積極探索人工智能基礎(chǔ)和應(yīng)用領(lǐng)域的前沿進展。

唐浩現(xiàn)任北京大學(xué)計算機學(xué)院助理教授 / 研究員、博士生導(dǎo)師、博雅和未名青年學(xué)者，入選國家級海外高水平人才計劃。曾獲國家優(yōu)秀自費留學(xué)生獎學(xué)金，連續(xù)兩年入選斯坦福大學(xué)全球前 2% 頂尖科學(xué)家榜單。他曾在美國卡耐基梅隆大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、英國牛津大學(xué)和意大利特倫托大學(xué)工作和學(xué)習(xí)。長期致力于人工智能領(lǐng)域的研究，在國際頂級期刊與會議發(fā)表論文 100 余篇，相關(guān)成果被引用超過 10000 次。曾獲 ACM Multimedia 最佳論文提名獎，現(xiàn)任 ACL 2025、EMNLP 2025、ACM MM 2025 領(lǐng)域主席及多個人工智能會議和期刊審稿人。更多信息參見個人主頁：https://ha0tang.github.io/