在機(jī)器人與智能體領(lǐng)域，一個(gè)長(zhǎng)期的挑戰(zhàn)是：當(dāng)你給機(jī)器人一個(gè)「去客廳把沙發(fā)上的書拿來(lái)」或者「沿著樓道走到門口，再右轉(zhuǎn)」這一類指令時(shí)，機(jī)器人能不能不僅「看見環(huán)境」，還能「理解指令」、「規(guī)劃路徑」、然后「準(zhǔn)確執(zhí)行動(dòng)作」？

之前的許多方法表面上看起來(lái)也能完成導(dǎo)航任務(wù)，但它們往往有這樣的問(wèn)題：推理（reasoning）的過(guò)程不夠連貫、不夠穩(wěn)定；真實(shí)環(huán)境中路徑規(guī)劃與即時(shí)控制之間難以兼顧；在新的環(huán)境里泛化能力弱等。

Nav-R1 出場(chǎng)：什么是 Nav-R1？

• 論文標(biāo)題：Nav-R1: Reasoning and Navigation in Embodied Scenes
• 論文地址：https://arxiv.org/pdf/2509.10884

這篇題為《Nav-R1: Reasoning and Navigation in Embodied Scenes》的新論文，提出了一個(gè)新的「身體體現(xiàn)式（embodied）基礎(chǔ)模型」（foundation model），旨在讓機(jī)器人或智能體在 3D 環(huán)境中能夠更好地結(jié)合「感知 + 推理 + 行動(dòng)」。簡(jiǎn)單說(shuō)，它不僅「看到 + 聽到＋開動(dòng)馬達(dá)」，還加入清晰的中間「思考」環(huán)節(jié)。

核心創(chuàng)新

1.Nav-CoT-110K：推理軌跡的冷啟動(dòng)（cold-start）基礎(chǔ)

作者構(gòu)造了一個(gè)大規(guī)模的數(shù)據(jù)集Nav-CoT-110K，包含約 11 萬(wàn)（110K）條 Chain-of-Thought（推理鏈 / 思考鏈、CoT）軌跡。每條軌跡里不僅有任務(wù)描述（導(dǎo)航指令），還有機(jī)器人從環(huán)境中看到的 egocentric 視覺輸入 (「我從這里看到了墻、看到了桌子、右邊是沙發(fā)…」 等)，以及每一步可能的行動(dòng)選項(xiàng)，再加上明確格式化的思考與動(dòng)作輸出。

這些軌跡用于冷啟動(dòng)訓(xùn)練（即監(jiān)督訓(xùn)練階段），使模型「先學(xué)會(huì)怎么思考 + 怎么根據(jù)環(huán)境和指令決定動(dòng)作」，在進(jìn)入強(qiáng)化學(xué)習(xí) (RL) 優(yōu)化之前就已有了一個(gè)較為穩(wěn)定的推理與行動(dòng)基礎(chǔ)。

2.三種獎(jiǎng)勵(lì)（rewards）：格式、理解、路徑

在強(qiáng)化學(xué)習(xí)階段，Nav-R1 不只是簡(jiǎn)單地獎(jiǎng)勵(lì)「到達(dá)目的地」，它引入了三種互補(bǔ)的獎(jiǎng)勵(lì)機(jī)制，使得行為更精準(zhǔn)、更有邏輯、更符合人類期待：

• 等標(biāo)簽的分明區(qū)分，這樣既便于機(jī)器解析，也讓內(nèi)在推理清晰。
• Understanding Reward（理解獎(jiǎng)勵(lì)）：鼓勵(lì)模型不僅「走到目標(biāo)」，還要能語(yǔ)義上理解環(huán)境，例如回答場(chǎng)景問(wèn)題、視覺與語(yǔ)言間對(duì)齊、語(yǔ)義正確。包括對(duì)正確答案的精確匹配，也包括與視覺輸入（如 RGB-D 圖像）的語(yǔ)義對(duì)齊。
• Navigation Reward（導(dǎo)航獎(jiǎng)勵(lì)）：關(guān)注路徑的 fidelity，也就是路徑與參考路徑的匹配度 (trajectory fidelity)、終點(diǎn)精度 (endpoint accuracy) 等。通過(guò)這一獎(jiǎng)懲機(jī)制，保證機(jī)器人走出來(lái)的不僅只是到達(dá)目的地，而是走出一條合理、不繞彎、不浪費(fèi)時(shí)間的路徑。

3.Fast-in-Slow 推理范式：腦子快 + 身體穩(wěn)

一個(gè)非常有意思的設(shè)計(jì)靈感是借鑒人類認(rèn)知中的 “雙系統(tǒng)理論”（Thinking Fast and Slow 等），即一個(gè)系統(tǒng)擅長(zhǎng)深思熟慮、長(zhǎng)遠(yuǎn)規(guī)劃；另一個(gè)系統(tǒng)擅長(zhǎng)快速反應(yīng)、實(shí)時(shí)控制。

• Slow 系統(tǒng)（System-2）：以較低頻率工作，處理更宏觀、更長(zhǎng)時(shí)段的語(yǔ)義信息和歷史觀察（視覺歷史、語(yǔ)言指令等），負(fù)責(zé)制定長(zhǎng)期目標(biāo)和語(yǔ)義一致性。
• Fast 系統(tǒng)（System-1）：以高頻率執(zhí)行，負(fù)責(zé)即時(shí)響應(yīng)，控制短期動(dòng)作，比如避障、調(diào)整姿態(tài)、走直線或轉(zhuǎn)彎等。它借助 Slow 系統(tǒng)的 latent 指導(dǎo)，但自己要輕量、低延遲。
• 兩者異步協(xié)調(diào)：Slow 提供大致方向和語(yǔ)義指導(dǎo)，F(xiàn)ast 則負(fù)責(zé)執(zhí)行，保證在復(fù)雜環(huán)境中既不丟失目標(biāo)語(yǔ)義一致性，也能快速響應(yīng)環(huán)境變化。

實(shí)驗(yàn)與效果：真的有用嗎？

Nav-R1 給出的實(shí)驗(yàn)證據(jù)很有說(shuō)服力，既有模擬環(huán)境中的各種基準(zhǔn)（benchmarks）也有真實(shí)機(jī)器人部署。

• 在多個(gè)導(dǎo)航任務(wù)（如視覺 - 語(yǔ)言導(dǎo)航 Vision-Language Navigation 的 R2R-CE、RxR-CE，以及物體目標(biāo)導(dǎo)航 ObjectGoal Navigation 等）中，Nav-R1 的成功率（success rate）、路徑效率 (SPL, 路徑長(zhǎng)度加權(quán)指標(biāo)) 等指標(biāo)相比于其他先進(jìn)方法提升了約 8% 或更多。

VLN 任務(wù)結(jié)果

ObjectNav 任務(wù)結(jié)果

• 在真實(shí)硬件上的部署也通過(guò)了測(cè)試：機(jī)器人平臺(tái)（WHEELTEC R550，Jetson Orin Nano + LiDAR + RGB-D 攝像頭等硬件）在會(huì)議室、休息室、走廊這些不同的室內(nèi)場(chǎng)景中執(zhí)行導(dǎo)航任務(wù)，表現(xiàn)穩(wěn)健。

Robot Setup

在三個(gè)不同的室內(nèi)環(huán)境中進(jìn)行真實(shí)世界實(shí)驗(yàn)結(jié)果

• 延遲 / 實(shí)時(shí)性方面也做了設(shè)計(jì)優(yōu)化：Nav-R1 雖然推理能力強(qiáng)，但通過(guò)云端推理 + 本地執(zhí)行命令 + Fast-in-Slow 架構(gòu)，使得在資源受限的邊緣設(shè)備上仍可近實(shí)時(shí)運(yùn)行（服務(wù)器端推理延遲在約 95 ms 左右）對(duì)比只在本地推理的大延遲優(yōu)勢(shì)明顯。

平均推理延遲比較

Demo 展示：從仿真到現(xiàn)實(shí)的雙重驗(yàn)證

為了讓大家更直觀地理解 Nav-R1 的能力，研究團(tuán)隊(duì)還準(zhǔn)備了視頻 Demo，涵蓋仿真環(huán)境和真實(shí)機(jī)器人環(huán)境兩類典型場(chǎng)景。

仿真環(huán)境：VLN 與 ObjectNav

在Habitat 仿真平臺(tái)中，Nav-R1 接收自然語(yǔ)言導(dǎo)航指令，例如「從走廊穿過(guò)客廳，到達(dá)右邊的沙發(fā)」。

• 在VLN (Vision-Language Navigation)任務(wù)中，Nav-R1 能夠理解復(fù)雜的語(yǔ)言描述。

指令：Walk past brown leather recliner. Walk through open french doors. Make hard left opposite zebra painting. Wait at mirror.

• 在ObjectNav (Object Goal Navigation)任務(wù)中，給定目標(biāo)類別（如「找到電視顯示器」），Nav-R1 會(huì)主動(dòng)探索、識(shí)別物體，并規(guī)劃合理路徑，避開障礙物，快速到達(dá)目標(biāo)。

指令：Search for a tv monitor.

真實(shí)世界：VLN ObjectNav 機(jī)器人部署

研究團(tuán)隊(duì)還把 Nav-R1 部署在WHEELTEC R550 移動(dòng)機(jī)器人平臺(tái)（配備 Jetson Orin Nano、RGB-D 攝像頭和 LiDAR）。在會(huì)議室、走廊、休息區(qū)等真實(shí)場(chǎng)景中，Nav-R1 執(zhí)行類似的 VLN 指令和 ObjectNav 任務(wù)。

• 在VLN (Vision-Language Navigation)任務(wù)中，Nav-R1 能夠理解復(fù)雜的語(yǔ)言描述，并在真實(shí)環(huán)境中執(zhí)行指令。

指令：Go to the black chair on your left and pause, then move forward to the front-right and stop at the blue umbrella.

• 在ObjectNav (Object Goal Navigation) 任務(wù)中，給定目標(biāo)類別（如「找到電視顯示器」），Nav-R1 會(huì)主動(dòng)探索真實(shí)環(huán)境、識(shí)別物體，并規(guī)劃合理路徑，避開障礙物，快速到達(dá)目標(biāo)。
• 
  

指令：Move straight ahead and look for the keyboard along the wall in front.

意義與應(yīng)用場(chǎng)景

Nav-R1 它帶來(lái)了一些比較實(shí)際且有影響力的可能性。

1. 服務(wù)機(jī)器人 / 家庭機(jī)器人

在家里，機(jī)器人要在雜亂的環(huán)境中穿行、按指令找東西、與人交互時(shí)，不僅要走得快、走得穩(wěn)，還要走得「懂」。Nav-R1 的結(jié)構(gòu)化推理 + 路徑精準(zhǔn)性 + 實(shí)時(shí)控制恰好能提升用戶信心與使用體驗(yàn)。

2. 助老 / 醫(yī)療 / 輔助設(shè)備

在醫(yī)院、養(yǎng)老院、輔助設(shè)施中，環(huán)境復(fù)雜，人多物雜，需要機(jī)器人能安全、可靠地導(dǎo)航，且對(duì)錯(cuò)誤能夠有語(yǔ)義上的理解與糾正能力。

3. 增強(qiáng)現(xiàn)實(shí) / 虛擬現(xiàn)實(shí)

AR 或 VR 中，如果虛擬智能體或助手要在用戶的物理環(huán)境中導(dǎo)航（或通過(guò)視覺輸入理解環(huán)境為用戶指路），這樣的推理 + 控制結(jié)合非常關(guān)鍵。

4. 工業(yè) / 危險(xiǎn)環(huán)境

在工廠、礦井甚至災(zāi)害現(xiàn)場(chǎng)，機(jī)器人需要在未知或危險(xiǎn)環(huán)境中執(zhí)行任務(wù)。Nav-R1 的泛化能力與穩(wěn)健性使得它可以作為基礎(chǔ)模塊進(jìn)一步應(yīng)用。

作者介紹

劉慶祥是上海工程技術(shù)大學(xué)電子電氣工程學(xué)院在讀碩士，研究方向聚焦于視覺語(yǔ)言導(dǎo)航、具身智能。曾參與多項(xiàng)科研項(xiàng)目，致力于構(gòu)建具備具身世界模型。

黃庭是上海工程技術(shù)大學(xué)電子電氣工程學(xué)院在讀碩士，Zhenyu Zhang 和 Hao Tang老師的準(zhǔn)博士生，研究方向聚焦于三維視覺語(yǔ)言模型、空間場(chǎng)景理解與多模態(tài)推理。曾參與多項(xiàng)科研項(xiàng)目，致力于構(gòu)建具備認(rèn)知與推理能力的通用 3D-AI 系統(tǒng)。

張澤宇是 Richard Hartley 教授和 Ian Reid 教授指導(dǎo)的本科研究員。他的研究興趣扎根于計(jì)算機(jī)視覺領(lǐng)域，專注于探索幾何生成建模與前沿基礎(chǔ)模型之間的潛在聯(lián)系。張澤宇在多個(gè)研究領(lǐng)域擁有豐富的經(jīng)驗(yàn)，積極探索人工智能基礎(chǔ)和應(yīng)用領(lǐng)域的前沿進(jìn)展。

唐浩現(xiàn)任北京大學(xué)計(jì)算機(jī)學(xué)院助理教授 / 研究員、博士生導(dǎo)師、博雅和未名青年學(xué)者，入選國(guó)家級(jí)海外高水平人才計(jì)劃。曾獲國(guó)家優(yōu)秀自費(fèi)留學(xué)生獎(jiǎng)學(xué)金，連續(xù)兩年入選斯坦福大學(xué)全球前 2% 頂尖科學(xué)家榜單。他曾在美國(guó)卡耐基梅隆大學(xué)、蘇黎世聯(lián)邦理工學(xué)院、英國(guó)牛津大學(xué)和意大利特倫托大學(xué)工作和學(xué)習(xí)。長(zhǎng)期致力于人工智能領(lǐng)域的研究，在國(guó)際頂級(jí)期刊與會(huì)議發(fā)表論文 100 余篇，相關(guān)成果被引用超過(guò) 10000 次。曾獲 ACM Multimedia 最佳論文提名獎(jiǎng)，現(xiàn)任 ACL 2025、EMNLP 2025、ACM MM 2025 領(lǐng)域主席及多個(gè)人工智能會(huì)議和期刊審稿人。更多信息參見個(gè)人主頁(yè)：https://ha0tang.github.io/