可將人類視作一種特殊形態(tài)的機(jī)器人，獲取其行為數(shù)據(jù)可用于訓(xùn)練人形機(jī)器人。

作者丨張進(jìn)

編輯丨林覺民

在“世界模型”分論壇上，浙江大學(xué)研究員彭思達(dá)帶來了《面向具身智能的通用空間感知技術(shù)》的主題演講，介紹了其團(tuán)隊(duì)近期在賦予機(jī)器人通用感知能力方面的多項(xiàng)工作。彭思達(dá)是浙江大學(xué)軟件學(xué)院“百人計(jì)劃”研究員、博士生導(dǎo)師，研究方向?yàn)槿S計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)。

團(tuán)隊(duì)主要聚焦于賦予機(jī)器人三項(xiàng)基礎(chǔ)能力：一是相機(jī)定位（Camera Pose Estimation），即讓機(jī)器人知道自己在空間中的位置；二是深度估計(jì)（Depth Estimation），使機(jī)器人了解場景中各物體與自身的距離；三是物體運(yùn)動估計(jì)（Object Motion Estimation），讓機(jī)器人感知世界的運(yùn)動狀態(tài)。

這些底層空間感知技術(shù)有何作用？首先，它們能為機(jī)器人提供關(guān)鍵的決策信息。例如，無人機(jī)在空間中需要先知道自身位置、與場景目標(biāo)的距離，才能實(shí)現(xiàn)基礎(chǔ)避障；進(jìn)而還需了解目標(biāo)物體的運(yùn)動情況，才能進(jìn)行追蹤?；趶膱鼍爸蝎@取的三維空間信息，機(jī)器人的行為規(guī)劃便能得到有力支持。

其次，這些技術(shù)可用于生成訓(xùn)練數(shù)據(jù)。當(dāng)前具身智能領(lǐng)域的一大難題是數(shù)據(jù)匱乏。以往有人嘗試仿真或遙操獲取數(shù)據(jù)，但遙操數(shù)據(jù)雖好卻難以規(guī)?；瘮U(kuò)展，而仿真技術(shù)目前仍與真實(shí)世界存在較大差距。

彭思達(dá)提出，其實(shí)可將人類視作一種特殊形態(tài)的機(jī)器人——具備完整的身體結(jié)構(gòu)與行為模式。若能發(fā)明一種數(shù)據(jù)采集設(shè)備，將人類日常行為完整記錄下來，就相當(dāng)于獲取了機(jī)器人所需的行為數(shù)據(jù)，從而可用于訓(xùn)練人形機(jī)器人。這其中便涉及相機(jī)定位、深度估計(jì)與物體運(yùn)動估計(jì)等技術(shù)。

01

相機(jī)定位

相機(jī)定位方面，最傳統(tǒng)經(jīng)典的方法是Colmap。該方法從圖像中提取特征并進(jìn)行兩兩匹配，再通過增量式運(yùn)動恢復(fù)結(jié)構(gòu)（SfM）得到相機(jī)位置。最終每張圖像對應(yīng)一個相機(jī)位置，并共同生成三維點(diǎn)云，形成經(jīng)典的三維重建流程。

然而，該流程目前面臨的挑戰(zhàn)在于圖像匹配。團(tuán)隊(duì)發(fā)現(xiàn)，傳統(tǒng)匹配方法在惡劣環(huán)境或視角差異較大的情況下效果不佳，會影響后續(xù)相機(jī)位姿估計(jì)的準(zhǔn)確性。

針對這一問題，彭思達(dá)所在實(shí)驗(yàn)室于2021年提出一種新方法：不再依賴傳統(tǒng)匹配方式，而是直接使用Transformer大模型進(jìn)行圖像匹配。具體而言，將兩張圖像輸入LoFTR模型以提取稠密特征，這些特征之間即使在弱紋理區(qū)域也能實(shí)現(xiàn)良好的匹配。

但這個方法的問題是，多模態(tài)匹配很難，例如現(xiàn)實(shí)環(huán)境往往是黑夜白天交替、熱傳感跟可見光同時出現(xiàn)，這種情況下兩兩無法匹配。所以我們要解決跨模態(tài)的問題，

去年團(tuán)隊(duì)針對此問題提出了新的工作叫 MatchAnything，核心思路是用大量來源的數(shù)據(jù)，和多模態(tài)預(yù)訓(xùn)練框架去訓(xùn)練 LoFTR 模型，成功實(shí)現(xiàn)了實(shí)現(xiàn)了紅外和可見光、事件和可見光、CT 和 MR 的匹配。這其中其實(shí)是工程數(shù)據(jù)問題，彭思達(dá)團(tuán)隊(duì)整合了多種數(shù)據(jù)來源，一種是常見的多視角圖像，一種是大量的單目視頻。單目視頻要如何匹配？團(tuán)隊(duì)使用了成熟的光流算法，將其一個個拼接起來，得到一個長時序的匹配關(guān)系。第三種數(shù)據(jù)來源是通過圖像變換，例如將單張圖片用傳統(tǒng)的圖像變換給 warp，就形成了一個稠密匹配。

前三種都是在同一個模態(tài)下，進(jìn)一步增光匹配的數(shù)據(jù)訓(xùn)練來源，還有一種是做跨模態(tài)數(shù)據(jù)生成。團(tuán)隊(duì)通過對現(xiàn)有兩兩匹配中的一張圖片做跨域生成，比如將其變成熱傳感圖像、黑夜圖像、深度圖像，發(fā)現(xiàn)只做少量的三種模態(tài)就能實(shí)現(xiàn)任意跨模態(tài)能力。如此便可以實(shí)現(xiàn)即便衛(wèi)星圖像是夏天的，無人機(jī)在冬天工作也能匹配，以前是匹配不上的。

此外，跨模態(tài)數(shù)據(jù)生成還包括可見光跟雷達(dá)圖像，可見光跟矢量地圖，紅外跟可見光，匹配的情況增多，逐漸形成一個匹配的模型后，特別是應(yīng)用于遙感領(lǐng)域的無人機(jī)性能大大增強(qiáng)，同時應(yīng)用于自動駕駛領(lǐng)域也出現(xiàn)了不錯的效果。

據(jù)下圖所示：相比之前的方法，MatchAnything 匹配的成功概率有很大的躍升。

但 MatchAnything 面臨一個問題，即沒法融入已有的 SfM 算法，因?yàn)?MatchAnything 或者 LoFTR 模型的輸出匹配因圖片對不同而不同，導(dǎo)致無法建立多視圖匹配，因此沒法直接用在 SfM 算法中。

彭思達(dá)表示這是一個大問題，導(dǎo)致 MatchAnything 無法直接用于相機(jī)定位，為此他們又提出一個新的解決思路 Detector-free Sf，即先基于 MatchAnything 重建一種粗糙的模型，再做模型優(yōu)化。

具體做法是給兩張圖片做無特征檢測的圖像匹配，因?yàn)闊o法很好地形成多視角匹配，首先要做量化匹配把多張圖片的匹配關(guān)系連接起來，再去跑傳統(tǒng)的 SFM 算法。但圖片匹配關(guān)系被量化后，準(zhǔn)確率降低，所以SFM 跑出來的結(jié)果不準(zhǔn)。因此需要迭代式去優(yōu)化。

迭代式優(yōu)化的具體流程是先優(yōu)化多視角匹配，再優(yōu)化三維模型，根據(jù)下圖所示，優(yōu)化后就能看到最右邊的三維模型有一個更精密的點(diǎn)云以及更精細(xì)的三維位姿。

以下展示了上述方法跟之前最好的方法相比的效果，出現(xiàn)稠密點(diǎn)云和相機(jī)位置后，就可以做表面幾何重建。

同時，Detector-free SfM 面臨的問題跟所有傳統(tǒng)方法一樣，重建速度太慢了，一個模型迭代式優(yōu)化可能需要幾十個小時甚至一天，以至于對于那些對時間比較敏感的重建任務(wù)不太好用。

為了解決速度的問題，彭思達(dá)團(tuán)隊(duì)進(jìn)而進(jìn)行了一項(xiàng)端到端的重建工作。已有的方法像 VGGT，這是今年 CVPR 的最佳論文，最大的突破是直接使用一個大型的大模型去回歸圖片的相機(jī)位置和深度，因?yàn)槭蔷W(wǎng)絡(luò)直出所以速度很快，比如一個場景傳統(tǒng)的相機(jī)位置估計(jì)方法可能需要十幾個小時，VGGT 只需要一兩秒，這是非常大的提升。

但 VGGT 最大的問題是沒法處理大規(guī)模場景，因?yàn)樗莻€大的網(wǎng)絡(luò)，圖片越多網(wǎng)絡(luò)很容易就會爆顯存。處理上百張圖片勉強(qiáng)可以，但是 1000張肯定就不行了。

一個直觀的解決辦法將大場景進(jìn)行分段預(yù)測。如果沒辦法一次性處理太多圖片，可以把大場景進(jìn)行分段預(yù)測，分成很多 chunk，然后對每個 chunk 去估計(jì)相機(jī)位置。但這種情況下，由于每個 chunk 預(yù)測不夠精準(zhǔn)，導(dǎo)致 chunk 之間難以拼接，兩兩連接效果并不好，最后會形成一個累積誤差，整個網(wǎng)絡(luò)會壞掉。

對此，彭思達(dá)團(tuán)隊(duì)提出了一個新方法 Scal3R，該方法受人類的全局視野啟發(fā)——人有全局視野的情況下，對局部場景的幾何預(yù)測也有更一致的預(yù)測，所以 Scal3R 致力于賦予 VGGT 對目標(biāo)場景的全局視野。

構(gòu)建全局視野的具體方法是使用網(wǎng)絡(luò)權(quán)重記錄每個 chunk 的內(nèi)容。具體實(shí)現(xiàn)的流程是先輸入 chunk 的一組圖片，直接更新到一個網(wǎng)絡(luò)權(quán)重里就能記錄這組 chunk 圖片內(nèi)容。在推理中如何實(shí)現(xiàn)呢？一個網(wǎng)絡(luò)模塊直接預(yù)測 KB，再拿這個 KB 去更新一個網(wǎng)絡(luò)權(quán)重，該網(wǎng)絡(luò)權(quán)重就記錄了該 chunk 的圖片內(nèi)容。

在線更新網(wǎng)絡(luò)權(quán)重作為場景的記憶，整個網(wǎng)絡(luò)就記錄了整個場景的記憶，有了記憶可以預(yù)測出每個 chunk 的顯性位置的點(diǎn)云，該點(diǎn)云也更具有全局一致性，因此拼接起來效果更好。

實(shí)驗(yàn)結(jié)果如下：

跟其他方法相比的效果：

02

深度估計(jì)

深度估計(jì)是通用空間感知的關(guān)鍵組成部分。去年，彭思達(dá)團(tuán)隊(duì)在提升深度估計(jì)能力方面取得了三項(xiàng)進(jìn)展，其中之一是“Pixel-Perfect-Depth”思路。

具身智能需要深度估計(jì)，是因?yàn)闇?zhǔn)確的深度信息能提升機(jī)器人的決策性能。但現(xiàn)有方法普遍在物體邊緣存在“飛點(diǎn)”問題：判別式模型（如Depth Anything）傾向于預(yù)測“折中值”以最小化損失，從而導(dǎo)致飛點(diǎn)；生成式模型（如Marigold）雖能從理論上建模多峰深度分布，但因使用VAE進(jìn)行壓縮，同樣會產(chǎn)生飛點(diǎn)。

團(tuán)隊(duì)從生成式模型出發(fā)，提出了 Pixel-Perfect-Depth 的解決思路：首先移除VAE，直接在像素空間進(jìn)行優(yōu)化，以避免VAE帶來的信息損失，使得像素空間擴(kuò)散避免了邊緣飛點(diǎn)。然而，沒有VAE后模型需要更全局的視野，因此他們將語言特征整合到DiT模型中，發(fā)現(xiàn)這能顯著增強(qiáng)模型深度估計(jì)能力。

根據(jù)下圖實(shí)驗(yàn)結(jié)果顯示，Pixel-Perfect-Depth 方法能使模型達(dá)到很高的精細(xì)度估計(jì)，比如圖片中的葉子遠(yuǎn)處的線都能有很好的估計(jì)效果。

還能較好地解決了飛點(diǎn)問題：

Pixel-Perfect-Depth 方法還能拓展提升視頻深度估計(jì)能力。相對于單張圖片輸入，常見的是視頻輸入，要對視頻深度估計(jì)，只需要在 Pixel-Perfect-Depth 上做兩個簡單的改進(jìn)，首先是提取視頻的語義特征，得到特征以后注入到多視角的估計(jì)模型里；第二，視頻深度估計(jì)重要的是保持時序的連續(xù)性，通過 target tokens疊加reference tokens，提升時序一致性。

Pixel-Perfect-Depth 雖然能做好單張圖片和視頻深度估計(jì)，但做不好帶尺度的深度估計(jì)。而很多場景是帶尺度的，因?yàn)闆]有尺度機(jī)器人就不好用。為了解決該問題，彭思達(dá)團(tuán)隊(duì)從語言模型的 prompt 技術(shù)匯總獲得靈感，試圖探索為深度基礎(chǔ)模型設(shè)計(jì)提示詞機(jī)制，以提升其輸出絕對深度的準(zhǔn)確性。

他們將雷達(dá)做誒深度感知的prompt喂給深度估計(jì)基礎(chǔ)模型，讓其產(chǎn)生絕對深度。

該算法 Prompt Depth Anything 不僅可以提升通用機(jī)器人抓取能力，抓取成功率超越Image及LiDAR作為輸入；還能應(yīng)用于自動駕駛重建；做三維掃描、前饋式三維高斯等等。

但 Prompt Depth Anything 仍然存在問題，要得到三維場景的深度估計(jì)一般通過反投影，但透視投影在相鄰視角看著還不錯，如果俯視、反投影得到的點(diǎn)云在遠(yuǎn)處會產(chǎn)生裂痕。

對此彭思達(dá)團(tuán)隊(duì)提出了一個叫 InfiniDepth 的解決思路，即不只是給每個像素估計(jì)深度值，還給每個次像素估計(jì)。具體做法是將已有DPT Head改為Implicit Decoder，就能得到一個完整的幾何，達(dá)到大范圍的視角渲染。這樣能提高模型精細(xì)度，例如能更好服務(wù)于機(jī)器人去抓取線纜的能力。

03

物體運(yùn)動估計(jì)

將人類行為數(shù)據(jù)轉(zhuǎn)化為有效訓(xùn)練數(shù)據(jù)，是當(dāng)前具身智能發(fā)展的關(guān)鍵。這需要獲取深度信息、相機(jī)運(yùn)動以及人類行為語義軌跡，而語義軌跡的獲取又依賴于跟蹤。彭思達(dá)團(tuán)隊(duì)去年的一個工作就跟三維跟蹤有關(guān)。

此前已有方法使用時序匹配進(jìn)行跟蹤，例如Google的CoTracker：先初始化一組二維像素點(diǎn)，再利用Transformer迭代優(yōu)化這些點(diǎn)的軌跡。但該方法僅在二維層面進(jìn)行跟蹤，容易因相鄰區(qū)域的干擾而丟失目標(biāo)，效果受限。

彭思達(dá)團(tuán)隊(duì)的思路是將二維圖像反投影至三維空間，做 3D tracking。具體做法是：輸入圖像并反投影至三維，獲得三維特征后，在三維空間中初始化一條三維軌跡，再利用Transformer對該軌跡進(jìn)行優(yōu)化，從而實(shí)現(xiàn)更魯棒的跟蹤效果。該方法被命名為SpatialTracker。

其實(shí)驗(yàn)結(jié)果顯示，模型有了更強(qiáng)的跟蹤能力：圖（1）中運(yùn)動員踢球的速度很快，SpatialTracker 也能跟蹤地很好；圖（2）蝴蝶拍動翅膀時是有很強(qiáng)的空間遮擋，SpatialTracker 也能跟蹤地不錯。

未經(jīng)「AI科技評論」授權(quán)，嚴(yán)禁以任何方式在網(wǎng)頁、論壇、社區(qū)進(jìn)行轉(zhuǎn)載！

公眾號轉(zhuǎn)載請先在「AI科技評論」后臺留言取得授權(quán)，轉(zhuǎn)載時需標(biāo)注來源并插入本公眾號名片。