出品｜虎嗅科技組

作者｜宋思杭

編輯｜苗正卿

頭圖｜AI生成

距離唐劍離開學術界，已經(jīng)過去七年。這七年里，他曾在自動駕駛的一線摸爬滾打，也親眼見證了AI從“認知”走向“行動”的關鍵轉(zhuǎn)折。和許多從自動駕駛跨入具身智能的學者與工程師一樣，唐劍的軌跡也并不意外。

唐劍曾是美國雪城大學的終身教授，研究方向是“AI驅(qū)動的系統(tǒng)控制”。但在產(chǎn)業(yè)化的過程中，他逐漸意識到：無論是自動駕駛還是人形機器人，要想在真實復雜的環(huán)境中真正落地，傳統(tǒng)的基于數(shù)學建模的方法可能無法實現(xiàn)，基于AI的經(jīng)驗驅(qū)動的控制更有希望成功，就像游泳運動員學游泳是一種基于經(jīng)驗的訓練，而不是先去學流體動力學。

在學術界浸淫多年的唐劍，盡管離開學術界多年，也依然保持著嚴謹?shù)娘L格。在對話前，他特地召集團隊的技術成員，一起推敲了幾個問題——確認表述是否足夠準確。在對話中，他時常用“程度副詞”精確地界定自己的觀點。

唐劍看似學術派，卻不晦澀。他談世界模型，談DeepSeek，談具身智能的未來，邏輯清晰、語氣平和，甚至帶著一點克制的興奮。

“我并沒有說具身智能已經(jīng)實現(xiàn)了智能涌現(xiàn)，”唐劍多次強調(diào)，“我只是類比DeepSeek的低成本復現(xiàn)與獎勵機制帶來的自我學習閉環(huán)，并在具身智能機器人領域達到SOTA水平?！彼嬖V虎嗅，他們的世界模型也同樣引入了獎勵機制和基于強化學習的微調(diào)，讓機器人逐步具備自我優(yōu)化與認知能力——但同時，他也坦誠，“我們還在路上，還有架構(gòu)和算法需要繼續(xù)迭代升級?！?/p>

與此同時，他也認同王興興說的具身智能還沒有達到Scaling law，在他看來，除了數(shù)據(jù)遠遠不夠，也因為模型架構(gòu)沒有收斂。他認為目前的底層架構(gòu)存在問題。唐劍說，“未來我們可能還會迭代底層架構(gòu)。”

如今，唐劍所在的北京人形機器人創(chuàng)新中心，公司一層是一個寬闊的機器人展廳，展廳布局更像一個具身智能的“群英薈”。走到一半時，尚未見到“天工”機器人的身影——它似乎被刻意“留到后面”作為重頭戲。

繼續(xù)往前，是一面展示機器人發(fā)展歷程的長墻；對面則是整齊排列的玻璃展柜，里面陳列著當下海內(nèi)外最具代表性的四款人形機器人，從左到右分別是特斯拉、Figure、宇樹和智元。

而唐劍帶領的團隊，則在思考另一個問題——在那些光鮮的“形體”背后，怎樣構(gòu)建出一個真正理解世界的“心智系統(tǒng)”。

以下為虎嗅與北京人形機器人創(chuàng)新中心CTO唐劍的對話實錄，有精簡：

從AI控制到具身智能的起點

虎嗅：從2018年回國至今，你已經(jīng)在產(chǎn)業(yè)界工作了七年多。過去你先后在滴滴、美的等企業(yè)任職，經(jīng)歷了從學術界到產(chǎn)業(yè)界的轉(zhuǎn)變。你長期研究的“AI驅(qū)動的系統(tǒng)控制”，在這些不同領域中有哪些共通之處？

唐劍：這其實是我當初回國的一個主要初衷——希望能把AI驅(qū)動的系統(tǒng)控制真正用在產(chǎn)業(yè)里。這個方向也可以被稱作“數(shù)據(jù)驅(qū)動”，但我更愿意叫它“經(jīng)驗驅(qū)動”的控制方式。傳統(tǒng)的系統(tǒng)控制，需要先對復雜系統(tǒng)做出精確的數(shù)學建模；但在很多實際情況下，系統(tǒng)太復雜，很難建立一個足夠準確的數(shù)學模型。經(jīng)驗驅(qū)動的思路不同，它通過歷史數(shù)據(jù)和經(jīng)驗來學習控制規(guī)律，從而在缺乏精確模型的情況下，也能實現(xiàn)高效的控制。

后來，我在美國拿到終身教授之后，就開始醉心于“經(jīng)驗控制”的方式。

舉個最簡單的例子，比如游泳運動員潘展樂。他能游得快，不是因為他精通流體力學，而是通過反復訓練積累經(jīng)驗，知道怎樣動作更高效、怎樣會“嗆水”。同樣的道理，AI控制系統(tǒng)通過大量數(shù)據(jù)積累“經(jīng)驗”，從而學會在復雜環(huán)境下的最佳決策，而不需要先寫出精確的數(shù)學公式。

虎嗅：這種“經(jīng)驗驅(qū)動”的理念，在你后續(xù)進入自動駕駛、機器人控制時是否也沿用了？

唐劍：是的。比如自動駕駛中的“端到端控制”，就是典型的經(jīng)驗驅(qū)動思路。它將感知、規(guī)劃、控制三個模塊合并，由模型直接從數(shù)據(jù)中學習整個決策鏈條的優(yōu)化。特斯拉從FSD 12.0版本開始，就采用這種端到端控制架構(gòu)。這種方式相比傳統(tǒng)基于規(guī)則與數(shù)學建模的方案，雖然確定性略低，但在復雜場景下的泛化能力更強，也更接近人類的學習模式。

虎嗅：你此前在自動駕駛領域積累了豐富經(jīng)驗，為什么后來會把研究重心轉(zhuǎn)向具身智能？

唐劍：自動駕駛是經(jīng)驗驅(qū)動控制的一個非常典型的應用場景，而具身智能則是一個更高維度、更復雜的延伸。相比之下，機器人控制的自由度要高得多，一個機器人往往需要同時控制幾十個關節(jié)，還要應對更加復雜和動態(tài)的環(huán)境。自動駕駛有一定規(guī)則可循，比如駕駛需要遵循交通規(guī)則，；而機器人工作在更開放更復雜的場景和環(huán)境，很多任務沒有規(guī)則可循，任務類型繁雜，對理解能力、泛化能力的要求極高，可以說是智能系統(tǒng)的“天花板級”挑戰(zhàn)。

虎嗅：具身智能的復雜度比自動駕駛更高，那么它的“泛化能力”提升會是怎樣一個過程？

唐劍：這個問題很難回答。大家都在期待具身智能出現(xiàn)類似ChatGPT的“突破時刻”，但目前還沒到來。具身智能的數(shù)據(jù)主要是軌跡數(shù)據(jù)，和語言模型的訓練語料完全不同，數(shù)據(jù)量級、采集難度和成本都要高得多。這決定了它的進化會更慢、更依賴長期積累。

世界模型有望帶來具身智能的“DeepSeek時刻”

虎嗅：你說現(xiàn)在具身智能沒有出現(xiàn)ChatGPT時刻，但卻將世界模型類比為具身智能的“DeepSeek時刻”是為什么？

唐劍：現(xiàn)在無論是具身智能還是世界模型，都還沒有出現(xiàn)類似ChatGPT那樣的“時刻”。我們提到“DeepSeek時刻”，更多是一種類比。主要是有三點相似的地方：

第一，它在極為有限的資源下（包括算力和數(shù)據(jù)）取得了超越SOTA性能。我們團隊的思路也是這樣，用有限資源（比如“百卡級”算力）訓練出2B、7B、14B規(guī)模的世界模型，其性能在多項主要指標上超過SOTA，比如英偉達的開源模型Cosmos Predict 2。

第二，DeepSeek雖然在在訓練范式上有突破。比如引入獎勵機制，形成自我優(yōu)化的訓練閉環(huán)。我們現(xiàn)在的世界模型同樣采用“雙模驅(qū)動”結(jié)構(gòu)——世界模型與VLM（多模態(tài)大模型）相互幫助、相互促進。在訓練中，VLM會為世界模型提供“獎勵反饋”，讓它生成的內(nèi)容更符合物理規(guī)律和因果一致性。

第三，我們堅持開源。DeepSeek在開源條件下實現(xiàn)了可比的性能，證明了低資源條件下的潛力。我們也希望通過開源，讓更多研究者參與改進，從而推動整個領域的演進。

虎嗅：DeepSeek比較驚艷的一點在于它的獎勵機制，你們的世界模型也提出了SOPHIA自我優(yōu)化框架，這兩者有相似之處嗎？

唐劍：核心就是一個自我優(yōu)化閉環(huán)，本質(zhì)屬于獎勵機制：由VLM來判定世界模型的生成是否合理，然后反思—調(diào)整—再生成。比如更改提示詞（prompt）或中間策略，形成“評估—修正—再評估”的循環(huán)，直到結(jié)果在物理一致性與任務可行性上達到預期為止。

簡單來說，當我在訓練世界模型時，會引入一個閉環(huán)機制，讓模型生成的視頻越來越逼真、越來越符合物理規(guī)律。這一過程里，VLM會對世界模型提供反饋和獎勵，從而幫助它不斷改進。與此同時，世界模型也會反過來幫助VLM提升能力。

另一方面，我們今年在NeuRIPS上發(fā)表了一篇論文，里面介紹了如何通過世界模型訓練助力機器人大腦的多模態(tài)大模型加速進化，。我們整體的架構(gòu)是一個Agent體系，VLM在其中是“大腦”的核心，負責兩件事：空間理解與任務規(guī)劃。也就是說，當機器人接收到任務時，大腦要知道該怎么做。

舉個例子，假設任務是“加熱一塊面包”。機器人可以用微波爐，也可以用烤箱，這兩種方案都可行。我們用蒙特卡洛樹搜索（Monte Carlo Tree Search）的方式，讓系統(tǒng)自動生成多種執(zhí)行路徑，世界模型會對每一種方案進行仿真和模擬，再結(jié)合獎勵模型對這些方案打分，最后選出最優(yōu)解。

這個過程中生成的全部數(shù)據(jù)，會用類似DeepSeek的GRPO算法來微調(diào)VLM，使得VLM在空間理解和任務規(guī)劃上越來越強。

虎嗅：所以你們的世界模型本身也使用了GRPO機制？

唐劍：對。我們在訓練VLM時也引入了GRPO機制。我們很快會開源新的VLM模型，代號叫Pelican（天鶘），目前已經(jīng)發(fā)布，接下來會開放。它的訓練過程就結(jié)合了世界模型與GRPO機制，實現(xiàn)了一個更緊密的認知與物理交互閉環(huán)。

虎嗅：你覺得如果基于世界模型的這種“雙模驅(qū)動”的邏輯，需要多少數(shù)據(jù)量才能達到智能涌現(xiàn)？或者說達到智能涌現(xiàn)的這個“臨界點”在哪？

唐劍：這個問題得分兩方面看。首先，是問“怎樣才能達到涌現(xiàn)”，還是“什么時候會達到涌現(xiàn)”。這兩點現(xiàn)在都沒有明確答案。到目前為止，沒有人能準確給出具身智能的“Scaling Law”——也就是智能能力隨數(shù)據(jù)、算力、算法增長的規(guī)律。它是否存在、呈現(xiàn)怎樣的曲線，都是未知數(shù)。

虎嗅：你認為世界模型未來會成為具身智能行業(yè)里的主要分歧點嗎？比如像自動駕駛對激光雷達的討論一樣。

唐劍：我覺得和激光雷達還不太一樣。激光雷達or視覺對于很多廠商來說只是兩個版本。這類分歧更多是技術路線選擇的問題。但世界模型不一樣——對于具身智能來說，它是繞不過去的。

因為世界模型的核心作用是幫助機器人理解世界。人形機器人要實現(xiàn)的不僅僅是“像人”，更要在認知上接近人，能理解、能預判、能在物理世界中行動。沒有世界模型的支撐，這一步是做不到的。

舉個例子，最簡單的機器人操作是“抓取”?，F(xiàn)在的機器人抓取主要還是針對剛性物體，比如盒子、瓶子這類，柔性物體幾乎無法精準操作。而人類在抓取不同物體時，會根據(jù)之前的經(jīng)驗與知識，自然調(diào)整力道與角度——抓絲綢、拿瓶子、掰煎餅里的薄脆，每種動作都不同。

要讓機器人理解這種差異，它必須先有一個世界模型——也就是一個能理解、能預測、能模擬世界的系統(tǒng)。否則，它在開放世界中的行動是不可能真正可靠的。世界模型有時也被稱為“世界模擬器”，在機器人訓練中尤其是大腦訓練階段，是不可或缺的一環(huán)。

世界模型的進化：從視頻生成到物理理解

虎嗅：我可以理解為世界模型是具身智能的“必選項”嗎？是否只有世界模型才能讓機器人真正理解世界，其他模型不行？

唐劍：這個問題問得很好?，F(xiàn)在大家提到“世界模型”，往往會自然聯(lián)想到視頻生成類模型，但我認為這只是它的一種形式。世界模型的本質(zhì)，是讓AI理解世界的模型，不局限于某種算法。

每家企業(yè)都可以用不同方式來構(gòu)建和使用世界模型。目前看世界模型主要有三種用途：

第一種，是讓世界模型與機器人大腦（多模態(tài)大模型）形成閉環(huán)，互相促進。它幫助機器人大腦自主學習、自主探索——比如當機器人接到同一任務，但處于不同環(huán)境時，執(zhí)行路徑都不一樣，世界模型能幫助它“在腦中”提前模擬出多種方案，最后選擇最優(yōu)路徑。我們自己使用了類似蒙特卡洛樹搜索的算法，讓模型在虛擬世界中多次嘗試，再決定最佳行動規(guī)劃。

第二種，是讓世界模型直接生成軌跡數(shù)據(jù)。如果模型足夠成熟，它可以自己生成機器人訓練所需的行為數(shù)據(jù)，這樣不必完全依賴真實采集。

第三種，是將世界模型作為機器人操作模型（VLA）的一部分，即模型本身就具備物理理解與控制能力。這樣機器人在執(zhí)行任務時，能直接利用物理規(guī)律指導操作——比如它會知道“薄脆”該怎么抓，柔性物體該怎么拿。

虎嗅：所以其實現(xiàn)在行業(yè)里對“世界模型”還沒有統(tǒng)一的定義？

唐劍：對，目前確實沒有。很多人提到“世界模型”，腦子里想到的都是視頻生成模型。其實那類更多面向內(nèi)容生成，比如服務影視或娛樂行業(yè)。而我們所做的，是面向機器人操作的模型——主要基于機器人第一人稱視角，內(nèi)容也圍繞操作任務展開。

虎嗅：那視頻生成類的世界模型，和具身智能領域所說的世界模型，最大的區(qū)別是什么？是數(shù)據(jù)嗎？

唐劍：主要是對物理規(guī)律和時空一致性的遵循。視頻生成模型追求畫面的美感或藝術效果，它可以在不符合物理規(guī)律的情況下生成炫酷畫面。比如手碰到杯子，杯子沒動、手卻穿過去——在視頻里如果有幾幀，可能沒人注意，但在機器人訓練中這是不可接受的。

機器人必須準確預測“杯子會不會倒”“物體會不會移動”，否則下一步動作就完全錯了。因此，具身智能的世界模型要求嚴格的物理一致性和因果邏輯。

同時，時空一致性也很重要。比如在一個視頻生成模型中，鏡頭轉(zhuǎn)動后物體可能“變形”或“漂移”，但在機器人世界模型中，這種不一致會導致控制邏輯失效。只有保證時間、空間、物理規(guī)律的一致性，機器人才能真正理解并操作現(xiàn)實世界。

虎嗅：雖然視頻生成模型對時空一致性和物理規(guī)律的要求沒有具身智能世界模型那么高，但它們在技術路線上的本質(zhì)是不是一樣的？

唐劍：目前來說，我們的具身世界模型的底座（base model）確實也是基于視頻生成的DiT架構(gòu)。我們當前版本最大的特點是引入了VLM（多模態(tài)大模型）形成“雙模驅(qū)動”，并通過類似DeepSeek那種帶有獎勵機制的方式形成閉環(huán)。同時在訓練中引入了類似“反思”的機制，讓生成結(jié)果越來越符合物理規(guī)律。不過，從長遠來看，我們的下一個版本很可能會采用一個全新的架構(gòu)。

虎嗅：是因為它所使用的數(shù)據(jù)都是視頻數(shù)據(jù)嗎？

唐劍：這可能是一方面的原因，但更深層次的問題在于架構(gòu)本身。它并不能真正捕捉到物理規(guī)律?，F(xiàn)在AI界的一個熱點問題，就是如何把物理約束，比如牛頓定律、能量守恒等物理規(guī)律，有效地注入到世界模型中。我們現(xiàn)在的做法是讓VLM在訓練中對生成結(jié)果進行判斷與獎勵，這相當于一種強化學習式的約束機制我們會嘗試更多新的方法。。

虎嗅：回到行業(yè)的角度，你認為現(xiàn)在為什么具身智能行業(yè)需要世界模型？是不是因為行業(yè)急需讓機器人具備更強的泛化能力？還是說算法和數(shù)據(jù)的積累已經(jīng)到了一定量級？哪個因素的權(quán)重更高？

唐劍：權(quán)重更高的是第一個。我們常說人形機器人落地分為三個階段：工業(yè)場景—商業(yè)場景—家庭生活場景。后兩者對泛化能力的要求極高，因為環(huán)境復雜多變，這就必須依靠世界模型來指導機器人“怎么做”。我們內(nèi)部也把體系分為“大小腦”：大腦負責思考和決策——接到任務后決定如何執(zhí)行；小腦負責動作控制，也就是執(zhí)行層。

虎嗅：之前我們聊到，世界模型早期多應用于視頻生成。在具身智能領域，這個應用算是剛剛開始嗎？

唐劍：對，相對較新。英偉達之前在推動，最近智元也在做。其實現(xiàn)在行業(yè)里普遍關注這一方向。世界模型的核心應用之一就是機器人訓練——可以生成數(shù)據(jù)，也能模擬機器人在虛擬場景中完成任務。

虎嗅：那是否存在某些世界模型更適合工業(yè)場景，另一些更適合生活或商業(yè)場景？

唐劍：不會。差異主要在機器人本身，而不是世界模型。比如Figure03更偏向生活與商務場景，強調(diào)擬人與柔順性；而工業(yè)機器人更粗壯，追求負載、穩(wěn)定性與耐用性。但世界模型的底層架構(gòu)不會因此分叉，只要數(shù)據(jù)充分，模型通用性是一樣的。

虎嗅：所以，世界模型的核心目標就是提高機器人的泛化能力？

唐劍：正是如此。

本文來自虎嗅，原文鏈接：https://www.huxiu.com/article/4795971.html?f=wyxwapp