夜夜躁很很躁日日躁麻豆,精品人妻无码,制服丝袜国产精品,成人免费看www网址入口

網易首頁 > 網易號 > 正文 申請入駐

Nullmax紐勱科技張帆:大模型時代下的智駕進階之路|GTM2025

0
分享至


12月5日,由科技出行產業(yè)智庫與創(chuàng)新服務平臺億歐汽車主辦的GTM2025第八屆科技出行大會(暨科技出行產業(yè)創(chuàng)新榜單發(fā)布會)在中國上海成功舉辦。

本屆大會以“In China For Global”為主題,聚焦全球化研究、技術創(chuàng)新、創(chuàng)業(yè)投資、產業(yè)生態(tài),以尋求話題和討論的新穎性、平衡與融合,為行業(yè)呈現(xiàn)了一場有洞察見地、有交流與啟迪價值的科技出行盛會,同時希望能夠在中國汽車生態(tài)大出海與全球汽車產業(yè)革新的宏觀視域之下,積極推動中國整車企業(yè)、跨國車企、供應鏈和社會各界的交流與互動,讓“產品出?!钡鸀椤爱a業(yè)出海”,促進中國智能電動汽車生態(tài)加速走向全球。

活動期間,億歐汽車發(fā)布了《2025中國智能電動汽車(AIEV)產業(yè)年度回顧及2026趨勢洞察研究報告》和《GTM2025年度科技出行產業(yè)創(chuàng)新榜》等兩份重磅年度研究成果。

在本屆大會上,Nullmax紐勱科技副總裁張帆發(fā)表了題為《大模型時代下,Nullmax 的智駕進階之路》的主題演講,他認為,基于打造場景自動生成系統(tǒng),數(shù)據(jù)增強和自動標注新系統(tǒng),以及云端虛擬引擎,Nullmax正在打造3.0智能駕駛大模型,以此打造新的自動駕駛發(fā)展范式,加速大模型時代下的智駕進階

以下為分享實錄(經億歐汽車編輯),供業(yè)內人士參考:

各位下午好!我是Nullmax紐勱科技的副總裁張帆,非常感謝億歐汽車的邀請,有機會和大家分享我們最新的一些技術以及對這個行業(yè)的思考。

我今天演講主要分幾個部分,第一部分介紹一下我們公司,我會說一下我們公司在規(guī)則時代1.0、2.0時代的技術積淀,到了大模型時代的技術躍遷以及最后對我們來說非常重要的云端智能引擎。

我們公司是2016年誕生于硅谷,我們一直是主張圍繞機器學習、人工智能漸進式的智能駕駛發(fā)展,隨著時代發(fā)展以及技術的躍遷我們也孕育出迭代出不同模態(tài)的產品,面向不同的場景和產品以及不同算力的芯片,在不同的產品上落地。

我們公司發(fā)展可以分為三個階段:第一個階段2016-2019年。2016年我們公司在硅谷成立,2017年在上海成立研發(fā)基地,在上海張江雙子塔附近,2017-2018年初代功能上線,2019年獲得天使輪的融資。第二個階段2020年-2023年,獲得了量產的訂單,包括上汽和奇瑞,獲得了A、B輪10幾億的投資。第三個階段從2024年到今天,產品已經開始擴大量,包括國內國外產品跟項目開始逐漸SOP,另外我們也發(fā)布了Nullmax端到端的技術。


這是我們的創(chuàng)始人徐雷博士,最早是高通和特斯拉的員工,他來自特斯拉也孕育出來我們公司類似于特斯拉的基因,兩個方面,一個方面是機器視覺為主,我們相信機器視覺是能夠提供更高的幀率以及更豐富的場景的信息,我們并不反對多傳感器融合包括激光雷達、毫米波雷達、4D毫米波,我們始終相信視覺能夠提供更豐富的信息。

第二方面大模型的運用,類似于特斯拉最早也是基于規(guī)則、Transformer到現(xiàn)在的端到端模型讓它的技術有很大的躍遷,我們相信基于大模型的技術是很多的規(guī)則技術不能替代的,能夠在更多的場景下做到擬人化以及功能的完善。

我們產品的矩陣,從左到右最低階我們做一體機,這個方案我們在全球特別是海外占有很大的比重,雖然算力比較低只有10TOPS以下,但是重要性非常高。我們純視覺的方案可以做到CNCAP、ENCAP最高的得分,CNCAP的五星+ENCAP的五星,海內外都有面向量產的項目。中階254TOPS以下,單顆OrinX以下的不同芯片計算平臺上可以做到艙駕一體,域控的方案基于BEV Transformer的算法架構,最高的算力產品是400TOPS以上,基于11-12個攝像頭,5個或者3個毫米波雷達、12個超聲波雷達,一顆可選的激光雷達,激光雷達對我們來說不是必選項,我們可以在這上面布置端到端、VLA的算法架構,去實現(xiàn)全場景無圖的自動駕駛。我們的生態(tài)合作伙伴,包括客戶,奇瑞、上汽、江鈴汽車、比亞迪、包括Tier1和芯片的合作伙伴。

第二階段規(guī)則時代的積淀,我們的智駕發(fā)展經歷了三個階段,1.0規(guī)則驅動,我們用多個傳感器的單獨輸入,多傳感器還是各自為戰(zhàn),每個傳感器會給出相應的信息,我們還是有感知模塊、規(guī)劃模塊、控制模塊,甚至有更多分散的模塊。這些模塊基于規(guī)則用大量的人力開動腦筋寫了大量的規(guī)則應用于不同的駕駛場景,這個時候雖然可以量產,但是更多是在規(guī)則化的道路上,基于一定規(guī)則的駕駛行為。

2.0階段,半規(guī)則半模塊化的狀態(tài),更多是端到端的模型,感知模型有自己的模型,規(guī)劃有自己另外的模型,基于兩個模型之外我們有一些規(guī)則。這個時候我們雖然做到了擬人化,依舊不夠智能化。

今天3.0階段是智能驅動,基于多模態(tài)輸入、多傳感器包括語音視頻的端到端+VLA的模型,不僅可以直接更擬人化應對很多駕駛場景,也可以對場景做出相應的解讀,完成更好的人機交互。

1.0和2.0階段也有大模型,特別是視覺感知,我們內部叫BEV-AI平臺化大模型,這個平臺化大模型也包含多個小模型,包括BEV-AI -OD障礙物檢測模型,BEV-AI-MAP局部建圖模型,BEV-AI-LANE車道線檢測模型,包括時域信息和Temporal模型、BEV-AI-Topo拓撲網絡結構模型,這些模型對1.0、2.0時代的產品落地起到了很大的幫助,可以看幾段視頻。

我們的車在之前量產的狀態(tài)下,比如說這個是通過十字路口,旁邊的靜態(tài)以及動態(tài)包括圍欄信息都呈現(xiàn)在BEV的視角下,非常穩(wěn)定。這只是一個感知的輸出,規(guī)劃和控制用自己的模型拿感知和輸出做規(guī)控設計。不光是產品落地也在國際頂刊論文上都有很好的引用量和瀏覽量。

我們也用1.0、2.0時代BEV-AI技術量產了很多車,搭載在不同的芯片上,主要的合作伙伴,包括奇瑞、上汽、江鈴、比亞迪。我們在做的時候也發(fā)現(xiàn)了問題,雖然我們的模型很穩(wěn)定,雖然我們的規(guī)則可以寫得很好,始終會遇到蹺蹺板問題,今天解決了一個問題,畢竟是一個規(guī)則,遇到了另外一個場景,這個場景跟剛才的場景相似,但是你用規(guī)則沒有辦法完全覆蓋,所以它始終不能做到100%,甚至是95%以上可能都很難,始終很難解決一些核心問題,我們必須勢在必行,包括市場、友商必須升級到基于大模型的3.0時代。

3.0時代對于我們來說最重要的是端到端+VLA模型,我們引入了大語言模型,在大語言模型中,輸入除了原始的傳感器信息也代入了導航信息、語音指令,包括多模態(tài)的信息,這些多模態(tài)信息進入大語言模型之后不僅可以直接生成行為軌跡同時也可以顯示生成一些中間信息,包括感知的結果、道路結構、目標檢測、對場景描述、人機交互的信息。

這有它的好處,第一,安全性更高,傳統(tǒng)遇到長尾場景的時候基于一些規(guī)則或者端到端的黑盒,對場景的理解是欠缺的,在大語言模型中增加了對場景的理解,可以更好地處理在場景下的措施,另外交互性更強,系統(tǒng)能夠理解語義意圖,生成符合人類駕駛習慣的動態(tài)策略。第三,可解釋性強,我們可以看到在駕駛理想汽車可以在操作過程中把大模型對場景理解,包括決策結果,可以顯示在人機交互界面上,讓人更放心去看到系統(tǒng)是怎么理解的,并且怎么做出選擇。第四,泛化性更強,借助互聯(lián)網規(guī)模的多模態(tài)預訓練的知識之后,系統(tǒng)可以在沒見過的場景下體現(xiàn)很強大的泛化性。這個是實際測試中的例子,在雨天的行駛中前方有一個兩輪車我們要繞過去,傳統(tǒng)的端到端規(guī)則模型就是一個簡單的繞行行為,你也不知道是為什么,但是大語言模型做出了一些解釋,城市雨天場景街道兩邊停了汽車,自車前方有一個模型車在行駛,可能會影響自車通行,包括隨著更多的車輛從不同的方向駛來,交通擁堵風險增加,我現(xiàn)在必須繞過去,很好的一個人機交互行為。

這樣深度的場景理解和推理,之前沒有解決的問題會得到更好地解決。第一個增加防御性駕駛,遇到隧道長界、盲區(qū)、匝道,這個時候會主動減速,因為它理解了這個場景,在人類駕駛中這個場景下可能會出現(xiàn)危險,所以我要做一些減速。包括跟人類駕駛員語言交互的理解,我坐在車上通過語音的喇叭告訴他繞過前車包括復雜場景的推理等等。

這是在我們公司附近張江很擁堵路況下實車測試的視頻,這個是真正沒有激光、無圖的大語言模型和端到端技術實車測試的結果,整個路程跑現(xiàn)在20公里左右不接管的狀態(tài),下面有更復雜的場景,這些東西都是我們傳統(tǒng)在基于規(guī)則2.0時代很難處理的場景,現(xiàn)在非常的絲滑和非常的擬人化。

業(yè)界說到的人比較少,我們也做了大語言模型在泊車場景的使用,大家更多討論在公開車道,以及停車場泊車場景。這個是斷頭路的場景,對面是一堵墻,整個過道非常窄,旁邊的車位全部被占滿。這個在1.0、2.0時代系統(tǒng)非常傻,會在狹小的空間內,可以看到我們測試俯視圖,在狹小空間能不斷前進后退,因為它眼睛里面只看到這個車位這個墻,要做的是基于搜索和規(guī)則的邏輯找到可行路徑,停到車位里面去,但是它沒有真正理解這個場景。現(xiàn)在引入大語言模型之后它真正理解了這個場景,它看懂了這個場景人類理解的道路非常窄,非常緊貼墻壁周圍全是車,但是我們發(fā)現(xiàn)這個十字路口的地方有一個比較寬闊的場景,這個地方可以用來掉頭,所以我們的車很果斷直接就開到了空曠的十字路口區(qū)域做了一個調頭非常絲滑回到了斷頭路,整個過程不超過50秒,如果你要在狹小的空間內不斷地前進和后退,整個過程要超過兩分鐘,甚至直接讓人接管,這個是大語言模型在泊車場景給我們帶來很大的進步。


回到云端,類似華為WEWA架構,更多討論是車端WE以及云端WA聯(lián)動的作用,對我們來說云端也是非常重要的。這是我們云端的Nullmax自主成長數(shù)據(jù)平臺,這個數(shù)據(jù)平臺在1.0階段就有,因為智能駕駛一開始數(shù)據(jù)對我們非常重要,只不過使用目的和途徑不一樣。我們在量產中、量產前、量產后會累積非常多的數(shù)據(jù),上傳到云端,在云端做數(shù)據(jù)的清洗和數(shù)據(jù)標注,分波處理數(shù)據(jù),70%的數(shù)據(jù)用于模型訓練,30%的數(shù)據(jù)會測試訓練好的模型。然后把訓練好的模型下放給車端,給車端實現(xiàn)一個OTA升級。

除此之外,我們還可以在云端做智能化的數(shù)據(jù)挖掘,以前我們可能做數(shù)據(jù)搜索方面非常麻煩非常復雜,現(xiàn)在我們用到大模型的技術之后可以通過多種手段進行很快的數(shù)據(jù)搜索。比如說Tag檢索,我現(xiàn)在知道雨天路口夜晚帶一點的光源數(shù)據(jù),將文字輸入其中,它就自動給我搜索到相應的一些視頻跟圖像的數(shù)據(jù)。

第二,我給它一個提示詞,我想要去搜索施工區(qū)域的場景,自動搜索出來,甚至可以以圖搜圖,我把環(huán)島的標志輸入到引擎中,引擎自動給我一些環(huán)島的圖幫助我進行模型訓練和測試。現(xiàn)在可以主動學習,當你進行了很多的搜索,很多交互之后,它主動學會哪些場景是比較難的場景,哪些場景是對我們有價值的場景,它主動搜索一些長尾數(shù)據(jù)進行挖掘。

數(shù)據(jù)標注,以前不管是1.0、2.0還是3.0階段都是非常重要的,之前我們更多是用人力做這件事,成本非常高,而且非常耗時。現(xiàn)在我們用大模型做這件事,拿激光雷達和視覺標注數(shù)據(jù)在一起加上時間運行成4D的BEV模型,不管是高速還是城市形成非常精確的路網信息,通過路網信息和視覺信息匹配,基本上達到了99%以上的自動化標注系統(tǒng),人為做少量的檢查就可以形成偽訓練標注物的結果。

另外云端兩個應用,左邊是AIGC數(shù)據(jù)的生成,現(xiàn)在自動駕駛已經進入到深水區(qū),其實我們面對的不是一個大直道,幾輛車非常清晰很好的光線的簡單場景,更多是1%、2%的場景,這些場景要應用到很多數(shù)采資源,包括每天開數(shù)據(jù)車去車上碰,不一定碰到一例,好不容易碰到一例是白天,你更想知道晚上同樣場景的效果。

怎么辦呢?AIGC在這里面起到很強大的作用,我們可以去進行一些假人的生成,比如說我在一個場景錄一個數(shù)據(jù)可以把假人截取下來,放到別的場景下,去用別的場景下生成的假人的數(shù)據(jù)進行模型的訓練和測試。

甚至我們現(xiàn)在有數(shù)據(jù)資產,比如3D數(shù)據(jù)資產,車在路上碰到白色的車,白色的車會被截取下來進行3D數(shù)據(jù)的生成,生成更多的場景用于更多的數(shù)據(jù)訓練、模型訓練和測試。大家知道現(xiàn)在新規(guī)馬上就要正式頒布,新規(guī)有很多的場景,比如說隧道有翻倒的車輛,前方彎道有一個50×50的小紙箱,這些東西怎么樣在真實道路上進行采集非常困難,應用到AIGC的能力之后就可以很好在很短的時間內自動生成非常真實的訓練和測試的數(shù)據(jù),對我們來說是非常有價值的。

右邊是一個虛擬仿真器,大家知道華為的WEWA說得很玄乎,拆分下來云端有一個很大的作用是仿真器的作用,這個仿真器利用了量化學習和世界大模型在云端做了基于長尾問題專家型的訓練,所以才讓系統(tǒng)在很短的時間內迅速進化,聽起來很玄乎,我們也做了類似的東西,AI Agent Virtual Driver。仿真器里面紅色的矩形框,相當于不是一輛簡單的車,我們賦予它生命,我們基于大語言模型和強化學習讓這個車本身有一個自主的決策和規(guī)劃的能力,也就是說今天如果要測黑色的框在不同迭代軟件跟別的車交互效果是不是有所提升,以往在仿真環(huán)境里面這個盒子就很傻,現(xiàn)在我們賦予仿真環(huán)境中NPC的生命之后他們具有大模型、強化學習的思考能力,會主動和自車進行交互,同時也會幫助自車的模型進行市場迭代,這個Driver很充分地利用起來,實際上我更多的時間會在Driver里面用我的車和NPC進行交互,效率會提升非常多,這個是我們現(xiàn)在做的一件事,跟華為的類似。

現(xiàn)在這個場景里面我們也累積了1萬+真實場景,而且這些場景不是簡單真實場景1:1的還原,而是進行一定程度的泛化。我的場景在真實場景中只是一個簡單的入口,但是我可以泛化成很多的交叉路形成路網信息,實現(xiàn)跟別的智能化NPC交互的結果。

這就是我今天的介紹和分享,著重于介紹3.0的智駕大模型,聽起來比較高大上它有一些支撐的點:第一,場景自動生成系統(tǒng),這個系統(tǒng)很大程度幫助我們節(jié)約了數(shù)據(jù)的生成和數(shù)據(jù)的搜索標注的effort。第二,數(shù)據(jù)增強與自動標注新系統(tǒng),這也極大幫助我們節(jié)省了人力和成本。第三,云端虛擬引擎系統(tǒng),這三個作為基石共同幫助3.0智駕模型驅動智能駕駛的新范式,加速高階智駕進化,幫助我們把未來3.0做到更好,甚至進化到4.0的階段。

謝謝大家!

特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相關推薦
熱點推薦
荷蘭不愿看到的局面出現(xiàn)了,中企開始“打包甩賣”歐洲資產!

荷蘭不愿看到的局面出現(xiàn)了,中企開始“打包甩賣”歐洲資產!

青青子衿
2025-12-12 06:28:24
高市早苗求見特朗普未果,石破茂給她支招:打不過中國,就加入

高市早苗求見特朗普未果,石破茂給她支招:打不過中國,就加入

南宮一二
2025-12-12 15:37:05
廣西一中職學校7.7萬采購22套服裝引質疑,招標負責人稱采購合規(guī)

廣西一中職學校7.7萬采購22套服裝引質疑,招標負責人稱采購合規(guī)

澎湃新聞
2025-12-12 13:08:26
馬斯克怒批短視頻:這玩意越看越降智,會毀了所有人……

馬斯克怒批短視頻:這玩意越看越降智,會毀了所有人……

柴狗夫斯基
2025-12-11 21:54:53
??聯(lián)合國秘書長突然宣布:對中國和日本近期的爭議不作任何表態(tài)

??聯(lián)合國秘書長突然宣布:對中國和日本近期的爭議不作任何表態(tài)

達文西看世界
2025-12-12 09:59:28
誰敢竄訪,就炸誰的港口!

誰敢竄訪,就炸誰的港口!

安安說
2025-12-12 10:30:12
上海這家西餐老字號要關門了?曾紅極一時,有人愿花大半個月工資吃一頓

上海這家西餐老字號要關門了?曾紅極一時,有人愿花大半個月工資吃一頓

環(huán)球網資訊
2025-12-12 13:09:12
何小鵬第三次公開打賭:明年追不上FSD,智駕負責人裸奔

何小鵬第三次公開打賭:明年追不上FSD,智駕負責人裸奔

紅星新聞
2025-12-12 12:27:05
向太再曝大瓜!揭開馬伊琍與文章離婚真相,這么多年都錯怪姚笛了

向太再曝大瓜!揭開馬伊琍與文章離婚真相,這么多年都錯怪姚笛了

知法而形
2025-12-12 11:57:13
中芯國際在無EUV設備條件下量產5納米級N+3工藝 華為麒麟9030已采用

中芯國際在無EUV設備條件下量產5納米級N+3工藝 華為麒麟9030已采用

cnBeta.COM
2025-12-12 14:09:04
英報社論:歐洲“是時候反擊了”

英報社論:歐洲“是時候反擊了”

參考消息
2025-12-11 18:04:37
茅臺批發(fā)價跌破1499元官方指導價

茅臺批發(fā)價跌破1499元官方指導價

第一財經資訊
2025-12-12 11:39:37
約基奇36+12+8掘金大勝國王 威少17+5德羅贊總分超卡特

約基奇36+12+8掘金大勝國王 威少17+5德羅贊總分超卡特

醉臥浮生
2025-12-12 13:17:00
“槍口”對準珍珠港,這個日本極右翼分子對美國“開火”了

“槍口”對準珍珠港,這個日本極右翼分子對美國“開火”了

環(huán)球時報國際
2025-12-12 00:11:18
江門一加油站“低俗營銷”被叫停!律師:已涉嫌違反廣告法

江門一加油站“低俗營銷”被叫停!律師:已涉嫌違反廣告法

揚子晚報
2025-12-12 10:15:27
巨頭宣布告別!老員工不舍,曾是不少上海小囡的童年記憶

巨頭宣布告別!老員工不舍,曾是不少上海小囡的童年記憶

申消費
2025-12-12 10:16:53
當“國補”潮水退去:美的以“全面風”,開啟空調價值競爭新紀元

當“國補”潮水退去:美的以“全面風”,開啟空調價值競爭新紀元

中國家電網
2025-12-12 16:00:34
九天無人機成功首飛,東亞局勢即將變天

九天無人機成功首飛,東亞局勢即將變天

楓冷慕詩
2025-12-12 12:37:53
隨著王楚欽4-1勝大勒布倫,晉級半決賽!男單4強國乒提前鎖定2席

隨著王楚欽4-1勝大勒布倫,晉級半決賽!男單4強國乒提前鎖定2席

球場沒跑道
2025-12-12 13:53:27
回顧探花大神:害人害己,多位女主被親戚認出當場“社死”

回顧探花大神:害人害己,多位女主被親戚認出當場“社死”

就一點
2025-10-09 12:19:42
2025-12-12 18:08:49
億歐
億歐
更多優(yōu)質行業(yè)資訊請訪問億歐網
129081文章數(shù) 95350關注度
往期回顧 全部

汽車要聞

插混四驅法拉利?849 Testarossa國內發(fā)布516.8萬起

頭條要聞

沈逸:美國用最強硬的方式 吹響戰(zhàn)略撤退號角

頭條要聞

沈逸:美國用最強硬的方式 吹響戰(zhàn)略撤退號角

體育要聞

15輪2分,他們怎么成了英超最爛球隊?

娛樂要聞

上海這一夜,33歲陳麗君秒了32歲吉娜?

財經要聞

鎂信健康闖關港交所:被指竊取商業(yè)秘密

科技要聞

凌晨突發(fā)!GPT-5.2上線,首批實測感受來了

態(tài)度原創(chuàng)

數(shù)碼
健康
游戲
公開課
軍事航空

數(shù)碼要聞

必看!5款質量好又安全的電熱水器安全性高首選瑞美

甲狀腺結節(jié)到這個程度,該穿刺了!

《鵝鴨殺》手游定檔熱搜:年輕人用“社交貨幣”投出了一張信任票

公開課

李玫瑾:為什么性格比能力更重要?

軍事要聞

澤連斯基:烏領土問題應由烏人民決定

無障礙瀏覽 進入關懷版 国产主播一区二区三区在线观看| 俺也去www色官方网站伴半| 丰满人妻日韩无码一区二区不卡 | 护士av无码在线观看| 色欲蜜臀性色av无码久久一区| ā片在线观看| 黑人啊灬啊灬啊灬快灬深| 熟女亮丝肥臀| 亚洲午夜久久久影院伊人| 欧美日本二区| 亚洲av成人无码天堂| 中文AV岛国无码免费播放| 欧美三级第一页| 久久亚洲调教人妻| 欧美性精品不卡在线观看| 人人操,人人舔,人人爽,| 精品乱码久久久久久中文字幕| 99九九热精品影视| 国产人妻无码一区二区三区18| 欧美性色欧美A在线视频| 一级片黄色一区二区三区| 无码人妻1区2区3区| 国产精品久久久久久久久久98 | 青青草一区| 少妇高潮一区二区三区色欲 | 婷婷六月在线精品免费视频观看| 天天色综合网天天色综合| 日韩性生交XXXXXX无码| 久久精品国产亚洲av无码偷窥| 优优人体大尺大尺无毒不卡| 亚洲AV无码乱码国产二区| 粉嫩av.一区二区三区免费| 亚洲国产精品无码久久九色| 免费看午夜福利在线观看| 国产普通话对白刺激| 欧美日本道免费二区三区| 国产干干干射射射| 久久国产福利国产秒拍| 人人妻人人澡人人爽精品欧美一区| 午夜免费男女aaaa片| 无码人妻一区二区三区手机视频|