特斯拉正用純視覺數(shù)據(jù)訓練Optimus，讓機器人真正用“眼睛”理解世界。

據(jù)Business Insider最新報道，特斯拉已將人形機器人Optimus的訓練方式從動作捕捉轉(zhuǎn)向純攝像頭數(shù)據(jù)采集，數(shù)十名數(shù)據(jù)采集員工在實驗室內(nèi)重復執(zhí)行日常動作，為機器人學習人類行為提供視頻訓練素材。

報道稱，自今年6月起，特斯拉放棄了此前使用的動作捕捉服裝和遠程操作方式，轉(zhuǎn)而采用僅依靠攝像頭的數(shù)據(jù)收集方法。工人們頭戴裝有五個攝像頭的頭盔，背負重達30-40磅的設(shè)備包，反復執(zhí)行擦桌子、提杯子、拉窗簾等基礎(chǔ)動作。

馬斯克在第三季度財報電話會議上稱Optimus“有潛力成為有史以來最大的產(chǎn)品”，并預計該公司最終將每年生產(chǎn)100萬臺機器人。他還表示，Optimus有一天可能占到這家汽車制造商價值的80%左右。

訓練方式全面轉(zhuǎn)向攝像頭數(shù)據(jù)采集

特斯拉工程總部的一個玻璃實驗室內(nèi)，數(shù)據(jù)采集工人們執(zhí)行著看似簡單但極其精確的重復動作。每個動作都要在8小時輪班期間重復數(shù)百次，所有行為都被頭盔上的五個攝像頭和背包設(shè)備完整記錄。

今年6月，在項目總監(jiān)Milan Kovac離職后，公司告知員工將從動作捕捉服裝和遠程操作轉(zhuǎn)向僅使用攝像頭收集數(shù)據(jù)。工人表示，團隊被告知這種方式能夠更快地擴展數(shù)據(jù)收集規(guī)模。

除了工人身上的攝像頭設(shè)備，特斯拉還在工作區(qū)域周圍設(shè)置了固定攝像頭。謝菲爾德大學機器人專家Jonathan Aitken表示，這些固定攝像頭塔能夠提供更廣闊的環(huán)境視角，補充身上攝像頭的數(shù)據(jù)。

工人們有時還配備觸覺手套，用于追蹤手部的細微動作。馬斯克曾表示，特斯拉在為Optimus開發(fā)類人手部方面投入了大量精力，稱其為"極其困難的工程挑戰(zhàn)"。

AI生成任務(wù)指令覆蓋復雜動作場景

特斯拉已開始使用AI生成的提示來幫助訓練機器人。在某些訓練練習中，工人通過連接到背包的頭戴設(shè)備接收一系列AI生成的指令，需要在3-5秒內(nèi)完成每個動作。

據(jù)工人描述，這些練習包括下蹲、做“雞舞”、模仿大猩猩、假裝吸塵、短距離沖刺、假裝打高爾夫球等動作。一些任務(wù)甚至包括嬰兒智力游戲，如按大小和顏色套環(huán)，或?qū)⑿螤罘湃胂鄳?yīng)的槽中。

兩名數(shù)據(jù)采集員提到，有些AI生成的任務(wù)讓他們感到不適，包括四肢爬行或脫掉衣服的要求。不過專家認為，這些看似隨機的任務(wù)可能幫助特斯拉了解需要改進的領(lǐng)域。

在弗里蒙特工廠，數(shù)據(jù)采集員還會在佩戴頭盔和背包的情況下整理車輛零件，在傳送帶上工作。專家表示，為同一任務(wù)收集不同的數(shù)據(jù)點對訓練很有幫助。

機器人實際表現(xiàn)仍面臨技術(shù)挑戰(zhàn)

盡管在公司視頻中，Optimus能夠行走、疊衣服、表演功夫動作并在時代廣場分發(fā)糖果，但實際訓練中的表現(xiàn)差距明顯。

報道稱，兩名工人表示，機器人在執(zhí)行需要彎曲或傾斜的任務(wù)時，有一半時間會摔倒，有時會損壞昂貴的設(shè)備。除非執(zhí)行需要移動超過幾英尺的任務(wù)，否則通常會被綁在支撐架上保持直立。

Aitken表示，在特斯拉辦公室這樣的受控環(huán)境中，機器人應(yīng)該能夠輕松保持直立?！白屗酒饋聿⒈３制胶鈶?yīng)該是你首先要解決的問題之一?！?/p>

俄勒岡州立大學AI和機器人專家Alan Fern指出，機器人演示“總是他們能向你展示的最好演示”。當看到它表演功夫時，雖然看起來在做智能的事情，但“它只是對環(huán)境做出反應(yīng)，背后沒有認知思考”。

目前，超過100人曾參與數(shù)據(jù)收集工作，但公司在9月的半年度績效評估后裁減了數(shù)十名數(shù)據(jù)采集員。工人們根據(jù)任務(wù)執(zhí)行情況評分，每個輪班需要收集至少4小時的可用視頻素材。