（來源：MIT Technology Review）

在機(jī)器人的“眼中”，現(xiàn)實(shí)世界充滿了海量需要處理的信息。想要理解場(chǎng)景中的每一個(gè)數(shù)據(jù)點(diǎn)，往往需要耗費(fèi)大量的計(jì)算資源和時(shí)間。而在此基礎(chǔ)上，利用這些信息來判斷如何更好地幫助人類，更是一項(xiàng)頗具挑戰(zhàn)的任務(wù)。

如今，麻省理工學(xué)院的機(jī)器人專家找到了一種方法，能夠幫助機(jī)器人過濾數(shù)據(jù)噪音，使其專注于場(chǎng)景中與協(xié)助人類最為相關(guān)的特征

他們將這種方法命名為“相關(guān)性（Relevance）”。借助這一方法，機(jī)器人可以利用場(chǎng)景中的各種線索，比如音頻和視頻信息，來判斷人類的目標(biāo)，進(jìn)而快速識(shí)別出最有可能助力實(shí)現(xiàn)該目標(biāo)的物體。隨后，機(jī)器人會(huì)執(zhí)行一系列操作，安全地將相關(guān)物體遞交給人類，或者完成相應(yīng)動(dòng)作。

研究人員通過模擬會(huì)議自助早餐場(chǎng)景的實(shí)驗(yàn)，展示了這一方法的實(shí)際效果。他們擺了一張桌子，上面擺滿了各式各樣的水果、飲料、小吃和餐具，還配備了一個(gè)裝有麥克風(fēng)和攝像頭的機(jī)械臂。運(yùn)用新的“相關(guān)性”方法后，實(shí)驗(yàn)表明，機(jī)器人能夠在不同場(chǎng)景中準(zhǔn)確識(shí)別人類的目標(biāo)，并提供恰當(dāng)?shù)膸椭?/strong>

在其中一個(gè)場(chǎng)景里，機(jī)器人捕捉到人類伸手去拿一罐沖調(diào)好的咖啡這一視覺線索，便迅速將牛奶和攪拌棒遞給了這個(gè)人；在另一場(chǎng)景中，機(jī)器人聽到兩個(gè)人談?wù)摽Х鹊膶?duì)話后，為他們送上了一罐咖啡和奶精。

總體而言，該機(jī)器人預(yù)測(cè)人類目標(biāo)的準(zhǔn)確率可達(dá) 90%，識(shí)別相關(guān)物體的準(zhǔn)確率更是高達(dá) 96%。而且，這一方法還顯著提升了機(jī)器人的安全性，與未使用該方法執(zhí)行相同任務(wù)相比，碰撞次數(shù)減少了 60% 以上。

麻省理工學(xué)院機(jī)械工程教授 Kamal Youcef-Toumi 表示：“這種實(shí)現(xiàn)相關(guān)性的方法，能讓機(jī)器人與人類的交互變得更加容易。機(jī)器人無需頻繁詢問人類的需求，而是主動(dòng)從現(xiàn)場(chǎng)獲取信息，自行判斷如何提供幫助?！?/p>

Kamal 的團(tuán)隊(duì)正在探索，運(yùn)用“相關(guān)性”編程的機(jī)器人在智能制造倉庫場(chǎng)景中能發(fā)揮怎樣的作用。他們?cè)O(shè)想，未來機(jī)器人可以與人類并肩工作，默契地提供協(xié)助。

Kamal與研究生 Xiaotong Zhang、Dingcheng Huang 將在今年 5 月舉行的 IEEE 國際機(jī)器人與自動(dòng)化會(huì)議上展示這一新方法。

尋找焦點(diǎn)

該團(tuán)隊(duì)的方法受到人類自身篩選日常生活中相關(guān)事物能力的啟發(fā)。人類之所以能夠過濾掉干擾信息，專注于重要內(nèi)容，得益于大腦中的網(wǎng)狀激活系統(tǒng)（RAS）。RAS 是腦干中的一束神經(jīng)元，它在潛意識(shí)層面發(fā)揮作用，過濾掉不必要的刺激，讓人能夠有意識(shí)地感知到關(guān)鍵信息。比如，RAS 能避免我們的感官因過多信息而超載，讓我們不會(huì)在倒咖啡時(shí)，把注意力分散在廚房柜臺(tái)上的每一件物品上，而是專注于當(dāng)前的任務(wù)。

Kamal 解釋道：“這些神經(jīng)元能過濾掉所有不重要的信息，讓大腦專注于當(dāng)下相關(guān)的內(nèi)容，這真的很神奇。這基本上就是我們的研究思路?！?/p>

他和團(tuán)隊(duì)開發(fā)了一種機(jī)器人系統(tǒng)，該系統(tǒng)在很大程度上模仿了 RAS 篩選和處理信息的能力。這一方法主要包含四個(gè)階段。第一階段是“感知”階段，在此期間，機(jī)器人通過觀察和學(xué)習(xí)，獲取音頻和視頻線索，例如麥克風(fēng)和攝像頭傳來的信息，這些信息會(huì)持續(xù)輸入到 AI“工具包”中。這個(gè)工具包可能包含一個(gè)大型語言模型（LLM），用于處理音頻對(duì)話，識(shí)別關(guān)鍵字和短語，同時(shí)還配備了各種算法，用于檢測(cè)和分類物體、人類、身體動(dòng)作以及任務(wù)目標(biāo)。AI 工具包就像大腦的 RAS 一樣，在后臺(tái)持續(xù)運(yùn)行，進(jìn)行潛意識(shí)層面的信息過濾。

第二階段是 “觸發(fā)檢查” 階段，系統(tǒng)會(huì)定期進(jìn)行檢查，判斷是否有重要事件發(fā)生，比如是否有人進(jìn)入該環(huán)境。一旦檢測(cè)到有人進(jìn)入，系統(tǒng)便會(huì)進(jìn)入第三階段。這一階段是整個(gè)系統(tǒng)的核心，其作用是確定環(huán)境中哪些特征最有可能與幫助人類相關(guān)。

為了建立這種相關(guān)性，研究人員開發(fā)了一種算法，它可以接收 AI 工具包做出的實(shí)時(shí)預(yù)測(cè)。例如，工具包中的 LLM 可能識(shí)別出關(guān)鍵字“coffee”，而動(dòng)作分類算法可能將伸手拿杯子的人標(biāo)記為有“make coffee”的目標(biāo)。團(tuán)隊(duì)的“相關(guān)性”方法會(huì)綜合這些信息，首先確定與“making coffee”目標(biāo)最相關(guān)的物體“類別”。這樣一來，“fruits”和“snacks”等類別可能會(huì)被自動(dòng)排除，而“cups”和“creamers”等類別則會(huì)被保留。接著，算法會(huì)在相關(guān)類別中進(jìn)一步篩選，確定最相關(guān)的“元素”。比如，根據(jù)環(huán)境中的視覺線索，系統(tǒng)可能會(huì)將離人最近的杯子標(biāo)記為比遠(yuǎn)處的杯子更相關(guān)、更能提供幫助。

在第四階段，也是最后一個(gè)階段，機(jī)器人會(huì)獲取識(shí)別出的相關(guān)物體，并規(guī)劃一條路徑，將這些物體送到人類手中。

助手模式

研究人員在模擬會(huì)議自助早餐的實(shí)驗(yàn)中對(duì)新系統(tǒng)進(jìn)行了測(cè)試。他們選擇這個(gè)場(chǎng)景，是基于一個(gè)公開的早餐動(dòng)作數(shù)據(jù)集，該數(shù)據(jù)集包含人們?cè)谠绮蜁r(shí)間進(jìn)行的各類典型活動(dòng)的視頻和圖像，比如沖咖啡、做煎餅、泡麥片和煎雞蛋等，每個(gè)視頻和圖片中的動(dòng)作以及總體目標(biāo)（如煎蛋還是煮咖啡）都做了標(biāo)記。

借助這個(gè)數(shù)據(jù)集，團(tuán)隊(duì)對(duì) AI 工具包中的各種算法進(jìn)行了測(cè)試，這樣一來，當(dāng)接收到新場(chǎng)景中的人類動(dòng)作時(shí)，算法就能準(zhǔn)確標(biāo)記和分類人類的任務(wù)、目標(biāo)以及相關(guān)物體。

在實(shí)驗(yàn)中，他們?cè)O(shè)置了機(jī)械臂和抓手，并設(shè)定系統(tǒng)在人類靠近擺滿飲料、小吃和餐具的桌子時(shí)提供協(xié)助。結(jié)果發(fā)現(xiàn)，當(dāng)沒有人在場(chǎng)時(shí)，機(jī)器人的 AI 工具包會(huì)在后臺(tái)持續(xù)運(yùn)行，對(duì)桌子上的物體進(jìn)行標(biāo)記和分類。

在觸發(fā)檢查過程中，一旦機(jī)器人檢測(cè)到人類，它會(huì)立刻做出反應(yīng)，開啟相關(guān)性分析階段，并根據(jù) AI 工具包確定的人類目標(biāo)，快速識(shí)別場(chǎng)景中最有可能相關(guān)的物體。

合著者 Zhang 表示：“相關(guān)性方法能夠引導(dǎo)機(jī)器人在高度動(dòng)態(tài)的環(huán)境中，提供無縫、智能、安全且高效的幫助?！?/p>

展望未來，該團(tuán)隊(duì)希望將這一系統(tǒng)應(yīng)用到類似工作場(chǎng)所、倉庫環(huán)境的場(chǎng)景中，以及家庭日常任務(wù)中。

Zhang 說：“我想在家里測(cè)試這個(gè)系統(tǒng)，比如我看報(bào)紙的時(shí)候，它能不能給我遞杯咖啡；我洗衣服的時(shí)候，它能不能幫我拿洗衣袋；我做維修的時(shí)候，它能不能給我遞螺絲刀。我們的愿景是實(shí)現(xiàn)更加自然、流暢的人機(jī)交互。”

https://news.mit.edu/2025/robotic-system-zeroes-objects-most-relevant-helping-humans-0424