廣告 | 點(diǎn)擊查看

摘要：在煙草倉(cāng)儲(chǔ)物流行業(yè)中，傳統(tǒng)件煙拆垛作業(yè)僅能應(yīng)對(duì)同品規(guī)定向拆垛，每種品規(guī)拆垛流程、軌跡規(guī)劃、抓取位置事先由機(jī)器人示教編程預(yù)設(shè)。隨著3D視覺技術(shù)和人工智能（AI）技術(shù)的發(fā)展，這些先進(jìn)技術(shù)為傳統(tǒng)機(jī)器人拆垛系統(tǒng)帶來(lái)了革新。本文提出了一種基于3D視覺的智能拆垛系統(tǒng)。該系統(tǒng)能夠應(yīng)對(duì)全品規(guī)物料拆垛，適應(yīng)多種品規(guī)、多種包裝類型物料的混碼組盤拆垛作業(yè)，并可通過(guò)適配柔性手爪實(shí)現(xiàn)多種抓取方式。該系統(tǒng)顯著提升了工業(yè)機(jī)器人拆垛系統(tǒng)的柔性化與智能化水平，提高了機(jī)器人抓取物料的準(zhǔn)確性和可靠性，從而提升了物流系統(tǒng)的整體運(yùn)行效率。

關(guān)鍵詞：3D視覺；智能識(shí)別；機(jī)器人；物體定位；拆垛算法

作者：馮仁宇1 夏凱1 楊灝泉2 李煥2

1上海煙草集團(tuán)有限責(zé)任公司

2云南柔控科技有限公司

一

引言

隨著3D視覺技術(shù)的不斷進(jìn)步和廣泛應(yīng)用，越來(lái)越多的業(yè)界研究者開始將其應(yīng)用于機(jī)器人拆垛系統(tǒng)。通過(guò)3D視覺技術(shù)，機(jī)器人能夠更加精確地檢測(cè)其工作環(huán)境，并獲取目標(biāo)物的空間位置信息，從而有效地引導(dǎo)機(jī)器人進(jìn)行拆垛作業(yè)。在面對(duì)未知環(huán)境和目標(biāo)物時(shí)，傳統(tǒng)的圖像處理算法（如濾波、閾值處理、模板匹配、特征提取等）常被用來(lái)提取所需的信息，以支持拆垛任務(wù)的完成。

盡管基于視覺的拆垛系統(tǒng)已經(jīng)具備一定的智能化水平，但仍然面臨一些挑戰(zhàn)。例如，工作環(huán)境的變化、目標(biāo)物的顏色、紋理以及反光程度的差異，均會(huì)對(duì)檢測(cè)的可靠性和穩(wěn)定性產(chǎn)生負(fù)面影響。這些問(wèn)題在實(shí)際應(yīng)用中限制了拆垛系統(tǒng)的性能。

為了進(jìn)一步提升機(jī)器人拆垛系統(tǒng)的智能化水平，研究者們開始探索更先進(jìn)的技術(shù)手段。其中，基于深度學(xué)習(xí)的自適應(yīng)拆垛系統(tǒng)成為備受關(guān)注的研究方向。杜學(xué)丹[1]和夏晶等人[2]通過(guò)將機(jī)器視覺與深度學(xué)習(xí)相結(jié)合，成功地指導(dǎo)了機(jī)器人的拆垛工作。他們將諸如Faster R-CNN（faster region-based convolutional neural network）和R-FCN（region-based fully convolutional network）等優(yōu)秀的目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)應(yīng)用于姿態(tài)估計(jì)問(wèn)題中，從而實(shí)現(xiàn)了對(duì)物體的位姿估計(jì)與抓取。Shin等人[3]則采用了實(shí)例分割算法Mask R-CNN（region-based convolutional neural network）來(lái)識(shí)別物體，并在機(jī)器人外部安裝了相機(jī)。通過(guò)相機(jī)拍攝到的場(chǎng)景圖像信息，結(jié)合重心和方向算法，可獲得物體的姿態(tài)。這種自適應(yīng)拆垛系統(tǒng)能夠通過(guò)深度學(xué)習(xí)算法自動(dòng)學(xué)習(xí)和適應(yīng)不同的拆垛場(chǎng)景，從而靈活應(yīng)對(duì)各種品規(guī)與垛型。

自適應(yīng)拆垛系統(tǒng)的核心在于能夠?qū)崟r(shí)處理和分析大量的視覺數(shù)據(jù)，從而實(shí)現(xiàn)對(duì)工作環(huán)境的精確感知。通過(guò)深度學(xué)習(xí)算法，系統(tǒng)可以自動(dòng)識(shí)別和分類不同的物料，即使在復(fù)雜的環(huán)境中也能準(zhǔn)確地定位和抓取目標(biāo)物。這種系統(tǒng)不僅提高了拆垛作業(yè)的效率和準(zhǔn)確性，還大大減少了對(duì)人工干預(yù)的依賴，為工業(yè)自動(dòng)化領(lǐng)域帶來(lái)了新的突破。本文著重研究3D視覺技術(shù)結(jié)合深度學(xué)習(xí)算法實(shí)現(xiàn)智能拆垛系統(tǒng)的關(guān)鍵技術(shù)。

二

系統(tǒng)框架

機(jī)器人智能拆垛系統(tǒng)通過(guò)通訊網(wǎng)線與3D相機(jī)及機(jī)器人連接。待抓取目標(biāo)位于托盤上，3D相機(jī)安裝于托盤上方，系統(tǒng)的組成示意圖如圖1所示。首先，利用棋盤格手眼標(biāo)定法確定相機(jī)坐標(biāo)系和機(jī)器人坐標(biāo)系的轉(zhuǎn)換關(guān)系（即轉(zhuǎn)換矩陣）。實(shí)際應(yīng)用時(shí)，3D相機(jī)對(duì)工作區(qū)域進(jìn)行拍照，獲取當(dāng)前堆垛的深度圖像、彩色圖像及3D點(diǎn)云信息。隨后，采用深度學(xué)習(xí)算法Mask R-CNN對(duì)彩色圖像進(jìn)行分割識(shí)別，并通過(guò)獲取分割實(shí)例掩碼最小外接矩形的圖像處理方法，得到所有目標(biāo)像素中心和外接矩形框的旋轉(zhuǎn)角度。利用相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換關(guān)系與3D點(diǎn)云信息，將目標(biāo)二維像素中心坐標(biāo)轉(zhuǎn)換得到其在機(jī)器人坐標(biāo)系的三維坐標(biāo)。結(jié)合實(shí)例分割掩碼最小外接矩形框的旋轉(zhuǎn)角度，共同組成目標(biāo)的四維位姿。通過(guò)深度信息過(guò)濾頂層目標(biāo)后的RGB-D信息，結(jié)合深度學(xué)習(xí)算法可一次實(shí)現(xiàn)堆垛頂層所有待抓取目標(biāo)的定位。最后，通過(guò)設(shè)計(jì)拆垛策略生成點(diǎn)位信息串發(fā)送給拆垛機(jī)器人，引導(dǎo)機(jī)器人以一定抓取順序完成準(zhǔn)確、安全的拆垛工作。

圖1 機(jī)器人智能拆垛系統(tǒng)示意圖

1.相機(jī)安裝方式

通常，相機(jī)有兩種安裝方式。一種是相機(jī)安裝在機(jī)械手臂上，隨著機(jī)械臂一起移動(dòng)，稱為“眼在手”，如圖2所示。

圖2 眼在手

另一種是相機(jī)固定安裝于托盤上方，稱為“眼在外”，如圖3所示。

圖2 眼在外

相機(jī)安裝位置固定后，相機(jī)坐標(biāo)系即固定，相機(jī)坐標(biāo)系原點(diǎn)位于相機(jī)內(nèi)部，坐標(biāo)系符合右手定則，Z軸垂直于相機(jī)鏡頭面向下，距離越遠(yuǎn)Z值越大，點(diǎn)云信息里的Z值代表像素點(diǎn)到相機(jī)XOY面的垂直距離。工程項(xiàng)目里通常相機(jī)安裝支架平行于托盤側(cè)端面安裝，如相機(jī)存在安裝偏角，目標(biāo)待抓取物矩形框旋轉(zhuǎn)角度需做偏角修正。

2.視覺系統(tǒng)基礎(chǔ)數(shù)據(jù)信息

3D相機(jī)提供的基礎(chǔ)數(shù)據(jù)信息包括2D RGB圖像、深度數(shù)據(jù)信息、3D點(diǎn)云信息以及彩色圖像與深度數(shù)據(jù)結(jié)合的RGB-D圖像。RGB-D圖像既帶有豐富的彩色紋理信息，又自帶像素點(diǎn)深度信息。工程項(xiàng)目中通常會(huì)根據(jù)頂層垛料高度結(jié)合物料自身的高度過(guò)濾出頂層RGB-D圖像作為目標(biāo)識(shí)別的輸入信息。再結(jié)合RGB-D對(duì)應(yīng)的3D點(diǎn)云數(shù)據(jù)獲取2D圖像任意像素點(diǎn)在相機(jī)坐標(biāo)系里對(duì)應(yīng)的空間坐標(biāo)點(diǎn)。用（Row,Col）To（x,y,z）表示。3D相機(jī)出廠時(shí)已做過(guò)相機(jī)標(biāo)定，通過(guò)相機(jī)SDK相應(yīng)方法可以獲取相機(jī)的內(nèi)外參數(shù)以供手眼標(biāo)定時(shí)使用。

三

目標(biāo)視覺定位

待抓取目標(biāo)的位姿由其在機(jī)器人坐標(biāo)系中的位置坐標(biāo)和旋轉(zhuǎn)角度構(gòu)成，用于描述目標(biāo)在機(jī)器人坐標(biāo)系的狀態(tài)。默認(rèn)情況下，待抓取目標(biāo)位于平面上，其姿態(tài)用4自由度位姿(X,Y,Z,R）表示，（X,Y,Z）描述目標(biāo)在機(jī)器人坐標(biāo)系的三維位置坐標(biāo)，R描述目標(biāo)在平面的旋轉(zhuǎn)狀態(tài)，即目標(biāo)繞機(jī)器人坐標(biāo)系Z軸的旋轉(zhuǎn)角度。為實(shí)現(xiàn)目標(biāo)的視覺定位，需首先分割出平面上的單個(gè)目標(biāo)物，然后確定目標(biāo)物的像素中心。隨后，利用相機(jī)的外參系數(shù)，以及像素到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系，計(jì)算生成單個(gè)目標(biāo)物在相機(jī)坐標(biāo)系下的位姿。最后，通過(guò)手眼標(biāo)定得出相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系的轉(zhuǎn)換關(guān)系，將目標(biāo)物在相機(jī)坐標(biāo)系下的位姿轉(zhuǎn)換為機(jī)器人坐標(biāo)系下的位姿。

1.目標(biāo)檢測(cè)分割

目標(biāo)檢測(cè)需要訓(xùn)練目標(biāo)檢測(cè)模型，分類圖像中的對(duì)象，以及標(biāo)出目標(biāo)類別的大體位置，通常用矩形框框定目標(biāo)物。目標(biāo)實(shí)例分割不僅要識(shí)別對(duì)象，還要精確描繪出對(duì)象的輪廓。目標(biāo)分割需要訓(xùn)練目標(biāo)實(shí)例分割模型。目標(biāo)實(shí)例分割模型進(jìn)一步深化了目標(biāo)檢測(cè)模型，不僅能夠確定圖像中的對(duì)象和位置，還能夠創(chuàng)建一個(gè)精確的像素級(jí)別的區(qū)域，以此來(lái)表示每個(gè)檢測(cè)到的對(duì)象的形狀。在拆垛應(yīng)用中，需要精確提取目標(biāo)的邊緣以計(jì)算抓取位置，旋轉(zhuǎn)角度，因此需要采用實(shí)例分割技術(shù)。目標(biāo)檢測(cè)框如圖4所示，實(shí)例分割框如圖5所示。

圖4 目標(biāo)檢測(cè)框

圖5 目標(biāo)實(shí)例分割框

3D相機(jī)在實(shí)際工作場(chǎng)景中，可以通過(guò)垛料高度過(guò)濾出頂層RGB-D圖，再利用訓(xùn)練好的實(shí)例分割框架與目標(biāo)最小外接矩形的圖像處理方法對(duì)RGB-D圖進(jìn)行實(shí)例分割。圖6(a)為RGB原圖，圖6(b)為過(guò)濾后的頂層RGB-D圖，圖6(c)為實(shí)例分割圖。

圖6 RGB圖例

（1）實(shí)例分割框架

本文使用的實(shí)例分割框架，采用深度學(xué)習(xí)算法Mask R-CNN作為主網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)如圖7[4]所示。

圖7 Mask R-CNN網(wǎng)絡(luò)結(jié)構(gòu)圖

Mask R-CNN采用經(jīng)典目標(biāo)檢測(cè)算法Faster R-CNN 和經(jīng)典語(yǔ)義分割算法FCN 相融合的網(wǎng)絡(luò)結(jié)構(gòu)，前者Faster R-CNN可快速有效地實(shí)現(xiàn)目標(biāo)檢測(cè)功能，后者FCN可精準(zhǔn)的完成語(yǔ)義分割。采用Mask R-CNN框架能對(duì)箱體有較好的檢測(cè)和定位，同時(shí)Mask R-CNN中Mask 分支能夠?qū)ο潴w進(jìn)行掩膜分割，為每個(gè)待抓取實(shí)例生成一個(gè)高質(zhì)量掩膜Mask，從而利用掩膜計(jì)算目標(biāo)更精確的最小外接矩形，最終獲取每個(gè)箱體的抓取中心和水平旋轉(zhuǎn)角度信息。

Mask R-CNN框架能夠很好應(yīng)對(duì)煙草行業(yè)煙箱表面顏色多樣、圖案復(fù)雜多變、箱體邊緣粘連、膠帶各異、光線不均等復(fù)雜應(yīng)用場(chǎng)景。在算法實(shí)現(xiàn)中，以相機(jī)對(duì)當(dāng)前工作場(chǎng)景下不同的箱型、垛型進(jìn)行采集生成的RGB-D圖像和RGB圖像作為數(shù)據(jù)集，并對(duì)數(shù)據(jù)集進(jìn)行標(biāo)注訓(xùn)練后生成工程可用的深度學(xué)習(xí)模型，可以精確識(shí)別出箱體，袋包等目標(biāo)。使用訓(xùn)練好的Mask R-CNN實(shí)例分割模型對(duì)視覺系統(tǒng)的RGB-D圖像或RGB圖像進(jìn)行識(shí)別處理，可以獲取所有待抓取目標(biāo)的像素信息，包括掩膜、目標(biāo)像素點(diǎn)集、輪廓面積、像素中心位置等。

（2）目標(biāo)定位方法

在實(shí)際工作場(chǎng)景中使用手爪吸盤進(jìn)行拆垛任務(wù)，需要定位目標(biāo)中心位置以及目標(biāo)旋轉(zhuǎn)位姿以保證抓取運(yùn)送過(guò)程中的準(zhǔn)確性與穩(wěn)定性，對(duì)于工業(yè)化紙箱箱體等方形目標(biāo)，目標(biāo)中心可以通過(guò)最小外接矩形中心來(lái)獲得。利用抓取目標(biāo)的實(shí)例掩碼，使用凸包輪廓算法循環(huán)計(jì)算分割出的每個(gè)目標(biāo)實(shí)例掩碼的輪廓點(diǎn)集的最小外接矩形，從而獲得外接矩形像素中心和旋轉(zhuǎn)角度用作揀選。

圖8 基于最小外接矩形的旋轉(zhuǎn)角度獲取方法

獲得目標(biāo)的像素中心與旋轉(zhuǎn)角度后，利用像素坐標(biāo)到相機(jī)坐標(biāo)轉(zhuǎn)換關(guān)系以及相機(jī)坐標(biāo)到機(jī)器人坐標(biāo)轉(zhuǎn)換關(guān)系，可得每個(gè)目標(biāo)在機(jī)器人坐標(biāo)系的四維位姿 。

2.像素坐標(biāo)系到相機(jī)坐標(biāo)系轉(zhuǎn)換關(guān)系

像素坐標(biāo)系以圖像平面的左上角為原點(diǎn)，單位是像素；圖像坐標(biāo)系以圖像平面的中心為原點(diǎn)，單位是毫米；相機(jī)坐標(biāo)系以相機(jī)的光心為原點(diǎn)，Z軸為光軸；這些坐標(biāo)系之間的轉(zhuǎn)換是通過(guò)相機(jī)的成像模型和標(biāo)定參數(shù)來(lái)實(shí)現(xiàn)的。

像素點(diǎn)p=(u,v)轉(zhuǎn)換到相機(jī)坐標(biāo)系的坐標(biāo)PC=(XC,YC,ZC)的轉(zhuǎn)換公式為：

其中K為內(nèi)參矩陣，K-1為內(nèi)參矩陣逆矩陣，分別為

其中fx ，fy為焦距，cx ，cy為主點(diǎn)坐標(biāo)，s為坐標(biāo)軸傾斜參數(shù)，理想情況下為0。

將K-1應(yīng)用到公式中，可得

其中ZC是相機(jī)坐標(biāo)系中的深度值。

3.相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系轉(zhuǎn)換關(guān)系

通過(guò)“手眼標(biāo)定”可以確定機(jī)器人坐標(biāo)系和相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系。對(duì)于“眼在手”的相機(jī)安裝方式，在機(jī)械臂的兩次運(yùn)動(dòng)中，機(jī)器人底座與標(biāo)定板的位姿關(guān)系始終不變，此時(shí)求解的量為相機(jī)和機(jī)器人末端坐標(biāo)系的位姿關(guān)系。對(duì)于“眼在外”的相機(jī)安裝方式，在機(jī)械臂的兩次運(yùn)動(dòng)中，機(jī)器人末端與標(biāo)定板的位姿關(guān)系始終不變，此時(shí)求解的量為相機(jī)和機(jī)器人底座坐標(biāo)系之間的位姿關(guān)系。兩種情況最終都轉(zhuǎn)化為一個(gè)AX=XB的求解問(wèn)題，其中A是相機(jī)前后兩次空間變換的齊次矩陣；B是機(jī)械臂末端坐標(biāo)系前后兩次變換的齊次矩陣；X為待求解的手眼矩陣，通過(guò)多次求解該方程，即可解出X。

（1）A的求法

A是兩個(gè)相機(jī)坐標(biāo)系之間的變換矩陣。假設(shè)上述相機(jī)標(biāo)定中有3張標(biāo)定圖片的外參矩陣分別是HC1,HC2,HC3,那么可以得出兩個(gè)A矩陣：

HC表示標(biāo)定板坐標(biāo)系到相機(jī)坐標(biāo)系的轉(zhuǎn)換關(guān)系（相機(jī)外參矩陣），可由相機(jī)標(biāo)定求得[5]。在工程應(yīng)用中，通常使用Opencv的SolvePnP算法直接求解出每組標(biāo)定板視圖在相機(jī)坐標(biāo)系里的位置姿態(tài)（用旋轉(zhuǎn)向量和平移向量作代表），期間會(huì)用到3D相機(jī)的內(nèi)參矩陣，畸變系數(shù)，這些為已知。標(biāo)定板示意圖如圖9所示。

圖9 標(biāo)定板示意圖

（2）B的求法

B是兩個(gè)機(jī)械臂坐標(biāo)系的變換矩陣。假設(shè)上述相機(jī)標(biāo)定中的3張標(biāo)定圖片所一一對(duì)應(yīng)的機(jī)械手坐標(biāo)系在基坐標(biāo)系（也可以是工件坐標(biāo)系或其他固定的參考坐標(biāo)系）中的坐標(biāo)系描述結(jié)果分別是Hg1,Hg2,Hg3（需要從機(jī)器人控制器或示教器中讀取或轉(zhuǎn)換），那么可以得到兩個(gè)B矩陣：

Hg表示機(jī)械手坐標(biāo)系到機(jī)器人基礎(chǔ)坐標(biāo)系的轉(zhuǎn)換關(guān)系，可以由機(jī)器人系統(tǒng)中得出。

Hg=[R t]，其中R=Rx×Ry×Rz；Rx，Ry，Rz分別是繞x，y，z軸的旋轉(zhuǎn)角度，

由以上兩組A和B，代入AX=XB就可以得出唯一解X。

（3）X的求法

X是相機(jī)坐標(biāo)系到機(jī)械手坐標(biāo)系的變換矩陣。例如相機(jī)獲取25幅標(biāo)定板圖像，進(jìn)行相機(jī)標(biāo)定，可得25個(gè)外參矩陣，同時(shí)對(duì)應(yīng)從示教器界面讀取或轉(zhuǎn)換得到25個(gè)機(jī)械手姿態(tài)矩陣。接著可以利用（1）（2）得到組A、B，再利用AX=XB計(jì)算得到X。

相機(jī)坐標(biāo)系到機(jī)器人坐標(biāo)系坐標(biāo)轉(zhuǎn)換公式為：

四

拆垛流程實(shí)現(xiàn)

設(shè)計(jì)合理的拆垛順序與拆垛組合，制定合理的通訊協(xié)議和通訊流程，是拆垛任務(wù)實(shí)現(xiàn)的幾個(gè)關(guān)鍵點(diǎn)。由單個(gè)目標(biāo)的像素中心轉(zhuǎn)化為機(jī)器人坐標(biāo)系的坐標(biāo)，經(jīng)過(guò)合理的拆垛策略，生成包含先后抓取順序的多個(gè)組合。組合的目標(biāo)位置、數(shù)量、方向按制定的通訊協(xié)議格式，通過(guò)以太網(wǎng)發(fā)送至機(jī)器人，由機(jī)器人根據(jù)接收到的信息完成末端手爪姿態(tài)調(diào)整、吸盤開合等一系列動(dòng)作。每完成一次抓取任務(wù)后，機(jī)器人觸發(fā)視覺系統(tǒng)拍照，執(zhí)行一次識(shí)別定位決策出下一個(gè)拆垛組合。另外，為了便于用戶處理異常情況，系統(tǒng)需設(shè)計(jì)異常捕捉與反饋，比如物料尺寸不合、識(shí)別目標(biāo)數(shù)量不合、垛型校驗(yàn)不合等異常情況。同時(shí)，系統(tǒng)提供故障復(fù)位按鈕和繼續(xù)運(yùn)行按鈕，供現(xiàn)場(chǎng)工作人員使用。

1. 拆垛策略設(shè)計(jì)

（1）拆垛順序策略設(shè)計(jì)

針對(duì)不同的項(xiàng)目場(chǎng)景設(shè)計(jì)合理的拆垛順序，是設(shè)計(jì)由近及遠(yuǎn)，還是設(shè)計(jì)由X坐標(biāo)或Y坐標(biāo)升序或降序排序優(yōu)先的拆垛順序，需要根據(jù)不同項(xiàng)目需求確定。合理的拆垛順序可以有效地避免夾具在進(jìn)行抓取過(guò)程中碰撞，同時(shí)保證最高效完成拆垛任務(wù)。

（2）拆垛組合策略設(shè)計(jì)

歸納總結(jié)具體項(xiàng)目的垛型種類，結(jié)合手爪夾具的結(jié)構(gòu)與大小，針對(duì)每種垛型設(shè)計(jì)拆垛組合。對(duì)于方向（橫向豎向）一致的箱子，適合一次性拆垛。將分割完的單個(gè)箱子的像素中心 ，通過(guò)轉(zhuǎn)換公式(4)轉(zhuǎn)換為相機(jī)坐標(biāo)系坐標(biāo) ，然后再經(jīng)由“手眼矩陣”轉(zhuǎn)換為機(jī)器人坐標(biāo)系的坐標(biāo) ，多個(gè)目標(biāo)中心坐標(biāo)......通過(guò)拆垛組合策略計(jì)算出組合的中心坐標(biāo)、物料數(shù)量（Count）、物料擺放方向（Direction）等信息。

圖10 拆垛組合

2.安全拆垛工作區(qū)域設(shè)計(jì)

安全工作區(qū)域由托盤以及最大堆垛在機(jī)器人坐標(biāo)系里所占用的三維空間位置來(lái)確定。用公式表達(dá)為：

五

實(shí)驗(yàn)結(jié)果與分析

1.實(shí)驗(yàn)平臺(tái)搭建

根據(jù)實(shí)驗(yàn)需求搭建實(shí)驗(yàn)平臺(tái)（如圖11），實(shí)驗(yàn)平臺(tái)由智能拆垛軟件控制系統(tǒng)、視覺硬件系統(tǒng)及機(jī)器人手爪夾具系統(tǒng)組成。視覺硬件系統(tǒng)包括相機(jī)、補(bǔ)光燈、視覺控制器、顯示器等設(shè)備。軟件控制系統(tǒng)的開發(fā)環(huán)境為windows 10 x64，程序編譯環(huán)境為Visual Studio 2022，由Opencv3.3.0提供圖像處理程序的相關(guān)類庫(kù)。相機(jī)采用圖漾3D相機(jī)FM815-E1-G1，機(jī)器人采用KuKa 6軸工業(yè)機(jī)器人，相機(jī)固定式安裝于托盤工位上方3.5～4m處。預(yù)備好實(shí)驗(yàn)托盤，多品規(guī)紙箱，搭建標(biāo)準(zhǔn)碼垛和混箱碼垛進(jìn)行視覺識(shí)別抓取實(shí)驗(yàn)。平臺(tái)實(shí)驗(yàn)現(xiàn)場(chǎng)如圖12所示。

圖11 實(shí)驗(yàn)平臺(tái)組成

圖12 實(shí)驗(yàn)現(xiàn)場(chǎng)

2.模型訓(xùn)練

收集400張現(xiàn)場(chǎng)圖片樣本，圖片樣本基本能涵蓋所有箱型，圖片分辨率為1280×960。將所有樣本分成兩個(gè)集合，一個(gè)訓(xùn)練集一個(gè)測(cè)試集。為了增加模型訓(xùn)練集的魯棒性和泛化性采用改變圖像亮度、模糊圖像、翻轉(zhuǎn)平移圖像、增加噪聲等圖像增強(qiáng)技術(shù)來(lái)模擬現(xiàn)場(chǎng)中不同環(huán)境下采集的質(zhì)量不一的圖像，增強(qiáng)后訓(xùn)練集為600張，測(cè)試集為100張。利用Labelme標(biāo)定軟件對(duì)圖像進(jìn)行實(shí)例輪廓標(biāo)注，生成json文件，采用成熟訓(xùn)練平臺(tái)進(jìn)行訓(xùn)練。訓(xùn)練成功后用測(cè)試集測(cè)試模型效果，訓(xùn)練集標(biāo)注如圖13所示，模型訓(xùn)練測(cè)試結(jié)果如圖14所示。

圖13 訓(xùn)練集標(biāo)注

圖14 模型訓(xùn)練測(cè)試結(jié)果

3.視覺定位實(shí)驗(yàn)結(jié)果分析

任意搭建各種品規(guī)標(biāo)準(zhǔn)垛型和異型垛型進(jìn)行識(shí)別定位抓取實(shí)驗(yàn)。分別記錄每層箱子在X軸、Y軸、Z軸方向的平均定位誤差以及旋轉(zhuǎn)角度的平均計(jì)算誤差。該誤差體現(xiàn)的是箱子分割圖像像素誤差，3D相機(jī)硬件誤差以及手眼標(biāo)定轉(zhuǎn)換關(guān)系誤差三者的綜合誤差。實(shí)驗(yàn)垛型如圖15所示，實(shí)驗(yàn)數(shù)據(jù)如表1所示。實(shí)驗(yàn)數(shù)據(jù)表明，視覺定位精度在1～5mm之間。角度定位誤差在1°～3°之間。各層箱子在X軸方向和Y軸方向的誤差趨于一致，底層箱子的Z軸方向誤差相比上層箱子的Z軸方向誤差要略大，這和3D相機(jī)硬件指標(biāo)特性有關(guān)系：物距越遠(yuǎn)，測(cè)得Z值誤差越大。實(shí)例分割模型的精度影響箱子像素識(shí)別的精度，訓(xùn)練集涵蓋現(xiàn)場(chǎng)數(shù)據(jù)樣本越全面，分割效果越好，箱子像素中心就越準(zhǔn)確。實(shí)驗(yàn)表明5mm的定位精度并不影響吸盤的成功抓取。

表1 不同垛型平均定位抓取誤差

圖15 搭建測(cè)試垛型

4.抓取流程實(shí)驗(yàn)

根據(jù)拆垛工位、機(jī)器人及輸送系統(tǒng)煙箱放置位置三者之間的空間相對(duì)位置設(shè)計(jì)拆垛順序策略。根據(jù)垛型種類、吸盤大小、數(shù)量設(shè)計(jì)拆垛組合策略。設(shè)計(jì)完拆垛策略和通信流程后，工業(yè)機(jī)器人以設(shè)計(jì)的策略接收組合抓取信息（包括組合中心點(diǎn)位置、數(shù)量、箱子擺放方向），控制手爪吸盤到指定的位置進(jìn)行抓取任務(wù)。機(jī)器人每執(zhí)行一次抓取任務(wù)，便通知拆垛軟件系統(tǒng)執(zhí)行一次識(shí)別定位任務(wù)，系統(tǒng)的拍照、識(shí)別定位響應(yīng)時(shí)間大概為1.5～2s。機(jī)器人抓取紙箱離開托盤工位后即可執(zhí)行下一次拍照識(shí)別流程，即機(jī)器人放置箱子流程和識(shí)別流程可同步執(zhí)行。表2為抓取實(shí)驗(yàn)記錄表。

表2 抓取實(shí)驗(yàn)記錄表

5.混碼組盤拆垛實(shí)驗(yàn)

搭建混碼碼垛垛型，測(cè)試目標(biāo)識(shí)別定位拆垛任務(wù)的實(shí)現(xiàn)。對(duì)于混碼組盤拆垛任務(wù)只適用于機(jī)械手吸盤單次拆單箱的情況，只要實(shí)例分割沒(méi)有問(wèn)題，其他的一切流程并沒(méi)有什么不同?；齑a組盤垛型如圖16所示，混碼組盤紙箱分割結(jié)果如圖17所示。實(shí)驗(yàn)證明智能拆垛軟件系統(tǒng)能夠很好應(yīng)對(duì)混碼組盤拆垛任務(wù)。

圖16 混碼組盤垛型圖

圖17 混碼組盤紙箱分割結(jié)果圖

六

總結(jié)

針對(duì)傳統(tǒng)示教再現(xiàn)機(jī)器人拆垛存在的諸多問(wèn)題，本文著重研究了3D視覺智能拆垛系統(tǒng)實(shí)現(xiàn)的關(guān)鍵技術(shù)，并搭建了實(shí)驗(yàn)平臺(tái)驗(yàn)證系統(tǒng)實(shí)現(xiàn)全品規(guī)拆垛、混碼拆垛作業(yè)的可靠性和穩(wěn)定性。實(shí)驗(yàn)結(jié)果表明，基于深度學(xué)習(xí)實(shí)例分割算法的視覺識(shí)別定位算法能夠有效應(yīng)對(duì)煙草物流行業(yè)紙箱品規(guī)多樣、垛型種類繁多、光線復(fù)雜多變的應(yīng)用場(chǎng)景；目標(biāo)識(shí)別定位精度在X軸、Y軸方向誤差穩(wěn)定在1～5mm之間，目標(biāo)平面旋轉(zhuǎn)角度誤差穩(wěn)定在1°～3°之間；軟件系統(tǒng)拍照識(shí)別響應(yīng)時(shí)間為2s左右。制定合理的機(jī)器人拆垛策略能夠有效避免機(jī)械手爪在執(zhí)行拆垛任務(wù)時(shí)與周邊設(shè)備或煙箱碰撞，并能有效提高系統(tǒng)的整體運(yùn)行效率。

參考文獻(xiàn):

[1]杜學(xué)丹,蔡瑩皓,魯濤,等.一種基于深度學(xué)習(xí)的機(jī)械臂抓取方法[J].機(jī)器人,2017,39(6):820-828,837.

[2]夏晶,錢堃,馬旭東,等.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的機(jī)器人平面抓取位姿快速檢測(cè)[J].機(jī)器人,2018,40(6):794-802.DOI:10.13973/j.cnki.robot.170702.

[3]Shin H, Hwang H, Yoon H, et al. Integration of deep learning-based object recognition and robot manipulator for grasping objects[C]//Proceedings of the 16th International Conference on Ubiquitous Robots (UR).Jeju:IEEE,2019.174–178.

[4]劉寶臨,鄒汶材.基于視覺定位的機(jī)器人智能拆垛系統(tǒng)[J].計(jì)算機(jī)系統(tǒng)應(yīng)用,2023,32(7):138-144.

[5]Zhang Zhengyou. A flexible new technique for camera calibration[J]. IEEE Transaction on Pattern Analysis and Machine Intelligence,2000,22(11):1330-1334.

———— 物流技術(shù)與應(yīng)用 ————

編輯、排版：王茜

本文內(nèi)容源自

歡迎文末分享、點(diǎn)贊、在看！轉(zhuǎn)載請(qǐng)聯(lián)系后臺(tái)。

廣告宣傳