近日，福建農(nóng)林大學(xué)農(nóng)業(yè)人工智能研究院具身智能課題組在《Computers and Electronics in Agriculture》期刊發(fā)表題為“Accurate localization of fruit targets and picking points with multi-dimensional attention and dynamic upsampling”的研究成果。

該研究針對(duì)復(fù)雜農(nóng)業(yè)環(huán)境中果實(shí)形態(tài)多變、采摘點(diǎn)區(qū)域微小、遮擋及背景干擾強(qiáng)等挑戰(zhàn)，研究團(tuán)隊(duì)提出基于多維注意力與動(dòng)態(tài)上采樣的MDAD-YOLO 檢測(cè)模型。該模型在特征增強(qiáng)階段耦合區(qū)域感受野注意力與通道—空間聯(lián)合注意力，提升對(duì)果實(shí)及采摘點(diǎn)的跨尺度/跨通道感知；在頸部結(jié)構(gòu)中引入坐標(biāo)注意力，提高果梗等細(xì)粒度結(jié)構(gòu)的空間定位精度，并采用動(dòng)態(tài)像素重組替代傳統(tǒng)插值，上采樣過(guò)程中更好地保留細(xì)節(jié)。最后通過(guò)級(jí)聯(lián)自適應(yīng)細(xì)粒度通道注意與位置敏感注意，實(shí)現(xiàn)通道依賴(lài)關(guān)系的多層級(jí)建模，并協(xié)同強(qiáng)化空間上下文表征。實(shí)驗(yàn)在辣椒和茄子跨數(shù)據(jù)集中克服了多種果實(shí)姿態(tài)和不同光照影響，在性能和精度上取得了SOTA。

MDAD-YOLO在辣椒和茄子多個(gè)數(shù)據(jù)集中實(shí)現(xiàn)了果實(shí)和采摘點(diǎn)精準(zhǔn)定位

這項(xiàng)研究成果為實(shí)現(xiàn)高效、精準(zhǔn)的果蔬自動(dòng)化采摘提供了核心的視覺(jué)感知方案，有望解決農(nóng)業(yè)生產(chǎn)中勞動(dòng)力短缺和成本上升的痛點(diǎn)。未來(lái)，該技術(shù)可被集成到農(nóng)業(yè)機(jī)器人或智能采摘裝備中，直接應(yīng)用于溫室、果園等復(fù)雜環(huán)境。

第一作者

黃藝?yán)ぃ＝ㄞr(nóng)林大學(xué)計(jì)算機(jī)與信息學(xué)院2023級(jí)博士生，主要研究方向?yàn)榫呱碇悄?、?jì)算機(jī)視覺(jué)等。以第一作者在《Computers and Electronics in Agriculture》等期刊上發(fā)表多篇學(xué)術(shù)論文。