农业机械学报

作者：朱立学，赖颖杰，张世昂，伍荣达，邓文乾，郭晓耿

单位：仲恺农业工程学院;岭南现代农业科学与技术广东省实验室,仲恺农业工程学院,仲恺农业工程学院,仲恺农业工程学院,仲恺农业工程学院,仲恺农业工程学院,

关键词：火龙果采摘机器人;图像分割;姿态估计;注意力残差U-Net;三维边界框

基金：广东省农业科技创新“揭榜挂帅”项目(2022SDZG03-5)和岭南现代农业实验室科研项目(NZ2021038)

为了实现火龙果采收自动化作业，提出一种基于改进U-Net的火龙果图像分割和姿态估计方法。首先，在U-Net 模型的跳跃连接（编码器与解码器部分特征图进行的连接操作）中引入通道和空间注意力机制模块(Concurrent spatial and channel squeeze and channel excitation, SCSE)，同时将SCSE模块集成到残差模块（Double residual block, DRB）中，在增强网络提取有效特征能力的同时提高网络的收敛速度，得到一种基于注意力残差U-Net的火龙果图像分割网络。通过该网络分割出果实及其附生枝条的掩膜图像，利用图像处理技术和相机成像模型拟合出果实及其附生枝条的轮廓、果实质心、果实最小外接矩形框和三维边界框，进而结合果实及其附生枝条的位置关系进行火龙果三维姿态估计，并在火龙果种植园中获得一个测试集，以评价该算法的性能，最后在自然果园环境下进行实地采摘试验。试验结果表明，火龙果果实图像分割平均交并比(mIoU)和平均像素准确率(mPA)分别达到86.69%和93.89%，三维姿态估计平均误差为8.8°，火龙果采摘机器人在果园环境下的采摘成功率为86.7%，平均采摘时间为22.3s。

来源：2023年第11期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2023年第11期