农业机械学报

作者：倪涛,邹少元,刘海强,黄玲涛,陈宁,张红彦

单位：吉林大学,吉林大学,吉林大学,吉林大学,集美大学,吉林大学,

关键词：吊装机器人;BP神经网络;肢体识别;OpenPose;InceptionV3

基金：国家自然科学基金项目（51575219）和福建省海洋经济创新发展区域示范项目（2014FJPT03）

鉴于Kinect相机进行肢体识别监控距离有限，提出使用网络大变焦摄像头、构建CNN-BP融合网络进行肢体动作识别，并以9组机器人吊装指令为例进行训练和识别。首先，基于OpenPose提取18个骨架节点坐标，生成RGB骨架图和骨架向量；然后，采用迁移学习方法对RGB骨架图使用InceptionV3网络提取图像深层抽象特征，并对训练数据集采用旋转、平移、缩放和仿射多种数据增强方式，以扩充训练数据，防止过拟合；再将提取的骨架向量使用BP神经网络提取点线面等浅层特征；最后对InceptionV3网络和BP神经网络输出进行融合，并使用Softmax求解器得到肢体识别结果。将肢体识别结果输入机器人辅助吊装控制系统，建立双重验证控制方法，完成机器人辅助吊装操作。实验结果表明，该方法保证了模型运行的精度和时效性，实时识别精度达0.99以上，大大提升了远距离人机交互能力。

来源：2019年第6期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2019年第6期