农业机械学报

作者：王运东，周俊，孙经纬，王凯，江自真，张震

单位：南京农业大学,南京农业大学,南京农业大学,南京农业大学,南京农业大学,南京农业大学,

关键词：果园机器人;遥操作;临场感;增强现实;三维重建

基金：江苏省重点研发计划项目（BE2017370）

针对果园作业机器人使用单目相机进行遥操作时，仅用二维视频获取环境信息缺乏临场感的问题，设计了一套基于临场感增强的果园环境信息可视化系统，用于果园机器人遥操作。系统由计算服务器、云服务器、网络摄像头、激光雷达、嵌入式开发平台等组成。计算服务器采用T7920工作站，并在其上部署Tensorflow计算框架和Open3D点云算法库，计算服务器在接收到云服务器转发来的环境图像和点云数据后，分别对图像进行导航信息增强，对点云进行曲面重建；嵌入式开发平台可以收集来自于网络摄像头和激光雷达的原始数据，并上传至云服务器；在云服务器部署了以ZeroMQ为基础的消息中转程序和HTML5后台服务，提供跨互联网的消息通信服务和可移动的遥操作环境信息可视化服务。测试结果表明，部署在计算服务器的导航信息提取模型平均提取导航线时间86ms，提取导航线平均精度16°，均优于对比模型结果。点云重建算法可以有效建立场景轮廓，平均精度4.9cm，平均重建时间24ms。压缩图像传输及增强处理时延不超过230ms，点云的传输时延不超过400ms。各项参数可以满足遥操作机器人进行果园作业的基本要求，相比仅有单目相机的遥操作，临场感明显增强，可为果园机器人遥操作提供参考。

来源：2023年第3期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2023年第3期