农业机械学报

作者：苑严伟,冀福华,赵博,姜含露,王猛,樊学谦

单位：中国农业机械化科学研究院,中国农业机械化科学研究院,中国农业机械化科学研究院,中国农业机械化科学研究院,中国农业机械化科学研究院,中国农业机械化科学研究院,

关键词：农田;大数据;索引;Solr;Hbase;Hadoop

基金：国家重点研发计划项目（2017YFD0700601）

针对农田数据在高吞吐量、高并发、多条件处理过程中易产生运算负载大、响应速度慢等难题，研究了负载均衡大规模集群数据处理技术，优化了多条件检索时Hbase农田数据库，提出了基于Solr的二级非主键索引方法，搭建了基于Hadoop的农田大数据平台，采用农机深松、植保、保护性耕作等8种作业生成的100TB数据对平台进行了检索实验和压力测试实验。实验结果表明，多条件检索时，优化后的技术模型在数据规模达到5×107条时，系统的响应时间小于1s，优化的性能与原生Hbase相比提高了3倍；在模拟用户达到5×105次时，系统的QPS及TPS提高了1倍左右、RT提高了2.5倍，系统的平均响应时间为183ms。本研究解决了高吞吐量、高并发导致农田数据检索效率低的问题，提高了海量农田数据实时处理的计算能力。

来源：2019年第11期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2019年第11期