农业机械学报

作者：李涛,冯仲科,孙素芬,程文生

单位：北京林业大学,北京林业大学,北京市农林科学院农业科技信息研究所,北京林业大学,

关键词：气象数据; 分布式; Hadoop; MapReduce

基金：国家自然科学基金项目（U1710123）、北京市自然科学基金项目（6161001）和北京林业大学青年教师科学研究中长期项目(2015ZCQ-LX-01)

针对海量气象数据在传统WebGIS平台下存储和分析计算受到限制的问题，提出基于Hadoop的分布式计算和存储框架，使用了Hadoop生态体系中的HDFS分布式文件存储框架来存储管理分析海量气象数据。在海量数据的并行计算分析方面，使用MapReduce作为分布式计算编程模型，该模型通过分析海量气候数据可对农业生产进行决策。最后，利用地理信息系统空间可视化技术，在前端页面以三维形式对分析结果进行展示，并分析比较数据量和集群中节点数对计算耗时的影响。试验结果表明，使用分布式多节点集群可以有效提高海量气象数据的存储和计算效率，解决了传统WebGIS平台数据存储与计算的局限性问题。

来源：2019年第1期

《农业机械学报》期刊编辑部

查看农业机械学报杂志2019年第1期