MapReduce分析NCDC 年气象数据最低温度与最高温度

利用hadoop计算技术对采集的气象数据信息进行处理，主要分两个阶段：mapper阶段和reducer阶段，mapper阶段主要是对日志文件进行按行读取并进行字符串截取，reducer阶段对mapper阶段传过来的数据进行大小比较，最终获取每一年中的最高温度。

具体气象数据的格式可以参考：https://blog.csdn.net/lihuinihao/article/details/38315209

1. 首先将eclipse将MaxTemperature项目打成jar包，并将jar包和气象数据拖拽到虚拟机上。本文中分析的是1941-1950十年间的数据信息，分别存在10个文件中。

2. 在hdfs系统中新建一个名为/inputdata_t的安装目录

hdfs dfs -mkdir /inputdata_t

3. 将数据集上传到inputdata_t目录下

hdfs dfs -put ~/桌面/19* /inputdata_t

4. 切换到根目录并对数据进行分析

hadoop jar ~/桌面/MaxTemperature.jar MinTemperature /inputdata_t /output/mintemp

5. 查看结果

hdfs dfs -cat /output/mintemp/part-r-00000

6. 下载至本地

hadoop fs -get /output/mintemp/part-r-00000 /opt/hadoop-2.7.6/tmp/

ls ../tmp/

7. 删除文件

hdfs dfs -rm -r /output/mintemp

MapReduce分析NCDC 年气象数据最低温度与最高温度相关推荐

ECMWF 欧洲中期天气预报中心下载长序列气象数据（温度，风场等）
由于改版,从ECMWF上获取数据需要通过API访问,本文提供了python代码批量下载数据的方法下面网址提供了再分析数据(reanalysis dataset),也就是长序列气象数据 https:/ ...
遥感数据、气象数据、土地土壤数据、农业数据、行政区数据...GIS数据获取网站整理
本文对GIS行业相关的综合数据获取网站加以整理,包括但不限于遥感数据.气候数据.土地数据.土壤数据.农业数据.行政区数据.社会数据.经济数据等.数据较多,大家可以直接通过下方目录加以总览:点击数据 ...
ECMWF气象数据（ERA Interim和ERA 5）下载（1）
ECMWF的数据集手动下载: ERA Interim[地址]正在逐步淘汰.强烈建议用户迁移到ERA5[地址]. ERA Interim中提供的最后日期为2019年8月31日. 下载中的相关参数介绍: ...
Hadoop分析NCDC气象数据
气象数据准备: 1. 下载1993年到2003年每年的部分气象数据 ftp://ftp3.ncdc.noaa.gov/pub/data/noaa/ 2. 下载的文件格式是*.gz,用zcat命令将其解 ...
使用Hadoop分析气象数据完整版（附带完整代码）
<分布式>布置了一道小作业,让我花了7天时间学习了Hadoop...现在终于可以正式地做这个作业了,记录一下. 使用Hadoop分析气象数据 1 获取数据 1.1 下载数据 1.2 数据格 ...
基于Python分析气象数据教程-1
前言本笔记介绍了如何使用 Python.pandas 和 SciPy 对天气数据进行基本分析. 它不包含对气象科学的贡献,但说明了如何生成简单的图和基本模型来拟合一些真实的物理观测. 一.相关库引入 ...
Matlab处理气象数据（九）逐点变化的显著性分析
利用上面M-K趋势分析的结果,只让置信度大于95%的数据在地图上显示. 这里,可以先自定义一个colorbar. mycolor = colormap; %mycolor名称任意 save mycol ...
分布滞后线性和非线性模型（DLNM）分析空气污染（臭氧）、温度对死亡率时间序列数据的影响...
全文下载链接 http://tecdat.cn/?p=23947 分布滞后非线性模型(DLNM)表示一个建模框架,可以灵活地描述在时间序列数据中显示潜在非线性和滞后影响的关联.该方法论基于交叉基的定义 ...
sklearn 读取csv_气象数据再分析数据的读取方式（GRIB格式为例）
在对全球环境进行研究中,我们总会遇到欧洲中期预报中(European Centre for Medium-Range Weather Forecasts)等发布的气象再分析数据,例如,我在ESA官网上 ...

MapReduce分析NCDC 年气象数据最低温度与最高温度

MapReduce分析NCDC 年气象数据最低温度与最高温度相关推荐

最新文章

热门文章