(一)hadoop 权威指南---气象数据获取
下载FileZilla
FileZilla是一个ftp远程文件下载器,非常好用。
链接:https://filezilla-project.org/连接ftp
气象数据来自美国气象局,数据根 ftp://ftp.cdc.noaa.gov/ ,如果要用户名,那就是anonymous。不过里面数据太多,我需要的是 ftp://ftp.ncdc.noaa.gov/pub/data/noaa/ 路径下的数据。填写如下:
在本地站点选一个本地下载目录,点击快速连接就可以下载数据了。数据使用1901年开始的,数据还挺多,已经下载了一部分数据,自己整理了一下把一年的数据全放一个文件里了,便于hadoop处理,地址:http://download.csdn.net/detail/u010469490/9876925。最近在学haoop,正好可以拿来这个来研究研究。^_^- 数据说明文件
noaa/目录下有一个文件叫ish-format-document.pdf, 里面详细写了一行数据代表的含义。例如:
表示一行中第88-92列的数据值表示空气温度观测值。
(一)hadoop 权威指南---气象数据获取相关推荐
- 基于python的气象数据分析_基于python的《Hadoop权威指南》一书中气象数据下载和map reduce化数据处理及其......
文档内容: 1:下载<hadoop权威指南>中的气象数据 2:对下载的气象数据归档整理并读取数据 3:对气象数据进行map reduce进行处理 关键词:<Hadoop权威指南> ...
- 《Hadoop权威指南》第二章 关于MapReduce
<Hadoop权威指南>第二章 关于MapReduce 目录 使用Hadoop来数据分析 横向扩展 注:<Hadoop权威指南>重点学习摘要笔记 1. 使用Hadoop来数据分 ...
- 《Hadoop权威指南》读书笔记1
<Hadoop权威指南>读书笔记 Day1 第一章 1.MapReduce适合一次写入.多次读取数据的应用,关系型数据库则更适合持续更新的数据集. 2.MapReduce是一种线性的可伸缩 ...
- Hadoop权威指南(中文版)
Hadoop权威指南(中文版) 基本信息 原书名: Hadoop: The Definitive Guide 原出版社: O'Reilly Media 作者: (美) Tom White 译者: ...
- 《Hadoop权威指南》知识点整理4
<Hadoop权威指南>知识点整理4 MapReduce部分 MapReduce的类型与格式_MapReduce类型 reduce函数的输入类型必须与map函数的输出类型相同 partit ...
- Hadoop权威指南:HDFS-目录,查询文件系统,删除文件
目录 Hadoop权威指南:HDFS-目录,查询文件系统,删除文件 目录 查询文件系统 文件元数据:FileStatus 列出文件 文件模式 PathFilter对象 删除数据 Hadoop权威指南: ...
- Hadoop权威指南学习笔记三
HDFS简单介绍 声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my ...
- 《Hadoop权威指南》第三章 Hadoop分布式文件系统
<Hadoop权威指南>第三章 Hadoop分布式文件系统 目录 前言 HDFS的设计 HDFS的概念 命令行接口 Hadoop文件系统 Java接口 数据流 通过distcp并行复制 注 ...
- Hadoop权威指南 _01前言感悟
Hadoop权威指南 大数据的存储与分析-第4版-修订版-升级版 前言感悟: 或许有人会说前言,我看书一般都不看前言的,但是或许是对于技术书籍的敬畏,也或者是作者对Hadoop的诸多感受,让我也有种代 ...
- Hadoop权威指南(中文版,第2版)【分享】
下载地址 Hadoop权威指南(中文版,第2版) http://download.csdn.net/download/u011000529/5726789 (友情提示:请点击右下的"联通下载 ...
最新文章
- <论文阅读>CascadePSP: Toward Class-Agnostic and Very High-Resolution Segmentation via Global and...
- java类的加载机制
- 图像分割-二阶导数零交叉点的含义
- db2增加decimal类型字段小数位_05725.16.1Hive中decimal类型字段.0结尾数据显示异常问题处理...
- 以监控为核心 实现安防智能化全面兼容
- uboot支持S3C6410的SD启动
- python是一种面相什么语言_Python面相对象编程的知识总结
- linux输出和错误信息文件,Log4j配置将错误信息输出到指定文件中[linux tomcat]
- 【Spark】大数据+AI mettup【视频笔记】
- javacpp-FFmpeg系列之2:通用拉流解码器,支持视频拉流解码并转换为YUV、BGR24或RGB24等图像像素数据...
- Mysql数据库优化方案
- Hello CTP(七)——REM交易API
- Unity制作3d生存游戏视频教程
- 私有云基础架构设计:存储、网络、计算、安全和应用的设计最佳实践及案例
- 面板数据、工具变量选择和Hausman检验的若干问题
- 女子打扮时尚穿短裙 被8岁儿子指责像二奶
- [模拟电路]ADI放大器笔记 - 差分放大器单端输入电阻设计
- 71. 从Lotus Notes表单到XPage——兼谈程序里的二进制文件和文本文件
- WebWork教程一
- select的执行顺序