Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

2019独角兽企业重金招聘Python工程师标准>>>

测试HDFS

上传文件到hdfs hadoop分布式文件系统

hadoop fs -put /opt/jdk.gz hdfs://master:9000/jdk

5/22/2017------------------------

17/05/21 22:55:06 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: Cannot create file/jdk._COPYING_. Name node is in safe mode.
忽略第一行错误，看第二行，是由于系统空间不足

df -hl命令查看系统空间使用情况

删除一些文件后，正常执行上传文件

5/22/2017------------------------

下载到linux文件系统

hadoop fs -get hdfs://master:9000/jdk /opt/jdk2

查看文件列表

hadoop fs -ls

例子-wordcount

上传包含各种单词的word文件到hdfs，然后执行以下命令，可以得到结果文件word-out

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://master:9000/word hdfs://master:9000/word-out

默认在hdfs文件系统底下，所以也可以简写成以下

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /word word-out-2

转载于:https://my.oschina.net/jayronwang/blog/393811

Hadoop tutorial - 3 Hello MapReduce- 2015-3-30相关推荐

hadoop详细笔记(十一) mapreduce数据分析案例之线段重叠案例
1 数据 1,4 2,5 3,4 2,5 2,4 3,4 2,6 2 需求统计x轴上每个点线段重叠的次数 3 代码实现 package com._51doit.mr.line;import org. ...
大数据基础之Hadoop（三）—— MapReduce
作者:duktig 博客:https://duktig.cn (文章首发) 优秀还努力.愿你付出甘之如饴,所得归于欢喜. 本篇文章源码参看:https://github.com/duktig666/b ...
Hadoop实验4：MapReduce编程
目录一. [实验准备] 1.工作目录 2.打开eclipse并配置工作空间二.准备工作 1. 新建项目 2. 准备测试数据 3. 添加 MapReduce 编程框架三.Map过程四.Reduc ...
Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据
2019独角兽企业重金招聘Python工程师标准>>> Hadoop 中文编码相关问题 -- mapreduce程序处理GBK编码数据并输出GBK编码数据输入是GBK文件, 输出也 ...
python部署到hadoop上_python实现mapreduce（2）——在hadoop中执行
目的:将python实现mapreduce(1)中的python脚本部署到hadoop上,实现mapreduce. 1. 修改脚本执行权限 [tianyc@TeletekHbase ~]$ which ...
Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
编者按:HDFS和MapReduce是Hadoop的两大核心,除此之外Hbase.Hive这两个核心工具也随着Hadoop发展变得越来越重要.本文作者张震的博文<Thinking in BigD ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...
Hadoop入门（十二）Intellij IDEA远程向hadoop集群提交mapreduce作业
Intellij IDEA远程向hadoop集群提交mapreduce作业,需要依赖到hadoop的库,hadoop集群的配置信息,还有本地项目的jar包. 一.软件环境 (1)window本地安装h ...
Hadoop 生态系列之 Mapreduce
阅读文本大概需要 5 分钟.文章稍长,建议收藏慢慢看. 目前 Hadoop 系列文章的规划就是这样,持续补充完善中- 同时可以访问 https://data.cuteximi.com Hadoop 生 ...
Hadoop实战系列之MapReduce 分析 Youtube视频数据
Hadoop实战系列之MapReduce 分析 Youtube视频数据一.实战介绍 MapReduce 是 Hadoop 的计算框架. 在运行一个 MR 程序时,任务过程被分为两个阶段:Map 阶段 ...

Hadoop tutorial - 3 Hello MapReduce- 2015-3-30

Hadoop tutorial - 3 Hello MapReduce- 2015-3-30相关推荐

最新文章

热门文章