2、运行WordCount程序
转载:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。
2.1 准备工作
现在以"hadoop"普通用户登录"Master.Hadoop"服务器。
1)创建本地示例文件
首先在"/home/hadoop"目录下创建文件夹"file"。
接着创建两个文本文件file1.txt和file2.txt,使file1.txt内容为"Hello World",而file2.txt的内容为"Hello Hadoop"。
2)在HDFS上创建输入文件夹
3)上传本地file中文件到集群的input目录下
2.2 运行例子
1)在集群上运行WordCount程序
备注:以input作为输入目录,output目录作为输出目录。
已经编译好的WordCount的Jar在"/usr/hadoop"下面,就是"hadoop-examples-1.0.0.jar",所以在下面执行命令时记得把路径写全了,不然会提示找不到该Jar包。
2)MapReduce执行过程显示信息
Hadoop命令会启动一个JVM来运行这个MapReduce程序,并自动获得Hadoop的配置,同时把类的路径(及其依赖关系)加入到Hadoop的库中。以上就是Hadoop Job的运行记录,从这里可以看到,这个Job被赋予了一个ID号:job_201202292213_0002,而且得知输入文件有两个(Total input paths to process : 2),同时还可以了解map的输入输出记录(record数及字节数),以及reduce输入输出记录。比如说,在本例中,map的task数量是2个,reduce的task数量是一个。map的输入record数是2个,输出record数是4个等信息。
2.3 查看结果
1)查看HDFS上output目录内容
从上图中知道生成了三个文件,我们的结果在"part-r-00000"中。
2)查看结果输出文件内容
2、运行WordCount程序相关推荐
- 从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...
- 运行wordcount程序
运行WordCount程序 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello World",该程序的完整代码可以在Hadoop ...
- Spark在Yarn上运行Wordcount程序
过往记忆专注于Hadoop.Spark.Hive.Flume.Hbase,QQ交流群:138615359 首页 Hadoop Spark Hive Hbase Flume 面试题 面试题 数据结构 算 ...
- Flink基础系列8-Flink on yarn运行wordcount程序
文章目录 环境介绍 一.Maven配置 二.Java代码编写 三.Maven打包并上传 四.运行jar文件 五.运行其它的class文件 参考 环境介绍 测试服务器CDH 6.3.1版本安装Flink ...
- ubuntu下hadoop运行wordcount程序
本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1.在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/or ...
- 在Spark上运行WordCount程序
1.编写程序代码如下: Wordcount.scala package Wordcount import org.apache.spark.SparkConf import org.apache.sp ...
- MapReduce的工作原理,详细解释WordCount程序
本篇文章主要说两部分:简单介绍MapReduce的工作原理:详细解释WordCount程序. MapReduce的工作原理 在<Hadoop in action>一书中,对MapReduc ...
- centos6.5配置Hadoop环境,运行wordcount例子
安装vmware12,centos6.5(还是6.5好,稳定流畅,7界面好看但是虚拟机里面卡死了),删除自带openjdk下载安装jdk1.7 配置环境变量 vim /etc/profile-> ...
- wordcount linux java_Java笔记---Hadoop 2.7.1下WordCount程序详解
一.前言 在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境.既然环境已经搭建好了,那么现在我们就应该来干点正事嘛!比如来一个Hadoop世界的HelloWorld,也就是 ...
最新文章
- NAND FLASH
- 这款AI语音模型让派大星承认自己是钢铁侠,造假小扎对口型,火到挤爆服务器|在线可玩...
- House Building HDU - 5538
- idea 2018.1 创建springboot开启找回Run Dashboard
- java 苹果h5不能播放_H5音频不能自动播放的问题
- python实用技巧(一)
- Hibernate的单向1-1关联(二)
- 《学习之道》第十七章保持平静
- 每天一道算法题(16)——翻转链表
- JSP WEB开发入门基础到高手进阶教程001
- windows内核驱动
- Vue源码解读(个人见解 + 网友理解)
- java走迷宫课程设计_java课程设计走迷宫.doc
- 地平线4显示与服务器通讯发生错误,地平线4加载失败发生不明错误的解决方法 - 系统家园...
- android模拟器pc版怎么玩,原神电脑版安卓模拟器怎么使用,电脑上怎么玩原神手游...
- excel统计每个单元格内的单词及空格的个数
- 技术新领导人张小龙:一些成功不能复制
- 微信打开页面,提示到浏览器上打开
- 单位办公电脑声音和摄像头被关闭,如何打开笔记本麦克风和摄像头。
- fluent瞬态计算终止条件在哪里设置_fluent模拟表面喷涂