运行wordcount程序
运行WordCount程序
单词计数是最简单也是最能体现MapReduce思想的程序之一，可以称为MapReduce版"Hello World"，该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是：统计一系列文本文件中每个单词出现的次数，如下图所示。
image
2.1 准备工作
现在以"hadoop"普通用户登录"Master.Hadoop"服务器。
1）创建本地示例文件
首先在"/home/hadoop"目录下创建文件夹"file"。
image
接着创建两个文本文件file1.txt和file2.txt，使file1.txt内容为"Hello World"，而file2.txt的内容为"Hello Hadoop"。
image
2）在HDFS上创建输入文件夹
image
3）上传本地file中文件到集群的input目录下
image
g)
2.2 运行例子
1）在集群上运行WordCount程序
备注：以input作为输入目录，output目录作为输出目录。
已经编译好的WordCount的Jar在"/usr/hadoop"下面，就是"hadoop-examples-1.0.0.jar"，所以在下面执行命令时记得把路径写全了，不然会提示找不到该Jar包。
image
2）MapReduce执行过程显示信息
image
Hadoop命令会启动一个JVM来运行这个MapReduce程序，并自动获得Hadoop的配置，同时把类的路径（及其依赖关系）加入到Hadoop的库中。以上就是Hadoop Job的运行记录，从这里可以看到，这个Job被赋予了一个ID号：job_201202292213_0002，而且得知输入文件有两个（Total input paths to process : 2），同时还可以了解map的输入输出记录（record数及字节数），以及reduce输入输出记录。比如说，在本例中，map的task数量是2个，reduce的task数量是一个。map的输入record数是2个，输出record数是4个等信息。
2.3 查看结果
1）查看HDFS上output目录内容
image
从上图中知道生成了三个文件，我们的结果在"part-r-00000"中。
2）查看结果输出文件内容
image
运行wordcount程序相关推荐
- 从安装Kafka服务到运行WordCount程序
之所以写这篇文章,是因为Kafka初学的同学在了解了Kafka的基本原理之后,希望在自己的机器上面运行最简单的wordCount的时候,从开始安装Kafka到找到合适的example源码最后到成功运行 ...
- 2、运行WordCount程序
转载:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2504205.html 单词计数是最简单也是最能体现MapReduce思想的程序之一,可以 ...
- Spark在Yarn上运行Wordcount程序
过往记忆专注于Hadoop.Spark.Hive.Flume.Hbase,QQ交流群:138615359 首页 Hadoop Spark Hive Hbase Flume 面试题 面试题 数据结构 算 ...
- Flink基础系列8-Flink on yarn运行wordcount程序
文章目录 环境介绍 一.Maven配置 二.Java代码编写 三.Maven打包并上传 四.运行jar文件 五.运行其它的class文件 参考 环境介绍 测试服务器CDH 6.3.1版本安装Flink ...
- ubuntu下hadoop运行wordcount程序
本机环境 ubuntu 12 hadoop 1.1.2 首先保证hadoop配置成功 1.在Hadoop的解压目录的如下位置可以找到WordCount.java的源文件 src/examples/or ...
- 在Spark上运行WordCount程序
1.编写程序代码如下: Wordcount.scala package Wordcount import org.apache.spark.SparkConf import org.apache.sp ...
- MapReduce的工作原理，详细解释WordCount程序
本篇文章主要说两部分:简单介绍MapReduce的工作原理:详细解释WordCount程序. MapReduce的工作原理 在<Hadoop in action>一书中,对MapReduc ...
- centos6.5配置Hadoop环境，运行wordcount例子
安装vmware12,centos6.5(还是6.5好,稳定流畅,7界面好看但是虚拟机里面卡死了),删除自带openjdk下载安装jdk1.7 配置环境变量 vim /etc/profile-> ...
- wordcount linux java_Java笔记---Hadoop 2.7.1下WordCount程序详解
一.前言 在之前我们已经在 CenOS6.5 下搭建好了 Hadoop2.x 的开发环境.既然环境已经搭建好了,那么现在我们就应该来干点正事嘛!比如来一个Hadoop世界的HelloWorld,也就是 ...
最新文章
- 一行命令搞定图像质量评价 | 附代码和操作步骤
- R假设检验之Durbin-Watson检验（Durbin-Watson Test）
- 「镁客·请讲」仙知机器人赵越：“能友好工作”的机器人才能真正的为人类服务...
- spring+quartz定时任务配置---MethodInvokingJobDetailFactoryBean
- 如何查看服务器并发请求连接数
- ROS launch文档介绍
- mysql 时间段内的周末_淘宝用户行为数据分析（MySQL）
- 字节大牛耗时八个月又一力作，原理+实战讲解
- 不同修饰符的访问权限（private，缺省（默认即default），protected，public）
- 【转】winrar命令行详解
- oracle spatial 更新,oracle Spatial（空间数据库）概述
- 宠物商店mysql数据库设计_宠物商城数据库设计
- js实现下雪雪花特效
- Shell脚本发送邮件(CentOS+mailx+QQ邮箱)
- 《Cloud Native Data Center Network》读书笔记-1
- Git安装、配置和使用
- 0x00007FFA837F2487 (ucrtbased.dll)处(位于 指针.exe 中)引发的异常: 0xC0000005: 读取位置 0x0000000000000068 时发生访问冲突
- java毕业设计校园互助平台校园帮帮网站源码+lw文档+mybatis+系统+mysql数据库+调试
- java-net-php-python-ssm二手手机交易平台查重PPT计算机毕业设计程序
- 微信接口开发 2----接收微信接口返回的数据