[原创] hadoop学习笔记：wordcout程序实践

看了官网上的示例：但是给的不是很清楚，这里依托官网给出的示例，加上自己的实践，解析worcount程序的操作

1.首先你的确定你的集群正确安装，并且启动你的集群，应为这个是hadoop2.6.0，所以你的启动以下的守护进程：

$sbin/ ./start-dfs.sh

$sbin/ ./start-yarn.sh

$sbin/ mr-jobhistory-daemon.sh start historyserver

2.在lccal系统上创建两个文件，记住是文件，命名：file01，file02

笔者在/opt/localdata 下创建的file01，file02，内容如下

3.将本地的file01，file02上传至hdfs文件系统，利用命令

首先在hdfs文件系统上创建目录：输入目录 /library/wordcount/input/ 输出目录 /library/wordcount/output/

　　创建输入目录：$bin/ hdfs dfs -mkdir -P /library/wordcount/input/

创建输出目录：$bin/ hdfs dfs -mkdir -P /library/wordcount/output/

将本地的文件copy到hdfs文件系统

$bin/ hdfs dfs -copyFromLocal /opt/localdata/file01 /library/wordcount/input/

$bin/ hdfs dfs -copyFromLocal /opt/localdata/file02 /library/wordcount/input/

完成之后可以查看文件是否copy过去

　 $bin/ hdfs dfs -ls /library/wordcount/input/

4.可以运行程序了

　　进入目录：cd $HADOOP_HOME/share/hadoop/mapreduce

运行命令$ hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount /library/wordcount/input/ /library/wordcount/output/rs_wordcount

运行成功

5.查看运行结果

　　①web查看，首先需要设置web的，可以参考我的另外一篇博客http://www.cnblogs.com/jasonHome/p/5303040.html 自行设置

　　在浏览器输入：master:50070 （笔者将namenode的主机设置为master）

点击utilities ->brows the file system 如下图

在hdfs文件系统中查看生成的文件结果文件：搜索 /library/wordcount/output/rs_wordcount

点击part-r-00000,就可以查看了

②可以通过命令行查看：

$ bin/hdfs dfs -cat /library/wordcount/output/part-r-00000

结果如下

补充：还可以通过 master:8088查看集群的情况， master:19888查看历史提交的任务和记录，如下图

master:8088

master:19888

好了，这就是我想和大家分享的，自己琢磨了，5个小时左右，如有问题，希望大家指正。

转载于:https://www.cnblogs.com/jasonHome/p/5357075.html

[原创] hadoop学习笔记：wordcout程序实践相关推荐

Hadoop学习笔记一简要介绍
Hadoop学习笔记一简要介绍这里先大致介绍一下Hadoop. 本文大部分内容都是从官网Hadoop上来的.其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了.我的这一 ...
Hadoop学习笔记(1) ——菜鸟入门
Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分布式系统基础架构,由Apache基金会所开发.用户能够在不了解分布式底层细节的情况下.开发分布式 ...
Hadoop学习笔记(1)
原文:http://www.cnblogs.com/zjfstudio/p/3859704.html Hadoop学习笔记(1) --菜鸟入门 Hadoop是什么?先问一下百度吧: [百度百科]一个分 ...
Hadoop学习笔记—18.Sqoop框架学习
Hadoop学习笔记-18.Sqoop框架学习一.Sqoop基础:连接关系型数据库与Hadoop的桥梁 1.1 Sqoop的基本概念 Hadoop正成为企业用于大数据分析的最热门选择,但想将你的数据 ...
Hadoop学习笔记—20.网站日志分析项目案例（一）项目介绍
Hadoop学习笔记-20.网站日志分析项目案例(一)项目介绍网站日志分析项目案例(一)项目介绍:当前页面网站日志分析项目案例(二)数据清洗:http://www.cnblogs.com/edis ...
Hadoop学习笔记—4.初识MapReduce
一.神马是高大上的MapReduce MapReduce是Google的一项重要技术,它首先是一个编程模型 ,用以进行大数据量的计算.对于大数据量的计算,通常采用的处理手法就是并行计算.但对许多开 ...
CUDA学习笔记之程序优化
CUDA学习笔记之程序优化标签: cuda优化conflict存储算法数学计算 2010-01-05 17:18 5035人阅读评论(4) 收藏举报分类: CUDA(6) 版权声明:本文为博主 ...
Hadoop学习笔记—11.MapReduce中的排序和分组
Hadoop学习笔记-11.MapReduce中的排序和分组一.写在之前的 1.1 回顾Map阶段四大步骤首先,我们回顾一下在MapReduce中,排序和分组在哪里被执行: 从上图中可以清楚地看出 ...
Hadoop学习笔记—15.HBase框架学习（基础知识篇）
Hadoop学习笔记-15.HBase框架学习(基础知识篇) HBase是Apache Hadoop的数据库,能够对大型数据提供随机.实时的读写访问.HBase的目标是存储并处理大型的数据.HBase ...

[原创] hadoop学习笔记：wordcout程序实践

[原创] hadoop学习笔记：wordcout程序实践相关推荐

最新文章

热门文章