MapReduce执行WordCount操作

MapReduce 数字统计例子WordCount

在单机环境上运行WordCount.java程序

简单配置为：/etc/hosts:

Core-site.xml

在这两个配置文件下运行WordCount 程序，出现如下的错误：

错误中有一句：due to :Call From YARN001/127.0.0.1 to YARN001:8020 failed，所以经过不断地尝试，将core-site.xml里的hdfs://YARN001:8020改为hdfs://192.168.116.50:8020后程序运行成功：

回过头审视，发现/etc/hosts配置得形同虚设于是将/etc/hosts最后一行删去

用到的HDFS基本命令有

bin/hdfs dfs -rmr /output

bin/hdfs dfs -mkdir -p /input

bin/hdfs dfs -put WordCout.java /input

其他基本命令，记录到博客中

执行wordcount程序命令为:

bin/hadoop jar /home/dongwengao/wordcount.jar wordcount/WordCount /input /output

说明：wordcount/WordCount是包名/类名， /input输入目录为args[0]，需要提前生成， /output 输出目录为args[1]，不能提前生成，如果生成要删除。

转载于:https://www.cnblogs.com/hotMemo/p/9338415.html

MapReduce执行WordCount操作相关推荐

初学Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
Hadoop学习记录（4）|MapReduce原理|API操作使用
MapReduce概念 MapReduce是一种分布式计算模型,由谷歌提出,主要用于搜索领域,解决海量数据计算问题. MR由两个阶段组成:Map和Reduce,用户只需要实现map()和reduce( ...
从搭建大数据环境说起，到执行WordCount所遇到的坑
从搭建大数据环境说起,到执行WordCount所遇到的坑文章目录从搭建大数据环境说起,到执行WordCount所遇到的坑背景说明基于`docker compose`的大数据环境搭建 docke ...
第一个MapReduce程序-------WordCount
本关任务词频统计是最能体现MapReduce思想的程序,结构简单,上手容易. 词频统计的大致功能是:统计单个或者多个文本文件中每个单词出现的次数,并将每个单词及其出现频率按照<k,v>键 ...
【Big Data - Hadoop - MapReduce】初学Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
Hadoop之图解MapReduce与WordCount示例分析
Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(GFS) ...
MapReduce入门（一）—— MapReduce概述 + WordCount案例实操
MapReduce入门(一)-- MapReduce概述文章目录 MapReduce入门(一)-- MapReduce概述 1.1 MapReduce 定义 1.2 MapReduce 优缺点 1. ...
WordCount操作步骤
WordCount操作步骤启动Hadoop,注意!启动前需要格式化文件系统!启动后执行jps的结果进程应至少包含一个NameNode,一个DataNode,一个SecondaryNameNode 创 ...
mapreduce实现wordcount 详细解析
总括 Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,MapReduce则为海量的数据提供了计算. HDFS是Google File System(G ...

MapReduce执行WordCount操作

MapReduce执行WordCount操作相关推荐

最新文章

热门文章