Hadoop的运行模式包括：本地模式、伪分布式模式以及完全分布式模式

Hadoop官网地址：https://hadoop.apache.org/

本次使用的Hadoop的版本是2.7.2

官网文档：https://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html

一、官方Grep案例

1、在文件夹hadoop-2.7.2下面创建一个input文件夹

2、将Hadoop的xml配置文件复制到input

3、执行share目录下的mapreduce程序

4、查看输出结果

二、官方WordCount案例

1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹

2、在wcinput文件夹下创建一个wc.input文件

3、编辑wc.input文件，输入如下内容

4、回到hadoop目录：/opt/module/hadoop-2.7.2

5、执行程序

6、查看结果

三、使用软件

一、官方Grep案例

1、在文件夹hadoop-2.7.2下面创建一个input文件夹

mkdir input

2、将Hadoop的xml配置文件复制到input

cp etc/hadoop/*.xml input

3、执行share目录下的mapreduce程序

直接使用hadoop命令需要配置环境变量，否则应该写 “bin/hadoop”

（善于利用Tab键）

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'

4、查看输出结果

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar grep input/ output 'dfs[a-z.]+'

output文件夹在运行前不能创建，存在的话会抛出异常

二、官方WordCount案例

1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹

mkdir wcinput

2、在wcinput文件夹下创建一个wc.input文件

touch wc.input

3、编辑wc.input文件，输入如下内容

4、回到hadoop目录：/opt/module/hadoop-2.7.2

5、执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount wcinput wcoutput

6、查看结果

三、使用软件

1、VMware15.5

2、centos6.4（64位）

3、java1.8.0_144（64位）

4、hadoop 2.7.2

Hadoop运行模式之本地运行模式相关推荐

Hadoop环境搭建之本地运行模式
一.hadoop本地运行模式介绍默认的模式,无需运行任何守护进程,所有程序都在单个JVM上执行.由于在本机模式下测试和调试MapReduce程序较为方便,因此,这种模式适宜用在开发阶段. 使用本地文 ...
20200903-03-Hadoop运行模式之本地运行模式伪分布式运行模式
准备工作: 1.一台Linux机器[windows也支持,参考:https://cwiki.apache.org/confluence/display/HADOOP2/Hadoop2OnWindows ...
Hadoop Single Node Setup（hadoop本地模式和伪分布式模式安装-官方文档翻译 2.7.3）
Purpose(目标) This document describes how to set up and configure a single-node Hadoop installation so ...
具有Python＆OpenCV的本地二进制模式
具有Python&OpenCV的本地二进制模式 1. 效果图 2. 原理 2.1 项目结构 2.2 数据集构建 2.3 什么是本地二进制模式? 3. 源码参考这篇博客将介绍如何使用本地二进 ...
Hadoop本地运行模式了解~
本地运行模式:单机运行,生产环境不用: 伪分布式模式:单机运行,但是具备Hadoop集群的所有功能,一台服务器模拟一个分布式环境,生产环境不用: 完全分布式模式:多台服务器组成分布式环境,生产环境使用 ...
Hadoop 的三种运行模式_本地模式_伪分布式模式
演示的版本是:2.7.2 官方文档 Hadoop运行模式 Hadoop运行模式包括:本地模式.伪分布式模式以及完全分布式模式. Hadoop官方网站:http://hadoop.apache.org/ ...
三、Hadoop运行模式（本地模式、伪分布模式）
上篇博客介绍了Linux下搭建Hadoop运行环境,本篇主要介绍Hadoop的本地运行模式和伪分布式模式,关注专栏<破茧成蝶--大数据篇>查看相关系列的文章~ 目录一.本地模式 1.1 ...
大数据技术之Hadoop（入门）概述、运行环境搭建、运行模式
文章目录 1 Hadoop 概述 1.1 Hadoop 是什么 1.2 Hadoop 优势 1.3 Hadoop 组成(面试重点) 1.3.1 HDFS 架构概述 1.3.2 YARN 架构概述 1. ...
怎么在本地运行umi框架的生产模式
怎么在本地运行umi框架的生产模式第一种先使用build进行编译构建, 在webstorm软件上可以在package.json文件上点击运行;或者直接在命令行上敲max build进行构建, 构建 ...

Hadoop运行模式之本地运行模式

一、官方Grep案例

1、在文件夹hadoop-2.7.2下面创建一个input文件夹

2、将Hadoop的xml配置文件复制到input

3、执行share目录下的mapreduce程序

4、查看输出结果

二、官方WordCount案例

1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹

2、在wcinput文件夹下创建一个wc.input文件

3、编辑wc.input文件，输入如下内容

4、回到hadoop目录：/opt/module/hadoop-2.7.2

5、执行程序

6、查看结果

三、使用软件

Hadoop运行模式之本地运行模式相关推荐

最新文章

热门文章

Hadoop运行模式 之 本地运行模式

一、官方Grep案例

1、在文件夹hadoop-2.7.2下面创建一个input文件夹

2、将Hadoop的xml配置文件复制到input

3、执行share目录下的mapreduce程序

4、查看输出结果

二、官方WordCount案例

1、在hadoop-2.7.2文件夹下创建一个wcinput文件夹

2、在wcinput文件夹下创建一个wc.input文件

3、编辑wc.input文件，输入如下内容

4、回到hadoop目录：/opt/module/hadoop-2.7.2

5、执行程序

6、查看结果

三、使用软件

Hadoop运行模式 之 本地运行模式相关推荐

最新文章

热门文章

Hadoop运行模式之本地运行模式

Hadoop运行模式之本地运行模式相关推荐