5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）

1.Hadoop的配置

独立模式、伪分布式、完全分布式

2.安装完之后就已经是独立模式了。

（1）在独立模式之下是没有守护进程的，可以输入命令 jps 会发现只有一个Jps,没有其他守护进程。

（2） Hadoop里面的命令和Ubuntu里面差不多，只是有点区别：

命令： hadoop fs -ls / :查看Hadoop的根目录。

3.伪分布式模式

伪分布式是完全分布式的一个特例

在伪分布式模式下，需要配置四个文件

①core-site.xml ② hdfs-site.xml ③ yarn-site.xml ④mapred-site.xml

namenode（名称节点，简称NN）:存放文件系统的目录 ,他的副本-->secondaryNamenode

dataNode（数据节点，简称DN）:数据的真正存放地点 ,他的副本-->replication

（1）进入到安装好的haoop里面把文件夹复制一份。结果如图：

（2）然后进入到hadoop_pseudo里面，

执行sudo *-site.xml :配置所有的-site.xml文件；

（3）看清楚首先要配置的文件

①core-site.xml

在<configuration>标签里面加入

<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/</value>
</property>

② hdfs-site.xml

在<configuration>标签里面加入

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

③ yarn-site.xml

在<configuration>标签里面加入

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>

④mapred-site.xml

因为没有mapred-site.xml这个文件所以，进行已经有的模板的复制：

输入命令： cp mapred-site.xml.template mapred-site.xml

然后把下面的内容放到里面（命令 sudo nano mapred-site.xml）：

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

这样这四个配置文件就配置完成了。下一节继续配置

5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）相关推荐

《Hadoop系列》脚本开发自动化配置伪分布式Hadoop
shell脚本配置伪分布式Hadoop 一 hadoop安装 install_hadoop.sh ## !/bin/bash## 安装jdk ./install_java.sh ##安装前的路径 IN ...
配置伪分布式hadoop集群（附常见配置问题）
配置伪分布式hadoop并运行wordcount程序 ps:本教程在虚拟机和阿里云服务器上都配置成功,建议使用虚拟机(容易成功).本实验最后将运行hadoop自带的wordcount程序用以检验配置是 ...
Ubuntu下的Java和Hadoop安装及配置伪分布式教程
Hadoop安装及配置伪分布式教程 1.创建hadoop用户更新apt 2.安装SSH.配置SSH无密码登陆安装SSH 配置SSH无密码登录 3.安装Java环境 4.安装Hadoop3.1.3 ...
【Hadoop配置】用最短的时间配置伪分布式Hbase（亲身经历）
[Hadoop配置]用最短的时间配置伪分布式Hbase(亲身经历) 目录 [Hadoop配置]用最短的时间配置伪分布式Hbase(亲身经历) 一.鸣谢二.前言三.从头配置Hbase (一)下载hb ...
day70-大数据之Hadoop部署1(单机部署与伪分布式部署)
大数据基础平台实施及运维一.大数据介绍学习目标能够了解为什么使用大数据技术能够了解大数据指的是什么 1. 为什么使用大数据技术? 数据量越来越大数据分析的实时性越来越强数据结果的应用越来越 ...
Hadoop单机和伪分布式环境搭建
hadoop环境搭建 1.三个环境单机.伪分布式.分布式 2.三个分支 apache版本(Apache基金会) cdh版本(cloudera公司) ...
如何学习Hadoop，学习Hadoop要学什么？怎么学？
如何学习Hadoop,学习Hadoop要学什么?怎么学? 第一章:初识Hadoop 第二章:更高效的WordCount 第三章:把别处的数据搞到Hadoop上第四章:把Hadoop上的数据搞到别处去 ...
HDFS伪分布式环境搭建-很不错
HDFS伪分布式环境搭建原创 ZeroOne01 2018-03-24 19:51:20 评论(0) 655人阅读 HDFS概述及设计目标什么是HDFS: 是Hadoop实现的一个分布式文件系统( ...
Hadoop2.2.0伪分布式环境搭建（附：64位下编译Hadoop-2.2.0过程）
Hadoop2.2.0伪分布式环境搭建: 写在前面:Hadoop2.2.0默认是支持32位的OS,如果想要在64位OS下运行的话,可以通过在64位OS下面编译Hadoop2.2.0来实现,编译的操作步 ...

5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）

5.Hadoop的学习（Hadoop的配置（伪分布式的搭建）-1）相关推荐

最新文章

热门文章