hadoop 全分布式部署

cd $HADOOP_HOME 在/etc/profile中设置过了

1.设置JDK目录 hadoop-env.sh

vim /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh

26 export JAVA_HOME=/usr/local/jdk1.8.0_151
34 export HADOOP_CONF_DIR=/usr/local/hadoop-2.8.4/etc/hadoop/

source /usr/local/hadoop-2.8.4/etc/hadoop/hadoop-env.sh

2.指定HDFS主节点核心设置

vim /usr/local/hadoop-2.8.4/etc/hadoop/core-site.xml

<configuration><!--配置hdfs默认的命名--><property><name>fs.defaultFS</name><value>hdfs://6059master:9000</value></property><!--配置操作hdfs缓冲区大小--><property><name>io.file.buffer.size</name><value>4096</value></property><!--配置临时目录--><property><name>hadoop.tmp.dir</name><value>/home/bigdata/tmp</value></property>
</configuration>

3.hdfs设置 hdfs-site.xml

需要注意 : 将主机域名替换为自己的域名

vim ./etc/hadoop/hdfs-site.xml
vim /usr/local/hadoop-2.8.4/etc/hadoop/hdfs-site.xml

<configuration><!--配置副本因子--><property>   <name>dfs.replication</name><value>3</value></property><!--配置块大小--><property><name>dfs.block.size</name><value>134217728</value></property><!--配置元数据的存储位置--><property>     <name>dfs.namenode.name.dir</name><value>file:///home/hadoopdata/dfs/name</value></property><!--配置datanode数据存放位置--><property><name>dfs.datanode.data.dir</name><value>/home/hadoopdata/dfs/data</value></property><!--配置dfs检测目录存放位置--><property><name>fs.checkpoint.dir</name><value>/home/hadoopdata/checkpoint/dfs/lglname</value></property><!--配置hdfs的namenode的web ui地址--><property><name>dfs.http.address</name><value>6059master:50070</value></property><!--配置dfs的SNN的web ui地址--><property><name>dfs.secondary.http.address</name><value>6059master:50090</value></property><!--是否开启web操作dfs--><property><name>dfs.webhdfs.enabled</name><value>true</value></property><!--是否启用hdfs的权限--><property><name>dfs.permissions</name><value>true</value></property>
</configuration>

4.mapreduce设置 mapred-site.xml

cp /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml.template /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml

vim /usr/local/hadoop-2.8.4/etc/hadoop/mapred-site.xml

<configuration><!--指定mapreduce运行框架--><property><name>mapreduce.framework.name</name><value>yarn</value><final>true</final></property><!--历史服务的通信地址--><property><name>mapreduce.jobhistory.address</name><value>6059master:10020</value></property><!--历史服务的web ui通信地址--><property><name>mapreduce.jobhistory.webapp.address</name><value>6059master:19888</value></property>
</configuration>

5.yarn设置 yarn-site.xml

vim /usr/local/hadoop-2.8.4/etc/hadoop/yarn-site.xml

<configuration><!--指定resourcemanager所在的主机名--><property><name>yarn.resourcemanager.hostname</name><value>6059master</value></property><!--指定mapreduce的shuffle--><property>        <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><!--指定resourcemanager内部通信地址--><property><name>yarn.resourcemanager.address</name><value>6059master:8032</value></property><!--指定scheduler的内部通信地址--><property><name>yarn.resourcemanager.scheduler.address</name><value>6059master:8030</value></property><!--指定rm的resource-tracker的内部通信地址--><property><name>yarn.resourcemanager.resource-tracker.address</name><value>6059master:8031</value></property><!--指定rm的admin的内部通信地址--><property><name>yarn.resourcemanager.admin.address</name><value>6059master:8033</value></property><!--指定rm的web ui地址--><property><name>yarn.resourcemanager.webapp.address</name><value>6059master:8088</value></property>
</configuration>

6. 配置节点域名

vim /usr/local/hadoop-2.8.4/etc/hadoop/slaves

6059master
6059slave01
6059slave02

7. 完成分发任务

vim /etc/hosts

192.168.56.20 6059master
192.168.56.21 6059slave01
192.168.56.22 6059slave02

在两个slave里删除Hadoop目录

6059slave01: rm -rf /usr/local/hadoop-2.8.4/
6059slave02: rm -rf /usr/local/hadoop-2.8.4/

完成分发工作：ping

master:
scp -r /usr/local/hadoop-2.8.4/ root@6059slave01:/usr/local/
scp -r /usr/local/hadoop-2.8.4/ root@6059slave02:/usr/local/

方法2
在master机上执行下列命令，将配置好的hadoop拷贝至slaveX、client。

cat  ~/data/2/machines

for  x  in  `cat  ~/data/2/machines` ; do  echo  $x ; scp  -r  /usr/cstor/hadoop/etc  $x:/usr/cstor/hadoop  ;

8. 启动

启动之前要先在namenode服务器上格式化，只需一次。

hadoop namenode –format

8.1 启动三种方式：

8.1.1方法一：全启动：

 start-all.sh

方法二：模式启动：

start-dfs.sh
start-yarn.sh

方法三：单个进程启动：

hadoop-daemon.sh start namenode
hadoop-daemons.sh start datanode
yarn-daemon.sh start namenode
yarn-daemons.sh start datanode
mr-jobhistory-daemon.sh start historyserver

9. 测试

9.1 查看进程是否启动了：

jps

9.2 查看对应模块的web

http://192.168.56.20:50070

http://192.168.56.20:8088

9.3 文件操作

文件列表

# hdfs dfs -ls /

创建 xx文件

# hdfs dfs -mkdir xx

上传文件

# hdfs dfs –put ./***  /

删除文件夹

删除文件，-rm -R 递归删除目录和文件

hadoop fs -rm   删除文件，-rm -R 递归删除目录和文件

10. 跑一个程序

yarn jar /usr/local/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount  /input/word.txt /output/01

hdfs dfs –ls /output/01
hdfs dfs –cat /output/01/part-r-00000

11. 常见错误处理

WARN ipc.Client

错误：

WARN ipc.Client: Failed to connect to server: 6059master/192.168.56.20:9000: try once and fail.

50070 端口进程和 9000端口进程没有启动

11.1 查看 hdfs-site.xml

<!--配置hdfs的namenode的web ui地址-->
<property><name>dfs.http.address</name><value>6059master:50070</value>
</property>

11.2 关闭防火墙

# 查看防火墙状态
systemctl status firewalld
# 关闭防火墙
systemctl stop firewalld.service
# 禁用防火墙
systemctl disable firewalld.service

还有个防火墙是selinux: 要设置为 vim /etc/selinux/config

SELINUX=disabled

3. namenode节点没有启动

# cd /usr/local/hadoop-2.8.4/bin/
# hdfs namenode -format

hadoop 全分布式部署相关推荐

Hadoop全分布式部署 - CentOS（结尾附视频）
写在前面:博主是一只经过实战开发历练后投身培训事业的"小山猪",昵称取自动画片<狮子王>中的"彭彭",总是以乐观.积极的心态对待周边的事物.本人的技 ...
第六天 - 安装第二、三台CentOS - SSH免密登陆 - hadoop全分布式安装、配置、集群启动
第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置.集群启动第六天 - 安装第二.三台CentOS - SSH免密登陆 - hadoop全分布式安装.配置 ...
Hadoop伪分布式部署及常用操作
hadoop伪分布式部署之前有做过hadoop 2.x的部署,现在再做一下hadoop 3.x的部署. hadoop有三个组件:hdfs用来存储数据,mapreduce 用来计算(作业) ,yarn ...
Linux下配置Hadoop全分布式环境
1. 前提部署全分布式环境,我们肯定不能在一台服务器上了,这里我用了7台服务器,在VMware上开了7个虚拟机,如下图所示: 我基本配置了一晚上才搞定,第一次配置一般都有错,这时候不妨去到hadoo ...
Hadoop全分布式集群搭建（全网最详细，保姆级教程）
在上一篇Hadoop环境搭建(全网最详细,保姆级教程)中已经搭建好了一个单机Hadoop环境,接下来搭建全分布式Hadoop集群首先对Hadoop全分布示集群进行简单介绍和规划一个集群由一个主机, ...
基于CentOs的Hadoop集群全分布式部署
转自:http://blog.csdn.net/inte_sleeper/article/details/6569985 参考资料: http://www.michael-noll.com/tutor ...
Hadoop完全分布式部署
一.概述概念: 是一个可靠的.可伸缩的.分布式计算的开源软件. 是一个框架,允许跨越计算机集群的大数据及分布式处理,使用简单的编程模型(mapreduce) 可从单台服务器扩展至几千台主机,每个节点 ...
[Hadoop]-YARN-伪分布式部署-hadoop-2.6.0-cdh5.7.0
前面已经部署好了HDFS, YARN比较容易了 1.修改配置文件官方已经提供了一个配置文件,直接拿来用 #cp ~/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop/mapr ...
[hadoop全分布部署]安装Hadoop、配置Hadoop 配置文件①

hadoop 全分布式部署

1.设置JDK目录 hadoop-env.sh

2.指定HDFS主节点核心设置

3.hdfs设置 hdfs-site.xml

4.mapreduce设置 mapred-site.xml

5.yarn设置 yarn-site.xml

6. 配置节点域名

7. 完成分发任务

8. 启动

8.1 启动三种方式：

8.1.1方法一：全启动：

方法二：模式启动：

方法三：单个进程启动：

9. 测试

9.1 查看进程是否启动了：

9.2 查看对应模块的web

9.3 文件操作

10. 跑一个程序

11. 常见错误处理

11.1 查看 hdfs-site.xml

11.2 关闭防火墙

3. namenode节点没有启动

hadoop 全分布式部署相关推荐

最新文章

热门文章

hadoop 全分布式部署

1.设置JDK目录 hadoop-env.sh

2.指定HDFS主节点 核心设置

3.hdfs设置 hdfs-site.xml

4.mapreduce设置 mapred-site.xml

5.yarn设置 yarn-site.xml

6. 配置节点域名

7. 完成分发任务

8. 启动

8.1 启动三种方式：

8.1.1方法一：全启动：

方法二：模式启动：

方法三：单个进程启动：

9. 测试

9.1 查看进程是否启动了：

9.2 查看对应模块的web

9.3 文件操作

10. 跑一个程序

11. 常见错误处理

11.1 查看 hdfs-site.xml

11.2 关闭防火墙

3. namenode节点没有启动

hadoop 全分布式部署相关推荐

最新文章

热门文章

2.指定HDFS主节点核心设置