Hadoop集群的配置
一.、创建虚拟机
(10条消息) CentOS 7 虚拟机的搭建_仄言2997的博客-CSDN博客
1. 创建虚拟机
2. 安装 CentOS
二、虚拟机网络设置
(10条消息) 虚拟机网络配置_仄言2997的博客-CSDN博客
三、 安装JDK
(10条消息) 虚拟机安装jdk,运行java文件_仄言2997的博客-CSDN博客
四、 安装 Hadoop
(10条消息) 虚拟机安装Hadoop_仄言2997的博客-CSDN博客
1. 下载并解压
2. 修改配置
五、组成集群(本章)
1、虚拟机克隆与主机配置
2、配置每台主机
(1)主机配置:更改IP地址
(2) 修改主机名(重启后永久生效)
(3)设置ip和域名映射,四台主机都需要修改
3. 免密登录
4、Hadoop集群的配置
(1)修改文件#############workers
(2) 创建数据和临时文件夹
5.、格式化 HDFS
六、 启动集群(本章)
1、关闭防火墙
2、 宿主机上做节点映射
3、Hadoop环境变量配置 (对所有节点)
七、 关闭集群(本章)
在上几篇文章中我们已经完成了jdk 以及Hadoop的安装和配置,下面我们就开始Hadoop集群的配置。
组成集群
虚拟机克隆与主机配置
(1)这里推荐采用完整克隆方式,克隆时需要虚拟机处于关机状态。
2. 配置每台主机
(1)主机配置:更改IP地址
设置固定IP命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33
dot1: 192.168.230.151
dot2: 192.168.230.152
dot3: 192.168.230.153
使用ip addr查看ip地址,ping www.baidu.com,ping通表示成功。
(2) 修改主机名(重启后永久生效)
命令:vi /etc/sysconfig/network
或者 命令:vi /etc/hostname
对于其他节点:
dot1 - vi /etc/hostname
dot1
dot2 - vi /etc/hostname
dot2
dot3 - vi /etc/hostname
dot3
(3)设置ip和域名映射,四台主机都需要修改
命令:vi /etc/hosts
192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com
3. 免密登录
免密登录设置步骤
**第一步:四台机器生成公钥与私钥**
在四台机器执行以下命令,生成公钥与私钥
ssh-keygen -t rsa
执行该命令之后,按下三个回车即可
**第二步:拷贝公钥到同一台机器**
四台机器将拷贝公钥到demo机器
四台机器执行命令:
ssh-copy-id demo
**第三步:复制第一台机器的认证到其他机器**
将demo机器的公钥拷贝到其他机器上
在demo机器上面指向以下命令
scp /root/.ssh/authorized_keys dot1:/root/.ssh
scp /root/.ssh/authorized_keys dot2:/root/.ssh
scp /root/.ssh/authorized_keys dot3:/root/.ssh
各机器之间实现免密登录
ssh master
ssh node1
ssh node2
ssh node3
exit
4. 格式化 HDFS
2、Hadoop集群的配置
(1)修改文件#############workers
dot1
dot2
dot3
(2) 创建数据和临时文件夹
(3) 创建数据和临时文件夹
demo 主节点:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/namenode
Other dots:
mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/datanode
或者在dot节点shell :
ssh dot1“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”
ssh dot2“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”
ssh dot3“mkdir -p /data/hadoop/tmp & mkdir -p/data/hadoop/datanode”
格式化 HDFS
在demo上面:
cd /opt/hadoop-3.1.4
cd bin
./hdfs namenode -format demo
5. 启动集群
启动集群
在demo上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:
[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver
!!!报错:设置hadoop-env.sh
/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh
在demo上设置,添加授权:
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
拷贝文件到其他节点:
scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/
[root@demo hadoop]# scp hadoop-env.sh dot1:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh 100% 16KB 4.8MB/s 00:00
[root@demo hadoop]# scp hadoop-env.sh dot2:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh 100% 16KB 4.4MB/s 00:00
[root@demo hadoop]# scp hadoop-env.sh dot3:/opt/hadoop-3.1.4/etc/hadoop/
hadoop-env.sh 100% 16KB 4.7MB/s 00:00
[root@demo hadoop]#
-> 再重复2步骤,通过jps查看进程
在demo上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意启动顺序:
[root@master sbin]# ./start-dfs.sh
[root@master sbin]# ./start-yarn.sh
[root@master sbin]# ./mr-jobhistory-daemon.sh start historyserver 或者 mapred --daemon start historyserver
6. 关闭防火墙
(对所有节点,可以考虑在克隆之前完成)
systemctl status firewalld.service
systemctl stop firewalld.service & systemctl disable firewalld.service
点击链接:
http://192.168.199.150:50070/dfshealth.html#tab-overview
http://192.168.199.150:8088/cluster
http://192.168.199.150:19888/jobhistory
7. 宿主机上做节点映射
宿主机上修改,host文件
/C:/Windows/System32/drivers/etc/hosts
192.168.199.150 demo demo.centos.com
192.168.199.151 dot1 dot1.centos.com
192.168.199.152 dot2 dot2.centos.com
192.168.199.153 dot3 dot3.centos.com
编辑文件
8. Hadoop环境变量配置
(对所有节点)
vi /etc/profile
export HADOOP_HOME=/opt/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin
[root@demo ~]# vi /etc/profile
[root@demo ~]# source /etc/profile
[root@demo ~]# echo $HADOOP_HOME
/opt/hadoop-3.1.4
[root@demo ~]# echo $PATH
/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/hadoop-3.1.4/bin
6. 关闭集群
在master上操作,cd到sbin文件夹 (/opt/hadoop-3.1.4/sbin),注意关闭顺序:
[root@master sbin]# ./stop-dfs.sh
[root@master sbin]# ./stop-yarn.sh
[root@master sbin]#./mr-jobhistory-daemon.sh stop historyserver 或者 mapred --daemon stop historyserver
poweroff
Hadoop集群就配置成功啦!
Hadoop集群的配置相关推荐
- 【Big Data】HADOOP集群的配置(一)
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
- 《Hadoop集群与安全》一2.1 在Hadoop集群中配置操作系统
本节书摘来自华章出版社<Hadoop集群与安全>一书中的第2章,第2.1节,作者 (美)Danil Zburivsky Sudheesh Narayanan,更多章节内容可以访问云栖社区& ...
- VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述 其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
- Hadoop的学习前奏(二)——Hadoop集群的配置
前言: Hadoop集群的配置即完全分布式Hadoop配置. 笔者的环境: Linux: CentOS 6.6(Final) x64 JDK: java version "1.7 ...
- Hadoop集群垃圾箱配置 | fs.trash.interval
启用Hadoop集群垃圾箱配置 配置参数: <property><name>fs.trash.interval</name><value>10</ ...
- Hadoop集群环境配置搭建
一.简单介绍 Hadoop最早诞生于Cutting于1998年左右开发的一个全文文本搜索引擎 Lucene,这个搜索引擎在2001年成为Apache基金会的一个子项目,也是 ElasticSearch ...
- [转载]hadoop集群默认配置和常用配置
转载自 http://www.cnblogs.com/ggjucheng/archive/2012/04/17/2454590.html, 向原作者致谢. 我基于最新版hadoop, 稍作了修改. 获 ...
- hadoop集群基本配置
软件说明 hadoop集群使用cloudera hadoop-2.5.0-cdh5.3.6 java-JDK使用jdk-8u171-linux-x64 Hive使用hive-0.13.1-cdh5.3 ...
- CentOS7.0基于hadoop集群安装配置Hive
前言 安装Apache Hive前提是要先安装hadoop集群,并且hive只需要在hadoop的namenode节点集群里安装即可(需要再有的namenode上安装),可以不在datanode节点的 ...
最新文章
- 2021-2027年中国手机壳行业现状研究及发展趋势分析报告
- 特斯拉车主成功破解了自己Model 3汽车
- Java 实现 SSH 协议的客户端登录认证方式
- 景观格局动态变化分析方法(基于ArcGIS、Fragstats、ENVI、ERDAS、Patch Analysis for ArcGIS) (2011-03-15 08:07:03)...
- 【Java源码分析】HashMap源码分析
- java 注册回调_java 实现回调代码实例
- 发现一个问题,可能是Sql Express 2005的Bug
- MS IDE 工程垃圾清理
- vim内过长字符串导致的语法加亮错误
- JavaScript之对象学习
- python装饰器详解-python装饰器的详细解析
- AtCoder Beginner Contest 223
- php+mysql案例含源码_[源码和文档分享]基于PHP和MYSQL数据库实现的失物招领系统...
- 报错:'utf-8' codec can't decode byte 0xb0 in position 0: invalid start byte
- 超简单Python画Heatmap-热力图 -plotly库
- 【黄啊码】微信小程序弹窗图片滚动
- Functional Programming in Java venkat(2) hello lambda expressions
- Fastadmin中的语言加载机制
- 鸡年生的男宝宝取什么名字好?为宝宝起名也有小技巧
- 深搜+剪枝--poj1011--拯救少林神棍
热门文章
- 奇迹服务器端套装文件夹,奇迹一条龙1.07H服务端的MuBlue.ini配置文件
- NLP-分类模型-2016-文本分类:FastText【使用CBOW的模型结构;作用:①文本分类、②训练词向量、③词向量模型迁移(直接拿FastText官方已训练好的词向量来使用)】【基于子词训练】
- SQL Server 不存在或访问被拒绝,无法连接到服务器,用户xxx登陆失败,连接超时处理方法
- 互联网图像中的像素级语义识别
- 黄金 白银T+D 盈利计算器
- 35岁的程序员:第28章,大学初体验
- 华为 2020 招聘状态查看_重点关注华为技术有限公司代表一行莅临阳光众创空间参观...
- 微信小程序-模仿绘制聊天界面
- LiveWallPaper 动态壁纸程序开发【转】
- 新手怎么开网店(网上开店注意事项及流程详解)