hadoop集群环境搭建准备工作
一定要注意hadoop和linux系统的位数一定要相同,就是说如果hadoop是32位的,linux系统也一定要安装32位的。
准备工作:
1 首先在VMware中建立6台虚拟机(配置默认即可)。这是我们的集群规划:
主机名 |
IP |
安装的软件 |
运行的进程 |
itcast11 |
192.168.1.201 |
jdk、hadoop |
NameNode、DFSZKFailoverController |
itcast12 |
192.168.1.202 |
jdk、hadoop |
NameNode、DFSZKFailoverController |
itcast13 |
192.168.1.203 |
jdk、hadoop |
ResourceManager |
itcast14 |
192.168.1.204 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
itcast15 |
192.168.1.205 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
itcast16 |
192.168.1.206 |
jdk、hadoop、zookeeper |
DataNode、NodeManager、JournalNode、QuorumPeerMain |
2 点击VMware快捷方式,右键打开文件所在位置 -> 双击vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 设置网段:192.168.1.0 子网掩码:255.255.255.0 -> apply -> ok
回到windows --> 打开网络和共享中心 -> 更改适配器设置 -> 右键VMnet1 -> 属性 -> 双击IPv4 -> 设置windows的IP:192.168.1.110 子网掩码:255.255.255.0 -> 点击确定
在虚拟软件上 --My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
(这一步每一台都要分别设置,重启后生效)
3 修改主机名
vim /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=itcast ### %这个地方是主机名
(这一步每一台都要分别设置)
4修改IP
两种方式:
第一种:通过Linux图形界面进行修改(强烈推荐)
进入Linux图形界面 -> 右键点击右上方的两个小电脑 -> 点击Edit connections -> 选中当前网络System eth0 -> 点击edit按钮 -> 选择I.204Pv4 -> method选择为manual -> 点击add按钮 -> 添加IP:192.168.1.119 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply
第二种:修改配置文件方式(屌丝程序猿专用)
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static" ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.1.119" ###
NETMASK="255.255.255.0" ###
GATEWAY="192.168.1.1" ###
(这一步每一台都要分别设置)
5修改主机名和IP的映射关系
vim /etc/hosts
192.168.1.201 itcast11
192.168.1.202 itcast12
192.168.1.203 itcast13
192.168.1.204 itcast14
192.168.1.205 itcast15
192.168.1.206 itcast16
(该文件每一台机器上都要改,也可以改完一台机器然后发送给其他机器)
6关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
(这一步每一台机器上都要做!很重要!)
7 ssh免登陆设置(以itcast11到其他5台机器为例)
cd /root/.ssh
7.1 生成密钥
ssh-keygen -t rsa
7.2 依次设置到其他机器免登陆(将公钥拷贝给其他机器)
ssh-copy-id -i itcast12
8安装jdk,配置环境变量,关于如何安装jdk请参考linux下安装jdk
9重启Linux
reboot
至此,准备工作完成
接下来进行的是zookeeper集群的部署,具体请参照hadoop集群环境搭建之zookeeper集群的安装部署
转载于:https://www.cnblogs.com/xiaohua92/p/5467844.html
hadoop集群环境搭建准备工作相关推荐
- 大数据 -- Hadoop集群环境搭建
首先我们来认识一下HDFS, HDFS(Hadoop Distributed File System )Hadoop分布式文件系统.它其实是将一个大文件分成若干块保存在不同服务器的多个节点中.通过联网 ...
- CDH版本Hadoop集群环境搭建详解
CDH版本Hadoop集群搭建 1.CDH版本hadoop重新编译 1.1 为什么要编译? 1.2 编译环境的准备 1.3 进行编译 2.CDH版本的zookeeper环境搭建 2.1 zookeep ...
- Hadoop集群环境搭建之伪分布式搭建流程
关防火墙 1.首先关闭window防火墙 service iptables status 查看Linux 防火墙状态 service iptables stop 关闭Linux防火墙 chkconfi ...
- hadoop集群环境搭建
参考文章: https://www.linuxidc.com/Linux/2016-02/128149.htm https://blog.csdn.net/circyo/article/details ...
- Hadoop集群环境搭建(超详细)
目录 1 实验环境 2 实验准备 3 配置SSH免密登录 4 Hadoop安装与配置 1 实验环境 Oracle Linux 7.4 JDK 1.8 Hadoop 2.7.4 2 实验准备 1.实验准 ...
- Java+大数据开发——Hadoop集群环境搭建(二)
1. MAPREDUCE使用 mapreduce是hadoop中的分布式运算编程框架,只要按照其编程规范,只需要编写少量的业务逻辑代码即可实现一个强大的海量数据并发处理程序 2. Demo开发--wo ...
- 大数据第一天 Hadoop01-入门集群环境搭建
Hadoop01-入门&集群环境搭建 今日内容 Hadoop的介绍 集群环境搭建准备工作 Linux命令和Shell脚本增强 集群环境搭建 大数据概述 大数据: 就是对海量 ...
- hadoop1.2.1+zookeeper3.4.6+hbase0.94集群环境搭建
hadoop集群环境搭建 参考前面的hadoop集群搭建文档,搭建了三个服务器的集群如下 feixu-master namenode, secondaryNamenode, jobtracke ...
- Hadoop 2.x 完全分布式HA集群环境搭建
Hadoop 2.x 完全分布式HA集群环境搭建 目录 Hadoop 2.0 环境搭建 前提:环境准备 第一步:修改hadoop-env.sh配置文件,配置好JAVA_HOME环境变量 第二步:修改h ...
最新文章
- 《OpenCV3编程入门》学习笔记6 图像处理(一)线性滤波:方框滤波、均值滤波、高斯滤波
- (014)java后台开发之用tomcat发布自己的javaWeb项目
- Spring事务传播
- k8s之service服务(微服务)
- 几个有用的ASP Function
- 延迟开学?这些教育读书公众号可以帮助孩子学习! 你都关注了吗?
- Linux文件基本操作
- c#中Excel数据的导入、导出
- mysql内置时间函数大全_MySQL 的时间函数 大全
- 从汇编层次理解malloc函数
- Android Q 下拉状态栏快捷开关解析
- 二保焊接中有送丝问题,怎么解决?
- maven报错cannot reconnect
- RPG Maker mv框架代码解析之Sprite_Button
- NIOS II 内核使用 之 代码保存FLASH(EPCSX芯片)
- HTML九宫格-表格面板
- 关于使用AccountManager的remove删除Android帐号的细节
- autojs安卓免root实现备份当前文件夹脚本
- 万法简史(肯威尔伯)
- 益普生携手海王星辰,布局大健康领域