Hadoop高可用集群搭建-1、服务器等基础环境配置
1. 服务器集群
hostname | IP | user | password | path | os |
---|---|---|---|---|---|
spark01 | 192.168.0.201 | hadoopadmin | java | home/hadoopadmin | Ubuntu18虚拟 |
spark02 | 192.168.0.202 | hadoopadmin | java | home/hadoopadmin | Ubuntu18虚拟 |
spark03 | 192.168.0.201 | hadoopadmin | java | home/hadoopadmin | Ubuntu18虚拟 |
2. 集群规划
spark01 | spark02 | spark03 |
---|---|---|
namenode | namenode | |
DataNode | DataNode | DataNode |
zookeeper | zookeeper | zookeeper |
ResourceManage | ResourceManage | |
NodeManage | NodeManage | NodeManage |
3. 组件版本
组件 | 版本 | 下载地址 |
---|---|---|
ubuntu | ubuntu-18.04.1-live-server-amd64 | linux服务器下载地址 |
JDK | 1.8.0_181 | Jdk |
Zookeeper | zookeeper-3.4.10 | zookeeper下载地址 |
Hadoop | hadoop-2.7.5 | hadoop下载地址 |
4. 配置服务器
从此步开始,开始进行服务器基础环境配置。
为了解决机器间通信问题,hadoop部署必须要配置,提前配置是为了解决步骤5中的发送文件问题
将集群中所有的机器hostname+ip,添加到/etc/hosts,
192.168.0.201 spark01 192.168.0.202 spark02 192.168.0.203 spark03
关闭防火墙
由于不同版本的linux系统关闭防火墙方式不同,所以这里不再详细记录,具体细节安装时进行google。
ubuntu这里使用一下命令进行配置。systemctl status firewalld.service systemctl start firewalld.service
配置网卡及主机名
编辑文件/etc/sysconfig/network-scripts/ifcfg-eth0,写入如下配置(每一台机器):DEVICE="eth0" BOOTPROTO="static" IPADDR=192.168.0.201 GATEWAY=192.168.0.1 NETMASK=255.255.255.0 ONBOOT="yes"
配置主机名编辑文件/etc/sysconfig/network以及编辑文件/etc/hostname
NETWORKING=yes HOSTNAME=master1
master1
配置完成后,重启网络服务。
service network restart
配置免密登录
Linux免密登录,本质上是使用了”公钥登录”。原理很简单,就是用户将自己的 公钥 储存在远程主机上。登录的时候,远程主机会向用户发送一段 随机字符串,用户用自己的 私钥 加密后,再发回来。远程主机用事先储存的公钥进行解密,如果成功,就证明用户是可信的,直接允许登录shell,不再要求密码。- 生成本机公钥
ssh-keygen -t rsa
- 三台机器之间免密登陆只需要将每台机的公钥文件cat id_rsa.pub发送到每台机器上即可。
scp -r hadoopadmin@sprak01:/home/hadoopadmin/.ssh
- 添加本机到“authorized_keys”文件中,文件目录为/home/hadoopadmin/.ssh/。
cat id_rsa.pub >> authorized_keys
- 配置完成后使用ssh命令进行登陆,测试免密登陆是否成功(若登陆不成功,则有可能防火墙没有关闭,或者公钥配置失败)
ssh spark01
5. 拷贝,解压
根据下载链接将需要组建下载到物理机,由物理机下载到本地后,需要拷贝到三台虚拟机中,我这里编写脚本进行发送(需要先进行hosts配置以及四台机器间免密登录,参考步骤 4)
#!/bin/bash targets="spark01 spark02 spark03" for target in $targets doscp -r $1 hadoopadmin@$target:/home/hadoopadmin/ done
执行发送命令, xxx.tar.gz为各组件安装包。
./send.sh xxx.tar.gz
在所有组件安装包上传完成后,开始解压安装包。
tar -zvxf xxx.tar.gz
配置运行
- ZooKeeper集群配置部署
- Hadoop集群配置部署
- HBase集群配置部署
BB LESS,CODE MORE
Hadoop高可用集群搭建-1、服务器等基础环境配置相关推荐
- Hadoop HA高可用集群搭建(Hadoop+Zookeeper+HBase)
一.服务器环境 主机名 IP 用户名 密码 安装目录 master 192.168.142.124 root xxx /usr/hadoop-2.6.5/ slave1 192.168.142.125 ...
- Hadoop 3.1.2(HA)+Zookeeper3.4.13+Hbase1.4.9(HA)+Hive2.3.4+Spark2.4.0(HA)高可用集群搭建
目录 目录 1.前言 1.1.什么是 Hadoop? 1.1.1.什么是 YARN? 1.2.什么是 Zookeeper? 1.3.什么是 Hbase? 1.4.什么是 Hive 1.5.什么是 Sp ...
- Hadoop HA 高可用集群搭建
Hadoop HA 高可用集群搭建 一.首先配置集群信息 1 vi /etc/hosts 二.安装zookeeper 1.解压至/usr/hadoop/下 1 tar -zxvf zookeeper- ...
- mycat mysql好可用架构_想要学会MyCat高可用集群搭建,但是这些知识点却还玩不明白?...
一.集群架构 1.MyCat实现读写分离架构 在我前面的文章, 我已经讲解过了通过MyCat来实现MySQL的读写分离, 从而完成MySQL集群的负载均衡 , 如下面的结构图: 但是以上架构存在问题 ...
- RabbitMQ高级指南:从配置、使用到高可用集群搭建
本文大纲: 1. RabbitMQ简介 2. RabbitMQ安装与配置 3. C# 如何使用RabbitMQ 4. 几种Exchange模式 5. RPC 远程过程调用 6. RabbitMQ高可用 ...
- Hadoop2.0高可用集群搭建【保姆级教程】
搭载Hadoop2.0高可用集群 说明 准备 下载好所需要的文件 目录准备 虚拟机网络配置(可能会在其他文章中讲到) 文件的安装 配置环境变量 环境变量的验证 关闭防火墙 配置Hadoop高可用集群 ...
- RabbitMQ 高级指南:从配置、使用到高可用集群搭建
博主说:在项目中,通过 RabbitMQ,咱们可以将一些无需即时返回且耗时的操作提取出来,进行异步处理,而这种异步处理的方式大大的节省了服务器的请求响应时间,从而提高了系统的吞吐量. 正文 1 Rab ...
- RabbitMQ 高可用集群搭建
RabbitMQ 高可用集群搭建 1 集群简介 1.1 集群架构 当单台 RabbitMQ 服务器的处理消息的能力达到瓶颈时,此时可以通过 RabbitMQ 集群来进行扩展,从而达到提升吞吐量的目 ...
- k8s高可用集群搭建部署
简介 k8s普通搭建出来只是单master节点,如果该节点挂掉,则整个集群都无法调度,K8s高可用集群是用多个master节点加负载均衡节点组成,外层再接高可用分布式存储集群例如ceph集群,实现计算 ...
最新文章
- mega_[MEGA DEAL] Android课程的Java基础知识(61%折扣)
- idea maven PKIX path building failed
- 【Network Security!】密码攻击的原理和方法
- csc.exe的环境变量设置
- deb php7 fileinfo,linux安装php7.2扩展fileinfo
- UE4 多个static mesh合并成一个static mesh
- Kudu : NonRecoverableException: Got out-of-order key column
- mysql 安装目录配置_linux 下mysql安装,目录配置
- Linux系统启动过程分析 -转
- (02)vtk 绘制模型的外轮廓线 模型轮廓线
- 提高服务器响应时间,如何提高服务器qps
- Map 3D 2012定制和应用程序开发Webcast将于明天(6月23号)进行
- 74款android开机动画,修改Android系统开机动画
- matlab如何从视频中分离音频文件,如何从视频中分离音频文件 值得收藏
- 游戏音效的发展和制作游戏音效的意义
- mac 安装 android 系统,苹果电脑Mac系统如何安装Android模拟器?
- 海康大华等录像机、摄像头无法通过GB28181注册到LiveGBS国标平台问题排查方法
- MSDOS(MBR)和GPT磁盘分区表
- Linux 上如何清除 RAM 内存高速缓存,缓存和交换空间
- webpack合成sprite图
热门文章
- php代码提示助手,laravel自动补全助手ide-helper安置及配置
- 【2021-01-14】navicat使用ssh tunnel、密钥方式连接数据库的问题。错误:Unable to load key - unrecognised cipher name
- php上传图片并显示代码,php图片上传代码(完整版已测试)
- python数据库自动对接_如何使用Python连接MySQL建立自动化监控报表
- java程序结构_java程序的三种结构
- 关于c语言的基本知识,第二章_关于C语言的基本知识.ppt
- 分析udp数据报_Linux内核网络udp数据包发送(二)——UDP协议层分析
- linux rmp命令安装包在哪里_一文带你了解阿里云Linux服务器的基本操作
- c++语言表白超炫图形_R语言统计与绘图:组合图形布局
- Java学习笔记2.4.3 选择结构 - 多分支结构