这篇文章小菌来为大家分享如何在linux环境下进行大数据集群的部署。

文章目录

一.新增linux系统
- 1.克隆虚拟机
- 2.更改系统的mac地址
- 3.更改网卡信息
- 4.重启系统生效
二.3台机器关闭防火墙
三.3台机器关闭selinux
四.3台机器更改主机名
五.3台机器给ip地址起别名
六.SCP远程文件拷贝
七.SSH远程登录
- 1.使用 ssh 基于密码的远程登录
- 2.使用 ssh 基于密匙实现免密码登录(掌握)
八.总结

一.新增linux系统

1.克隆虚拟机

2.更改系统的mac地址

vim /etc/udev/rules.d/70-persistent-net.rules

3.更改网卡信息

vim /etc/sysconfig/network-scripts/ifcfg-eth0

4.重启系统生效

reboot
重启后再重启网卡,查看当前的网卡信息，把HWADDR那一行的信息删除并把IPADDR那一行的ip修改成自己定义的ip,保存退出。

修改完毕,可以再次查看修改过的网卡信息。ip显示为自己自定义的即操作成功!

二.3台机器关闭防火墙

内网环境安全性比较高,防火墙开启会影响效率,所以关闭防火墙
克隆的三台机器执行以下的命令(root用户来执行)

    #  查看防火墙的状态service iptables status#  启动防火墙的服务service iptables start#  关闭防火墙服务service iptables stop#  彻底关闭防火墙chkconfig iptables off

三.3台机器关闭selinux

vim /etc/selinux/config 修改selinux的配置文件

注意:重启后才会生效

四.3台机器更改主机名

vim /etc/sysconfig/network 修改系统配置文件里的主机名设定

注意:重启后才会生效

五.3台机器给ip地址起别名

vim /etc/hosts
设置见下图:

#  这里以小菌的三台虚拟机配置为例, 别名设置上尽量相似,后面使用到也方便。192.168.100.111      hadoop001
192.168.100.112      hadoop002
192.168.100.113      hadoop003

六.SCP远程文件拷贝

scp 是远程文件拷贝命令

从本机拷贝文件至hadoop001(192.168.100.111)的根目录下
#   拷贝文件scp  文件名   hadoop001:/scp  文件名   192.168.100.111:/
#   拷贝目录          scp  -r  目录名 hadoop001:/scp  -r  目录名 192.168.100.111:/

七.SSH远程登录

1.使用 ssh 基于密码的远程登录

命令	含义
ssh ip地址	远程登录到指定服务器上(必须知道正确的密码)

在第三台机器上登录到第二台机器
细节:首次远程登录会询问yes/no,以后就不会了

2.使用 ssh 基于密匙实现免密码登录(掌握)

①ssh-keygen + 三个回车 在hadoop001，hadoop002，hadoop003 上面分别执行命令,产生公钥和私钥
②ssh-copy-id hadoop01 将公钥拷贝到hadoop1上面去，以此类推…把公钥拷贝到其他虚拟机上。

配置完成之后,就可以使用ssh 免密登录到其他虚拟机上了。

        注意:
        ①第一次拷贝的时候需要输入指定虚拟机的密码,另外在拷贝除了自身虚拟机公钥的时候,需要在/root/.ssh/目录下执行操作。
        ②想要查看当前虚拟机可以被哪些虚拟机免密登录,可以vim /root/.ssh/authorized_keys查看。

八.总结

大数据集群部署过程比较繁琐,第一次接触的小伙伴们还是需要勤加练习。当然，也不必担心自己学不好大数据,小菌每天都会更博,有什么问题可以在下方评论区积极留言,小菌会尽力帮助到大家的。这次的分享就到这里了，认为有用的小伙伴们不要忘了点赞加关注呀(<ゝω・)☆

Linux之集群部署(超简单!)相关推荐

云堡垒机分布式集群部署优缺点简单说明
目前云堡垒机安装部署模式主要分为单机部署.高可用集群部署以及分布式集群部署等.其中分布式集群部署就是将核心功能模块(如门户服务.会话中转服务.数据库服务等),分别部署在多个计算节点上.那采取布式集群部 ...
Linux服务器集群部署
服务器集群部署好处:组成一个小型的集群 1.性能远超一台 2.能够避免单点故障方法:nginx反向代理(服务转发) 两台nginx 主,副几个Tomcat服务器实现:高并发,高 ...
Linux服务集群部署实战--MySQL、Redis、ES、RocketMQ、Zookeeper
部署架构部署计划 MySQL服务部署架构规划部署pxc集群部署MySQL主从架构部署mycat集群创建表以及测试部署HAProxy redis集群部署 redis集群采用3主3从的架构 ...
K8S最新版本集群部署超详细（k8s版本1.5.1）docker 版本19.03.1以及基本操作和服务介绍。
更新:今天抽时间写了昨天部署的一键脚本: date:Aug 3,2019 <Kubernetes最新版本1.15.1,shell脚本一键部署,刚刚完成测试,实用.> 最近利用空闲时间,把之 ...
Kubernetes集群部署及简单命令行操作
三个阶段部署docker:https://www.cnblogs.com/rdchenxi/p/10381631.html 环境准备 [root@master ~]# hostnamectl set- ...
linux nacos集群搭建最简单最详细版
为什么要做集群,其实就是为了应用的高可用,避免一台挂了,导致应用不可用为什么要使用Ngnix因为这玩意抗揍,能支持高并发不挂机安装nacos实现持久化必须提前安装mysql和jdk环境和nginx ...
Linux Centos7 集群部署nacos2.X
快速通道上传nacos2.X 下载上传开启相应的端口单机配置集群配置预备环境准备效果修改配置端口的大坑兼容性总结完结启动(参加集群所有节点都需要启动) 本地访问注意上传n ...
【分布式任务调度】（一）XXL-JOB调度中心集群部署配置
文章目录 1.概述 2.代码编译 2.1.代码下载 2.2.初始化与编译 3.集群部署 3.1.服务启动 3.2.反向代理 4.总结 1.概述 XXL-JOB是一款轻量级的分布式任务调度中间件,默认支 ...
Linux集群部署和ipvsadm命令的使用
在日常的使用中,一台服务器足够胜任很多的工作,但是当很多人同时访问的时候就会显得稍有些无力,这个时候.可以有两种解决的方法,第一种是不断的改善这台服务器的性能,但是总是会有一个上限存在,而且提升的效果 ...

Linux之集群部署(超简单!)