搭建大数据集群linux服务器配置步骤
1、IP设置
使用下面命令修改添加示例内容
命令:
vi /etc/sysconfig/network-scripts/ifcfg-ensXX
修改添加的内容示例:
BOOTPROTO=static
IPADDR=192.168.1.100
NETMASK=255.255.255.0
GATEWAY=192.168.1.1
DNS1=8.8.8.8# 设置开机启动网卡
ONBOOT=yes
重启网络服务
service network restart
2、关闭防火墙
在root用户下执行以下命令关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
3、关闭selinux
在root用户下执行以下命令,修改如下内容,关闭selinux。
命令:
vim /etc/selinux/config
修改添加的内容示例:
SELINUX=disabled
4、机器更改主机名
root用户执行使用下面命令,添加下面主机名
命令。
vim /etc/hostname
修改、添加的内容示例:
node01.book.com
5、主机名与IP地址映射
使用root用户,添加所有需要的主机名与IP地址映射。
命令:
vim /etc/hosts
修改、添加内容示例:
192.168.1.100 node01.book.com node01
192.168.1.101 node02.book.com node02
192.168.1.102 node03.book.com node03
6、机器同步时间
root用户执行以下命令定时同步阿里云服务器时间
命令:
# 安装ntpdate
yum -y install ntpdate
# 添加定时任务
crontab -e
修改、添加内容示例:
*/1 * * * * /usr/sbin/ntpdate time1.aliyun.com
7、机器添加普通用户
服务器统一添加普通用户xxxx,这里我是用book。并给以sudo权限,用于以后所有的大数据软件的安装并统一设置普通用户的密码为 xxxxx。
# 添加用户book
useradd book
# 设置book用户密码,会输入
passwd book
为普通用户添加sudo权限
命令:
visudo
修改、添加内容示例:
book ALL=(ALL) ALL
8、定义统一目录
linux服务器软件压缩包存放目录,以及解压后安装目录,所有机器执行以下命令,创建两个文件夹,一个用于存放软件压缩包目录,一个用于存放解压后目录
# 软件压缩包存放目录
mkdir -p /book/soft
# 软件解压后存放目录
mkdir -p /book/install
# 将文件夹权限更改为book用户
chown -R book:book /book
9、安装jdk
注意:请使用book用户,即你自己创建的用户,使用xshell等连接客户端请换用户重新连。
使用book用户来重新连接三台机器,然后使用book用户来安装jdk软件==上传压缩包到第一台服务器的/book/soft下面,然后进行解压,配置环境变量即可,三台机器都依次安装即可
cd /book/soft/tar -zxvf jdk-8u261-linux-x64.tar.gz -C /book/install/
sudo vim /etc/profile#添加以下配置内容,配置jdk环境变量
export JAVA_HOME=/book/install/jdk1.8.0_261
export PATH=:$JAVA_HOME/bin:$PATH
可以使用如下命令将安装包发送到另外两台服务器上
scp -r /book/install/jdk1.8.0_261 node02:$PWD
10、用户免密码登录
所有机器在book用户下执行以下命令生成公钥与私钥
ssh-keygen -t rsa
三台机器在book用户下,执行以下命令将公钥拷贝到node01服务器上面去
ssh-copy-id node01
node01在book用户下,执行以下命令,将authorized_keys拷贝到node02与node03服务器
cd /home/book/.ssh/
scp authorized_keys node02:$PWD
scp authorized_keys node03:$PWD
11、关机重启
机器在root用户下执行以下命令,实现关机重启
reboot -h now
或者
shutdown -r now
注意:这里注意在设置网络的时候一定要配置开机启动网卡,不然xshell连接的客户端执行重启命令后,即使服务器已经启动了,但没有启动网卡连不上。
# 设置开机启动网卡
ONBOOT=yes
搭建大数据集群linux服务器配置步骤相关推荐
- 大数据集群Linux环境配置
目录 网卡配置 主机名配置 防火墙配置 SeLinux配置 SSH免密互连配置 透明大页配置 文件句柄数配置 磁盘挂载配置 主机时间配置 操作系统作为上层软件的基础,稳定性非常重要,建议在选择操作系统 ...
- 基于cloudera搭建大数据集群(docker)记录
1.安装docker 安装最新稳定版的 # step 1: 安装必要的一些系统工具 sudo yum install -y yum-utils device-mapper-persistent-dat ...
- 关于在真实物理机器上用cloudermanger或ambari搭建大数据集群注意事项总结、经验和感悟心得(图文详解)...
真实物理机器搭建 不能上述虚拟机里创建用户方式了.要如下操作: ubuntu和windows一样,可以任意创建或者删除新的用户,windows下比较简单,ubuntu下需要使用命令,不过操作起来不是很 ...
- 纯手动搭建大数据集群架构_记录011_搭建Nifi_安装部署_搭建集群---大数据之Hadoop3.x工作笔记0172
可以看到左侧,把nifi安装包先上传到服务器,然后,去解压,一样放到opt/software目录,然后解压到/opt/module目录 然后去修改这个配置文件nifi.properties,然后 然后 ...
- 小知识点:ARM 架构 Linux 大数据集群基础环境搭建(Hadoop、MySQL、Hive、Spark、Flink、ZK、Kafka、Nginx、Node)
换了 M2 芯片的 Mac,以前 x86 版本的 Linux 大数据集群基础环境搭建在 ARM 架构的虚拟机集群上有些用不了了,现在重新写一份基于 ARM 架构的,少数不兼容之外其他都差不多,相当 ...
- 大数据集群搭建全部过程(Vmware虚拟机、hadoop、zookeeper、hive、flume、hbase、spark、yarn)
大数据集群搭建进度及问题总结 所有资料在评论区那里可以得到 第一章: 1.网关配置(参照文档) 注意事项:第一台虚拟机改了,改为centos 101 ,地址为192.168.181.130 网关依然是 ...
- 1、大数据集群搭建之----jdk安装和zookeeper集群安装
这里废话不多说,上来就干.(如果配置不成功或遇到问题,可以留言,共同解决问题) 我的百度网盘里面有所有的用到的软件,永久有效无加密. https://pan.baidu.com/s/1pqW6bHxh ...
- 【大数据集群搭建-Apache】Apache版本进行大数据集群各组件环境部署
[大数据集群搭建-Apache]Apache版本进行大数据集群各组件环境部署 1)大数据环境统一 1.1.设置主机名和域名映射 1.2.关闭服务器防火墙和Selinux 1.3.服务器免密登陆 1.4 ...
- 大数据集群搭建(一)虚拟机和Centos6的安装
文章目录 1.安装虚拟机 2.安装Centos6 3. Centos系统的网络配置 3.1关于IPADDR地址的由来: 4.将搭建好的虚拟机克隆出四台 4.1给四台节点配置独立的IP地址和主机名 1. ...
最新文章
- R语言自定义多分类混淆矩阵可视化函数(mutlti class confusion matrix)、R语言多分类混淆矩阵可视化
- Java方法调用事件_Java中的事件处理和Java中actionPerformed方法的执行
- C++设计模式--观察者模式(Observer)
- 安装phpstudy之后发现80端口被占用
- c# ui 滚动 分页_UI备忘单:分页,无限滚动和“加载更多”按钮
- java设计模式 订阅模式_Java中的复合设计模式
- npm ERR! the command again as root/Administrator
- ROS学习笔记(八): ROS通信架构
- AppList.json文件为空,主界面清缓存后加载后还正常显示
- 调整自己,必须调整自己了
- 弱电工程综合布线施工过程控制
- 也说上海女孩的嗲----
- 《一舞醉红尘,一笑歌岁月》
- Love for music
- 阿里云 apt软件云。ubuntu16 17适用
- 深信服EDR终端检测平台-任意用户登录漏洞复现
- Capto2022中文版一款适用Mac屏幕录制编辑软件
- 2021计算机专业考研科目,2021年考研计算机考试科目
- 一个极简操作系统的代码实现
- wordpress插件开发01-原理讲解
热门文章
- 百度网盘免费提速下载(另推荐两个最近很火的网盘)
- C:volatile 和 内存屏障(dmb)
- 专栏 | “芯片漏洞”堪比“千年虫”,危险级别之高、影响面之大前所未有,能顺利解决吗?
- 如何和领导沟通的三种技巧,你学会了几种?
- 淘淘商城第113讲——生成订单
- 基于微信小程序云开(统计学生信息并导出excel)3.0版
- 从语音切入直播,但红豆live的野心不只是语音
- 总结拼多多,美团JAVA面试经验,成功收获美团,小米offer
- oracle透明网关访问sqlserver_汽车之家从 SQL Server 到 TiDB 的异构变迁
- 安川机器人焊枪切换设定方法_安川机器人焊枪使用注意事项