CDH大数据平台搭建之虚拟环境配置

前言
一、虚拟机网络配置
- 1.配置ip地址
- 2.验证配置是否成功
二、关闭防火墙
- 1.防火墙命令
- - 2.禁用防火墙
三、虚拟机主机名配置
- 1.临时配置主机名
- - 2.永久配置主机名
四、配置域名解析
五、新建大数据用户
- 1.新建用户
- 2.配置普通用户sudo权限
- 3.验证
六、SSH免秘钥登录
- 1.生成秘钥
- 2.copy公钥到其他机器上
- 3.验证
七、配置ntp时间同步
- 1.检查安装
- 2.安装ntp
- 3.配置ntp
- 4.开启同步
八、新建大数据文件夹
- 1.新建文件夹
- 2.修改所有者
总结

前言

搭建大数据平台需要配置好虚拟网络环境，其中包括通外网、主机名、ssh面密钥登陆、ntp时间同步等。

一、虚拟机网络配置

1.配置ip地址

在配置ip地址的时候先弄清楚VMware网卡的ip地址
电脑上键盘win + r输入cmd回车，在命令行输入ipconfig，找到 VMnet8的ip网段
如下截图（由于我自定义了ip地址，故显示如下）：

虚拟机网络配置，需要<font color=red >root用户登录
执行编辑网卡命令：vi /etc/sysconfig/network-scripts/ifcfg-eth0

将下列配置覆盖原有内容，切记ip和网关需要换VMnet8的网段

DEVICE=eth0  # 网卡名称
ONBOOT=yes  # 开机自启动
BOOTPROTO=static  # 静态ip
IPADDR=10.192.8.195   # ip地址
NETMASK=255.255.255.0  # 子网掩码
GATEWAY=10.192.8.2  # 网关
DNS1=114.114.114.114  # DNS

2.验证配置是否成功

完成以上操作后，需要重启网卡，验证是否能通外网
执行命令：service network restart
重启后执行：ping www.baidu.com
能ping通百度，那么恭喜你配置完成了

二、关闭防火墙

1.防火墙命令

1、查看防火墙状态：service iptables status
2、启动防火墙：service iptables start
3、关闭防火墙：service iptables stop
4、重启防火墙：service iptables restart

2.禁用防火墙

1、禁用防火墙：chkconfig iptables off
2、开机自启防火墙：chkconfig iptables on

三、虚拟机主机名配置

1.临时配置主机名

临时配置主机名称，执行命令：hostname 你定义的主机名

2.永久配置主机名

永久配置执行编辑文件命令：vi /etc/sysconfig/network
然后将HOSTNAME=你定义的主机名

四、配置域名解析

执行编辑命令：vi /etc/hosts
在末尾追加格式：ip地址 主机名称
所及机器全部配置了，具体如下图：

五、新建大数据用户

1.新建用户

新建用户：useradd 用户名
设置密码：passwd 用户名

2.配置普通用户sudo权限

1、root用户先给文件编辑权限：chmod u+w /etc/sudoers
2、添加一行：用户名          ALL=(ALL)       NOPASSWD: ALL

3.验证

1、切换普通用户
2、sudo service network restart

六、SSH免秘钥登录

1.生成秘钥

1、切换普通用户（大多数操作都是基于普通用户完成）
2、执行命令：ssh-keygen -t rsa
3、一路回车执行完

2.copy公钥到其他机器上

执行命令：ssh-copy-id 需要ssh登录的主机名

3.验证

ssh 需登录的主机名

七、配置ntp时间同步

1.检查安装

执行命令：sudo rpm -qa | grep ntp

2.安装ntp

执行命令：sudo install -y ntp

3.配置ntp

一、执行编辑命令：sudo vi /etc/ntp.conf 1、需要注释以下内容(主从节点都要)：restrict default kod nomodi fy notrap nopeer noqueryrestrict-6 default kod nomodi fy notrap nopeer noqueryserver 0.centos pool.ntp.org 1 burstserver 1.centos pool.ntp.org iburstserver 2.centos pool.ntp.org iburstserver 3.centos pool.ntp.org iburst二、主节点1、添加一个允许同步的ip网段：restrict 10.192.8.0 mask 255.255.255.0 nomodify notrap2、添加同步主机server ntp1.aliyun.com   #时间同步服务器server  127.127.1.0    # local clockfudge   127.127.1.0 stratum 10三、从节点1、添加主节点为同步主机server 10.192.8.191 #同步主节点IP，我主节点在120这台机器上server  127.127.1.0 # local clockfudge   127.127.1.0 stratum 10四、所有节点添加配置
#日志文件
logfile /var/log/ntp.log
#防止时差太大ntp直接挂掉
tinker  panic  0

4.开启同步

1、开启ntp同步：sudo service ntpd start
2、设置开机自启：sudo chkconfig ntpd on
3、主节点手工同步时间服务器时间：sudo ntpdate ntp1.aliyun.com
4、从节点手工同步主节点时间：sudo ntpdate 10.192.8.191
5、查看同步状态：ntpstat
6、查看同步链接是否生效：ntpq -p
7、查看时间：date +"%Y-%m-%d %H:%M.%S"

八、新建大数据文件夹

1.新建文件夹

1、sudo mkdir -p /opt/datas /opt/modules /opt/tools

2.修改所有者

1、sudo chown 用户名:用户名 -R /opt/datas /opt/modules /opt/tools

总结

以上所有的配置是搭建大数据平台所需完成的，由于是学习使用，除ssh免秘钥外，可以一次性配置好，比如：域名解析可以配置搭建大数据平台所需的全部机器。对于上述配置好了之后，直接通过克隆虚拟机，然后改下ip地址以及主机名，5台机器克隆完后，再做ssh免秘钥登录。到此搭建大数据平台的机器和环境都有了。

CDH大数据平台搭建之虚拟环境配置相关推荐

CDH大数据平台搭建之VMware及虚拟机安装
CDH大数据平台搭建-VMware及虚拟机安装前言一.下载所需框架二.安装(略) 三.安装虚拟机 1.新建虚拟机(按照操作即可) 总结前言搭建大数据平台需要服务器,这里通过VMware +C ...
CDH大数据平台搭建之SPARK集群搭建
CDH大数据平台搭建之SPARK集群搭建一.安装规划二.下载三.安装及配置 1.解压 2.修改配置文件四.启动五.JPS检查节点一.安装规划参考CHD大数据平台搭建之集群规划二.下载 ...
CDH大数据平台搭建之KAFKA集群搭建
CDH大数据平台搭建之KAFKA集群搭建一.安装规划二.下载KAFKA 三.安装及配置 1.先安装zookeeper 2.解压 3.新建文件夹 4.修改config目录server.propert ...
CDH大数据平台搭建之FLUME安装
CDH大数据平台搭建之FLUME安装一.下载二.安装及配置 1.解压 2.重命名文件夹 3.修改配置文件一.下载 1.官网下载 2.网盘下载提取码:cdh5 备注:官网下载的是apache版本 ...
CDH大数据平台搭建之集群规划
CDH大数据平台搭建之集群规划前言一.集群规模二.集群规划总结前言话说无规矩不成方圆,搭建CDH大数据平台之前需要的工作很多,首先,你需要计算公司每日的数据量,来确定需要多少服务器,确定好 ...
CDH大数据平台搭建之JDK安装
CHD大数据平台搭建之JDK安装一.安装JDK 1.下载JDK 2.安装JDK 3.检查是否安装成功一.安装JDK 1.下载JDK 1.JDK8官网下载 2.提供百度网盘供大家下载,提取码:cdh ...
大数据平台搭建及集群规划
CDH大数据平台搭建之集群规划_码上_成功的博客-CSDN博客_cdh集群规划大数据Hadoop分布式集群部署(详细版)_arnoldmp的博客-CSDN博客_分布式集群部署大数据平台的硬件规划. ...
大数据基础——Hadoop大数据平台搭建
文章目录前言 Hadoop大数据平台搭建一．Hadoop原理和功能介绍二．Hadoop安装部署三．Hadoop常用操作总结前言分布式机器学习为什么需求大数据呢?随着海量用户数据的积累,单 ...
基于Ambari的大数据平台搭建
同CDH部署类似,步骤分为ambari的部署和hdp的部署,先以1台为例(内存>6G,磁盘划分/至少40G,/data/10G),后续节点可以通过扩容方式加入集群,可参考:https://blo ...

CDH大数据平台搭建之虚拟环境配置

CDH大数据平台搭建之虚拟环境配置

前言

一、虚拟机网络配置

1.配置ip地址

2.验证配置是否成功

二、关闭防火墙

1.防火墙命令

2.禁用防火墙

三、虚拟机主机名配置

1.临时配置主机名

2.永久配置主机名

四、配置域名解析

五、新建大数据用户

1.新建用户

2.配置普通用户sudo权限

3.验证

六、SSH免秘钥登录

1.生成秘钥

2.copy公钥到其他机器上

3.验证

七、配置ntp时间同步

1.检查安装

2.安装ntp

3.配置ntp

4.开启同步

八、新建大数据文件夹

1.新建文件夹

2.修改所有者

总结

CDH大数据平台搭建之虚拟环境配置相关推荐

最新文章

热门文章