hadoop--集群时间同步(可不同步)

集群时间同步

如果服务器在公网环境（能连接外网），可以不采用集群时间同步，因为服务器会定期和公网时间进行校准；
如果服务器在内网环境，必须要配置集群时间同步，否则时间久了会产生时间偏差，导致集群执行任务时间不同步。

1.需求
找一个机器，作为时间服务器，所有的及其与这台集群时间进行定时同步，生产环境根据任务对时间的准确度要求周期同步。

2.时间服务器配置(必须root用户)

1). 查看所有节点ntpd服务状态和开机自启动状态：

[xiaobai@hadoop102 ~]$ sudo systemctl status ntpd
[xiaobai@hadoop102 ~]$ sudo systemctl start ntpd
[xiaobai@hadoop102 ~]$ sudo systemctl is-enabled ntpd

2). 修改hadoop102的ntp.conf配置：

[xiaobai@hadoop102 ~]$ sudo vim /etc/ntp.conf

修改内容如下：

a. 修改1(授权192.168.10.0-192.168.10.255网段上的所有机器可以从这台机器上查询和同步时间)

#restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

为

restrict 192.168.10.0 mask 255.255.255.0 nomodify notrap

b. 修改2(集群在局域网中，不适用其他互联网上的时间)

server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst

为

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

c. 天剑3(当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为集群中的其他节点提供时间同步)

server 127.127.1.0
fudge 127.127.1.0 stratum 10

3). 修改hadoop102的/etc/sysconfig/ntpd文件：

[xiaobai@hadoop102 ~]$ sudo vim /etc/sysconfig/ntpd

增加内容如下(让硬件时间与系统时间一起同步)

SYNC_HWCLOCK=yes

4). 重新启动ntpd服务：

[xiaobai@hadoop102 ~]$ sudo systemctl start ntpd

5). 设置ntpd服务开机启动：

[xiaobai@hadoop102 ~]$ sudo systemctl enable ntpd

3.其他机器配置(必须root用户)：

1). 关闭所有节点上ntp服务和自启动

[xiaobai@hadoop103 ~]$ sudo systemctl stop ntpd
[xiaobai@hadoop103 ~]$ sudo systemctl disable ntpd
[xiaobai@hadoop104 ~]$ sudo systemctl stop ntpd
[xiaobai@hadoop104 ~]$ sudo systemctl disable ntpd

2). 在其他及其配置1分钟与时间服务器同步一次：

[xiaobai@hadoop103 ~]$ sudo crontab -e

编写定时任务如下：

*/1 * * * * /usr/sbin/ntpdate hadoop102

3). 修改任意机器时间：

[xiaobai@hadoop103 ~]$ sudo date -s "2021-6-15 22:00:59"

4). 1分钟后查看机器是否与时间服务器同步：

[xiaobai@hadoop103 ~]$ sudo date

hadoop--集群时间同步(可不同步)相关推荐

Hadoop集群时间同步NTP
一.集群时间同步介绍当然要是图简单直接有xshell工具时间同步的方式:找一个机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间. NTP服 ...
基于OGG的Oracle与Hadoop集群准实时同步介绍
版权声明:本文由王亮原创文章,转载请注明出处: 文章原文链接:https://www.qcloud.com/community/article/220 来源:腾云阁 https://www.qclo ...
hadoop 集群时间同步
集群时间同步如果服务器在公网环境(能连接外网),可以不采用集群时间同步,因为服务器会定期和公网时间进行校准: 如果服务器在内网环境,必须要配置集群时间同步,否则时间久了,会产生时间偏差,导致集群执行 ...
hadoop集群时间同步
2019独角兽企业重金招聘Python工程师标准>>> 测试集群hosts: 192.168.64.11 master1 192.168.64.12 master2 192.168. ...
Hadoop集群搭建（三台Linux服务器）
Hadoop集群搭建(三台Linux服务器) 搭建之前注意的几点问题环境以及版本基本命令 Linux环境准备首先安装Hadoop 配置集群分发脚本克隆配置好的机器 Hadoop集群配置第一步 ...
ogg oracle 测试kafka_基于OGG的Oracle与Hadoop集群／kafka准实时同步
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段.近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍. Oracle作为商业化的数据库解 ...
大数据之-Hadoop完全分布式_集群时间同步---大数据之hadoop工作笔记0043
然后我们需要在集群中的所有机器,保持他们的时间是一样的,为什么,? 比如,我们有3台机器, a机器时间是1点 b机器时间是2点 c机器时间是3点那么如果我们设置了一个任务是要求他1点执行,那么,会出 ...
Hadoop学习之虚拟机环境配置，防火墙、selinux关闭、集群时间同步(LinuxcentOS7版本)
目录 1. 镜像文件下载 2.Linux-centOS安装第三步与第三步需在root用户下进行操作 3.虚拟机关闭防火墙 4.设置selinux 5.集群时间同步 1. 镜像文件下载 ...
Hadoop集群搭建（六：HBase的安装配置）
实验目的要求目的: 1.HBase的高可用完全分布模式的安装和验证要求: 完成HBase的高可用完全分布模式的安装: HBase的相关服务进程能够正常的启动: HBase控制台能够正常使用: ...

hadoop--集群时间同步(可不同步)

集群时间同步

hadoop--集群时间同步(可不同步)相关推荐

最新文章

热门文章