摘要:MapReduce Service 集群使用NTP进行时钟同步。本文简要介绍了MapReduce Service集群NTP机制及NTP的配置方式。

本文分享自华为云社区《MapReduce Service更换集群外部时钟源》,作者:tangyuxiaobao29。

MapReduce Service 集群NTP机制

1、FusionInsight的主OMS节点向NTP外部时钟源同步

2、所有业务节点向OMS主节点同步

基于上述原理可以看出,实际上整个集群都是最终向NTP时钟源同步的,这样做的最大好处是:无论何时,整个集群内的时钟始终都是与主OMS同步的,至少保证了集群内节点时钟同步。如果外部ntp时钟源没任何问题,那么整个集群也是与外部ntp时钟源同步的!

MapReduce Service 配置NTP服务器实现说明

一、安装FusionInsight Manager阶段配置NTP服务器

FusionInsight Manager安装配置文件install.ini中通过ntp_server_ip参数设置外部NTP时钟服务器IP地址。该参数可选。
当不设置该参数,系统默认使用主管理节点作为NTP服务器。安装后主oms节点ntp状态

集群内非主oms节点ntp状态

当设置该参数且存在多个NTP服务器,需要以英文逗号隔开各IP,如192.168.34.185。安装后主oms节点ntp状态

集群内非主oms节点ntp状态不变

二、安装后更换集群NTP服务器

1、操作场景

安装FusionInsight Manager管理系统后,如果未配置NTP服务器或已配置的NTP不再使用,管理员可以为集群重新指定或者更换新的NTP服务器,使集群从新的NTP时钟源同步时间。

2、对系统的影响

更换NTP服务器是高危操作,更换后集群时间可能将会变化。
更换NTP服务器前NTP服务器与集群当前时间偏差大于150s,则需先停止集群,防止数据丢失。停止集群期间服务无法访问。

3、前提条件

已准备新的NTP服务器并获取IP地址,并设置好集群与新NTP服务器的网络。请确保服务器的NTP服务状态正常,否则将导致操作失败。
IPv4组网的集群只支持配置IPv4网络的外部时钟源,IPv6组网的集群只支持配置IPv6网络的外部时钟源。
如果集群使用IPv4模式,外部时钟源只能用IPv4地址;如果集群使用IPv6模式,外部时钟源只能用IPv6地址。

4、操作步骤

1.登录FusionInsight Manager,查看是否存在未清除的告警

•是,请参见“故障管理”修复告警。告警处理完毕后,执行2。
•否,执行2。

2.使用omm用户分别登录主备管理节点。

3.在主管理节点执行以下命令查看管理平面网关。

cat ${BIGDATA_HOME}/om-server/OMS/workspace/conf/oms-config.ini | grep om_gateway

4.在主备管理节点分别执行ping 管理平面网关,检查节点是否与管理平面网关连通

•是,执行5。
•否,请联系网络管理员修复网络故障,处理完毕后,执行5。

5.在主管理节点执行以下命令,检查集群时间与新的NTP服务器时间偏差。单位为秒。

例如,检查与NTP服务器“192.168.34.185”的时间差,执行ntpdate -d 192.168.34.185,界面显示:

其中0.034136表示时间偏差。正数表示NTP服务器时间比集群当前时间快,负数表示NTP服务器时间比集群当前时间慢。

6.检查时间偏差的绝对值是否超过“150S”。

•是,执行7。
•否,时间偏差的绝对值不超过“150”,以omm用户执行9。

7.确认是否可以停止集群。

•是,停止上层业务并停止集群,然后执行8。
•否,任务结束。

8.确认NTP服务器时间是否比集群当前时间慢

•是,NTP服务器时间慢,停止集群界面显示“操作成功”后需等待,间隔大约为5得到的时间偏差,再以omm用户执行10。
•否,NTP服务器时间快,停止集群界面显示“操作成功”后直接以omm用户执行10。

9.在主管理节点执行以下命令,更换NTP服务器,任务结束。

sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip 192.168.34.185

执行完毕后检查ntp状态

10.在主管理节点执行以下命令,从NTP服务器“192.168.34.185”立即强制同步时间并更换NTP服务器,任务结束。

sh ${BIGDATA_HOME}/om-server/om/bin/tools/modifyntp.sh --ntp_server_ip 192.168.34.185 --force_sync_time
说明
•NTP服务器IP地址不可以设置为集群内节点IP地址,否则可能会导致节点与主备oms节点业务网络断连。
•当前最多允许配置2个NTP服务器以主备方式提供服务,可以用“,”将不同服务器分开
•如果停止了集群,在更换NTP服务器后需要重新启动集群。
•未执行强制同步时间命令时,大约以200ms/h的速率进行时间同步。
•执行强制同步时间命令后,集群节点大约需要5分钟完成时间同步。

点击关注,第一时间了解华为云新鲜技术~

MapReduce Service更换集群外部时钟源,仅需10步相关推荐

  1. MapReduce:大型集群上的简单数据处理

    MapReduce :大型集群上的 简单数据处理 摘要 MapReduce是一个设计模型,也是一个处理和产生海量数据的一个相关实现.用户指定一个用于处理一个键值(key-value)对生成一组key/ ...

  2. Kubernetes的三种集群外部访问方式及使用场景说明:NodePort、LoadBalancer和Ingress

    Kubernetes的三种外部访问方式:NodePort.LoadBalancer和Ingress 最近有些同学问我 NodePort,LoadBalancer 和 Ingress 之间的区别.它们都 ...

  3. 对K8s集群外部ElasticSearch集群监控实战

    一.监控ElasticSearch集群 实际使用中仅使用资源监控和异常报警是远远不够的,还需要监控各类基础组件,如ElasticSearch.RabbitMQ等,并根据实际使用情况,对资源监控进行分类 ...

  4. 在线安装K3S集群-外部数据库

    我这里用的系统环境是 centos7.6 使用的集群配置为: 1核2G 一.环境准备 如下 非必须 的也可以不操作 确保是一台干净的 CentOS7 服务器. 开放端口(需要在安全组中放开一些必须的端 ...

  5. 【数据平台】Eclipse+MapReduce开发环境(集群运行模式)

    Eclipse+MapReduce开发环境 集群部署centos+jdk1.8+Hadoop2.7.2: 开发端windows+Eclipse Mars.1 Release (4.5.1) 1)had ...

  6. Redis集群cluster环境(快速搭建过程10分钟)

    安装环境CentOS Linux release 7.5.1804 (Core) 如果服务器没有连接网络,请按步骤自行百度其离线方式 话不多说,开整!!! 一.安装redis #下载至/home/in ...

  7. [Java实战][仅需1步]企业微信群机器人[0基础接入]

    [仅需1步]企业微信群机器人[0基础接入][java] 背景 介绍 使用 测试 项目 背景 公司需要把日常的服务器错误抛到企业微信群中,我正好记录下使用企业微信群机器人- 介绍 企业微信群机器人 应用 ...

  8. HDP2.5更换集群IP

    场景: linux centos6.9 Ambari + HDP + Kerberos 目前集群节点有3个,运行一切正常.由于客户ip发生变化,需要统一将原先的ip全部替换. 注:首先将dataNod ...

  9. Tomcat集群应用同步 —— 源码分析

    文章目录 前言 一.应用同步的配置与实现原理 二.应用同步源码分析 三.如何获取集群的节点列表 四.通讯模块Tribe 五.集群的Session同步 六.集群的Session共享 总结 前言 相信大家 ...

最新文章

  1. NFS 文件共享的创建过程
  2. php最常见代码,PHP常见算法合集代码实例
  3. java opencv 调用摄像头_opencv C++实现调用摄像头动态识别人脸
  4. pta函数统计素数并求和_关于求和的4种函数公式,此文讲透了,尤其是第4种,绝对的高效...
  5. 云原生:重新定义信息产业生态体系
  6. Flash 组件应用与开发
  7. IBASE change and save - Middleware related
  8. centos7 yum安装maven_Centos7.3安装Maven私服nexus-3.x
  9. 量子计算在秘密分析中的应用【会议】
  10. 公布 | 中国图象图形学学会首批Fellow名单公布
  11. Unity3D:Graphics.BlitMultiTap方法
  12. python表达式3 2 3的值为_Python3中的表达式运算符
  13. Centos7 中查找文件、目录、内容
  14. 突然!锤子科技天猫官方旗舰店商品全线下架 店铺撤店?!
  15. python快速求EXCEL数据权重
  16. 利用python进行数据分析—五、pandas入门
  17. mysql 月份去0_mysql 查询每个月发布的文章数。月份无数据显示为0。如何写SQL呢...
  18. 计算机第三课细心小编辑教案,教案-第6课小小编辑师
  19. 【Java用法】@NotEmpty、@NotBlank、@NotNull注解的使用方法与区别
  20. 用 python 脚本,把当前目录及子目录下的 wav 音频文件转换为 flac 格式

热门文章

  1. Bootstrap 字体图标Glyphicons
  2. es6 Object.assign()方法
  3. android 通过图片url获取宽高_通过 URL 获取图片宽高优化
  4. 每次点击添加css动画,div点击添加css动画
  5. linux pivot root,[mydocker]---通过例子理解chroot 和 pivot_root
  6. Django使用本机IP无法访问,使用127.0.0.1能正常访问
  7. 前端判断是否为空字符窜
  8. 【机器学习】一般线性回归
  9. Servlet简单实现请求分发(类thinkphp5)
  10. 【转】Linux编程之UDP SOCKET全攻略