深圳大数据培训技术分享:Hadoop集群同步
深圳大数据培训技术分享:Hadoop集群同步
分享——是技术突飞猛进的很好体验!在千锋学习大数据技术,开始学会了分享,班里五十个人,每个人就能得到49份不同技术探讨。每次到分享的时刻,总会收获不同的想法,今天千锋大数据培训学员给大家带来的技术分享是——Hadoop集群同步。
一、同步方式
选择一个机器,作为时间服务器(这里选择hadoop01),所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间。
二、所需工具
时间同步服务器有两个:ntpd和ntpdatp。虽然使用二者都能达到时间同步的目的,但是使用之前得弄清楚一个问题,ntpd与ntpdate在更新时间时有什么区别。ntpd不仅仅是时间同步服务器,它还可通过客户端与标准时间服务器进行时间同步,而且是平滑同步,并非ntpdate立即同步,在生产环境中慎用ntpdate,也正如此两者不可同时运行。
三、具体操作步骤
时间服务器配置
(1)检查ntp是否安装。 [root@hadoop01 Desktop]# rpm -qa|grep ntp如果显示 ntp-4.2.6p5-1.el6.centos.x86_64 . fontpackages-filesystem-1.41-1.1.el6.noarch
ntpdate-4.2.6p5-1.el6.centos.x86_64则证明ntp已经安装,否则要先安装ntp服务。[root@hadoop01 Desktop]# yum install -y ntp.
(2)修改ntp 配置文件[root@hadoop01 Desktop]# vi /etc/ntp.conf. 先配置客户端的授权,也就是给指定的机器(客户端)设置访问NTP Server的权限,这是通过restrict配置项实现的。将#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap释放。改为restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap.如果集群是在一个封闭的局域网内,可以屏蔽掉默认的server。
将server 0.centos.pool.ntp.org iburst.server 1.centos.pool.ntp.org iburst.
server 2.centos.pool.ntp.org iburst.server 3.centos.pool.ntp.org iburst屏蔽改为
#server 0.centos.pool.ntp.org iburst.#server 1.centos.pool.ntp.org iburst.#server 2.centos.pool.ntp.org iburst.#server 3.centos.pool.ntp.org iburst.将本机的本地时钟作为时间供给源,这样,即便它失去网络连接,它也可以继续为网络提供服务增加server 127.127.1.0 fudge 127.127.1.0 stratum.修改/etc/sysconfig/ntpd 文件
[root@hadoop01 Desktop]# vim /etc/sysconfig/ntpd增加SYNC_HWCLOCK=yes之后重启ntpd,[root@hadoop01 Desktop]# service ntpd restart,设置ntpd开机默认启动[root@hadoop01 Desktop]# chkconfig mtpd on。完成以上操作以后,使用date命令查看系统时间与当前时间是否对应,如果还不对应,应该是时区的问题。修改时区[root@hadoop01 Desktop]# tzselect。根据提示选择正确的时区,然后将cp /usr/share/zoneinfo/Asia/Shanghai设置为到/etc/localtime的链接
[root@hadoop01 Desktop]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
四、其他机器配置
配置每十分钟与时间服务器同步一次
需要在集群中其他的机器中都编写时间同步脚本,这里以hadoop02为例,[root@hadoop02 Desktop]# crontab –e. */10 * * * * /usr/sbin/ntpdate hadoop01
重启crond服务。 [root@hadoop02 Desktop]# service crond restart。如果需要,同样要修改时区,操作同上。
到此,分享结束,欢迎大家一起探讨学习!
深圳大数据培训技术分享:Hadoop集群同步相关推荐
- 好程序员大数据培训技术分享:Hadoop集群同步
为什么80%的码农都做不了架构师?>>> 好程序员分享:Hadoop集群同步分享--是技术突飞猛进的很好体验!在好程序员学习大数据技术,开始学会了分享,班里五十个人,每个人就能 ...
- 深圳大数据培训:大数据技术可以解决哪些问题?
深圳大数据培训:大数据技术可以解决哪些问题? 去年,大数据专业成为很多高校爆款专业,比如复旦,中南等.为什么如此多的大学开设此专业?学习它之后能解决哪些问题?以后它会应用在哪些工作岗位上? 一. 为什 ...
- 深圳大数据培训:HDFS基本概念
深圳大数据培训:HDFS基本概念 1.1 HDFS的介绍 源自于Google的GFS论文 发表于2003年10月 HDFS是GFS克隆版 ,HDFS的全称是Hadoop Distributed Fil ...
- 深圳大数据培训:大数据开发之掌握Hive的静态分区与动态分区
深圳大数据培训:大数据开发之掌握Hive的静态分区与动态分区 分区是hive存放数据的一种方式.将列值作为目录来存放数据,就是一个分区. 这样查询时使用分区列进行过滤,只需根据列值直接扫描对应目录下的 ...
- hdp对应hadoop的版本_好程序员大数据学习路线分享hadoop的知识总结
大数据学习路线分享hadoop的知识总结,Hadoop的背景:原生公司是apache, cdh的cloudar公司,hortworks公司提供hdp. 其中apache的发行版本大致有1.x ,2.x ...
- 深圳大数据培训:好程序员大数据学习路线之hive 存储格式
深圳大数据培训:好程序员大数据学习路线之hive 存储格式 好程序员大数据学习路线之hive存储格式,hive的存储格式通常是三种:textfile . sequencefile . rcfile . ...
- 如何用形象的比喻大数据的技术生态Hadoop、Hive、Spark 之间是什么关系?
最近我的同学给我发了一篇特别有意思的关于大数据的技术生态Hadoop.Hive.Spark 关系的解读文章.个人觉得非常有意思,通俗易懂,我转载到这里,希望大家一起学习. Luis 大数据 255 人 ...
- 好程序员大数据笔记之:Hadoop集群搭建
好程序员大数据笔记之:Hadoop集群搭建在学习大数据的过程中,我们接触了很多关于Hadoop的理论和操作性的知识点,尤其在近期学习的Hadoop集群的搭建问题上,小细节,小难点拼频频出现,所以,今天 ...
- 深圳大数据培训:Transformation算子演示
深圳大数据培训:Transformation算子演示 val conf = new SparkConf().setAppName("Test").setMaster("l ...
最新文章
- 手机端部署的超分机器学习模型-MobiSR
- Day 4:PredictionIO——如何创建一个博客推荐器
- Citrix、Microsoft、VMware虚拟桌面之网页接口登录对比
- 漂亮的jQuery tab选项卡插件
- C|C++中的静态全局变量,静态局部变量,全局变量,局部变量的区别
- 31 天重构学习笔记14. 分离职责
- 开源游戏引擎哪家强?八款知名引擎资料够你忙
- 软件测试睡眠原理,睡眠测试的原理是什么_蜗牛睡眠的原理是什么 怎么检测的睡眠情况...
- 模拟器安装 xposed
- 安装dataX的问题,com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe
- 常见视频封装格式(3) — MP4
- IE7绿色版下载-转载
- grpc 源码阅读之 balancer
- 【单片机】【数码管】数码管显示
- SAP 批量修改或添加BOM组件
- python 自动化微信小程序_干货 | 微信小程序自动化测试最佳实践(附 Python 源码)...
- asp.net 将中文翻译成拼音(VS2008)
- 世界主要货币英文缩写
- 私有和公开IP地址的区别是什么?
- 汇编语言王爽-实验9
热门文章
- 【window10】解决任务管理器有进程无法强制结束情况
- class函数 python_python中class函数如何使用
- Goproxy-优秀的开源代理工具
- 基于站点休眠的中继网络动态节能拓扑控制
- 计算机科学类学术论文,计算机科学与技术学院申请博士学位发表学术论文的规定(2008.9上网)...
- 软件项目管理Follow Me--如何进行项目估算
- 仿生学计算机pdf,基于仿生学的计算智能系统论文.pdf
- iapp退出软件按钮代码_昆仑通态软件应用(23):酒店触摸屏点菜系统的设计(案例)...
- 垃圾分类与AI的反碎片之旅
- 酷讯的今天应引起创业者警醒