hadoop日常运维
hadoop日常运维
@(HADOOP)[hadoop]
(一)备份namenode的元数据
namenode中的元数据非常重要,如丢失或者损坏,则整个系统无法使用。因此应该经常对元数据进行备份,最好是异地备份。
1、将元数据复制到远程站点
(1)以下代码将secondary namenode中的元数据复制到一个时间命名的目录下,然后通过scp命令远程发送到其它机器
#!/bin/bash
export dirname=/mnt/tmphadoop/dfs/namesecondary/current/date +%y%m%d%H
if [ ! -d dirname]thenmkdir{dirname} ] then mkdir {dirname}
cp /mnt/tmphadoop/dfs/namesecondary/current/* dirnamefiscp−r{dirname} fi scp -r {dirname} slave1:/mnt/namenode_backup/
rm -r ${dirname}
(2)配置crontab,定时执行此项工作
0 0,8,14,20 * * * bash /mnt/scripts/namenode_backup_script.sh
2、在远程站点中启动一个本地namenode守护进程,尝试加载这些备份文件,以确定是否已经进行了正确备份。
(二)数据备份
对于重要的数据,不能完全依赖HDFS,而是需要进行备份,注意以下几点
(1)尽量异地备份
(2)如果使用distcp备份至另一个hdfs集群,则不要使用同一版本的hadoop,避免hadoop自身导致数据出错。
(三)文件系统检查
定期在整个文件系统上运行HDFS的fsck工具,主动查找丢失或者损坏的块。
建议每天执行一次。
[jediael@master ~]$ hadoop fsck /
……省略输出(若有错误,则在此外出现,否则只会出现点,一个点表示一个文件)……
.........Status: HEALTHYTotal size: 14466494870 BTotal dirs: 502Total files: 1592 (Files currently being written: 2)Total blocks (validated): 1725 (avg. block size 8386373 B)Minimally replicated blocks: 1725 (100.0 %)Over-replicated blocks: 0 (0.0 %)Under-replicated blocks: 648 (37.565216 %)Mis-replicated blocks: 0 (0.0 %)Default replication factor: 2Average block replication: 2.0Corrupt blocks: 0Missing replicas: 760 (22.028986 %)Number of data-nodes: 2Number of racks: 1
FSCK ended at Sun Mar 01 20:17:57 CST 2015 in 608 millisecondsThe filesystem under path '/' is HEALTHY
(1)若hdfs-site.xml中的dfs.replication设置为3,而实现上只有2个datanode,则在执行fsck时会出现以下错误;
/hbase/Mar0109_webpage/59ad1be6884739c29d0624d1d31a56d9/il/43e6cd4dc61b49e2a57adf0c63921c09: Under replicated blk_-4711857142889323098_6221. Target Replicas is 3 but found 2 replica(s).
注意,由于原来的dfs.replication为3,后来下线了一台datanode,并将dfs.replication改为2,但原来已创建的文件也会记录dfs.replication为3,从而出现以上错误,并导致 Under-replicated blocks: 648 (37.565216 %)。
(2)fsck工具还可以用来检查一个文件包括哪些块,以及这些块分别在哪等
[jediael@master conf]$ hadoop fsck /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 -files -blocks -racksFSCK started by jediael from /10.171.29.191 for path /hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 at Sun Mar 01 20:39:35 CST 2015
/hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7 21507169 bytes, 1 block(s): Under replicated blk_7117944555454804881_3655. Target Replicas is 3 but found 2 replica(s).
0. blk_7117944555454804881_3655 len=21507169 repl=2 [/default-rack/10.171.94.155:50010, /default-rack/10.251.0.197:50010]Status: HEALTHYTotal size: 21507169 BTotal dirs: 0Total files: 1Total blocks (validated): 1 (avg. block size 21507169 B)Minimally replicated blocks: 1 (100.0 %)Over-replicated blocks: 0 (0.0 %)Under-replicated blocks: 1 (100.0 %)Mis-replicated blocks: 0 (0.0 %)Default replication factor: 2Average block replication: 2.0Corrupt blocks: 0Missing replicas: 1 (50.0 %)Number of data-nodes: 2Number of racks: 1
FSCK ended at Sun Mar 01 20:39:35 CST 2015 in 0 millisecondsThe filesystem under path '/hbase/Feb2621_webpage/c23aa183c7cb86af27f15d4c2aee2795/s/30bee5fb620b4cd184412c69f70d24a7' is HEALTHY
此命令的用法如下:
[jediael@master ~]$ hadoop fsck -files
Usage: DFSck <path> [-move | -delete | -openforwrite] [-files [-blocks [-locations | -racks]]]<path> start checking from this path-move move corrupted files to /lost+found-delete delete corrupted files-files print out files being checked-openforwrite print out files opened for write-blocks print out block report-locations print out locations for every block-racks print out network topology for data-node locationsBy default fsck ignores files opened for write, use -openforwrite to report such files. They are usually tagged CORRUPT or HEALTHY depending on their block allocation status
Generic options supported are
-conf <configuration file> specify an application configuration file
-D <property=value> use value for given property
-fs <local|namenode:port> specify a namenode
-jt <local|jobtracker:port> specify a job tracker
-files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars> specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines.The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]
详细解释请见《hadoop权威指南》P376
(四)均衡器
随时时间推移,各个datanode上的块分布来越来越不均衡,这将降低MR的本地性,导致部分datanode相对更加繁忙。
均衡器是一个hadoop守护进程,它将块从忙碌的DN移动相对空闲的DN,同时坚持块复本放置策略,将复本分散到不同的机器、机架。
建议定期执行均衡器,如每天或者每周。
(1)通过以下命令运行均衡器
[jediael@master log]$ start-balancer.sh
starting balancer, logging to /var/log/hadoop/hadoop-jediael-balancer-master.out
查看日志如下:
[jediael@master hadoop]$ pwd
/var/log/hadoop
[jediael@master hadoop]$ ls
hadoop-jediael-balancer-master.log hadoop-jediael-balancer-master.out
[jediael@master hadoop]$ cat hadoop-jediael-balancer-master.log
2015-03-01 21:08:08,027 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.251.0.197:50010
2015-03-01 21:08:08,028 INFO org.apache.hadoop.net.NetworkTopology: Adding a new node: /default-rack/10.171.94.155:50010
2015-03-01 21:08:08,028 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 over utilized nodes:
2015-03-01 21:08:08,028 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: 0 under utilized nodes:
(2)均衡器将每个DN的使用率与整个集群的使用率接近,这个“接近”是通过-threashold参数指定的,默认是10%。
(3)不同节点之间复制数据的带宽是受限的,默认是1MB/s,可以通过hdfs-site.xml文件中的dfs.balance.bandwithPerSec属性指定(单位是字节)。
(五)datanode块扫描器
每个datanode均会运行一个块扫描器,定期检测本节点上的所有块,若发现存在错误(如检验和错误),则通知namenode,然后由namenode发起数据重新创建复本或者修复。
扫描周期由dfs.datanode.scan.period.hours指定,默认为三周(504小时)。
通过地址以下地址查看扫描信息:
(1)http://datanote:50075/blockScannerReport
列出总体的检测情况
Total Blocks : 1919
Verified in last hour : 4
Verified in last day : 170
Verified in last week : 535
Verified in last four weeks : 535
Verified in SCAN_PERIOD : 535
Not yet verified : 1384
Verified since restart : 559
Scans since restart : 91
Scan errors since restart : 0
Transient scan errors : 0
Current scan rate limit KBps : 1024
Progress this period : 113%
Time left in cur period : 97.14%
(2)http://123.56.92.95:50075/blockScannerReport?listblocks
列出所有的块及最新验证状态
blk_8482244195562050998_3796 : status : ok type : none scan time : 0 not yet verified
blk_3985450615149803606_7952 : status : ok type : none scan time : 0 not yet verified
尚未验证的情况如上。各字段意义可参考权威指南P379
版权声明:本文为博主原创文章,未经博主允许不得转载。
hadoop日常运维相关推荐
- mysql dba工作笔记pdf_社区专家在线:Oracle数据库、MySQL、Db2 等数据库日常运维故障与性能调优在线答疑...
数据库的重要性毋庸置疑,随着数据量日益增加,数据库的重要性更为凸显.DBA们作为数据库的日程运维管理人员,肩负着数据库运维的重要使命.一名合格的DBA,日常工作中需要掌握多项技能,包括数据库的故障诊断 ...
- 同时防服务器维修,加强服务器日常运维,避免宕机灾难发生
原标题:加强服务器日常运维,避免宕机灾难发生 服务器作为我们日常网络的支撑,可以说是24小时的全天候运转.在这种无休止的"加班"的状态下,服务器必然容易出问题,一旦发生服务器宕机就 ...
- oracle 运营维护_Oracle数据库日常运维常用脚本
大 中 小 Oracle数据库日常运维常用脚本 1 查看所有数据文件 select file_name from dba_data_files union select file_name from ...
- 资源放送丨《OGG日常运维及故障处理》PPT视频
前段时间,墨天轮邀请到云和恩墨交付总监 尹涛 分享了直播<OGG日常运维及故障处理>,在这里小编跟大家共享一下PPT和视频,供大家参考学习. Oracle Golden Gate(简称O ...
- 2场直播丨OGG日常运维及故障处理、云原生数据仓库AnalyticDB
1. OGG日常运维及故障处理 - 09/09 Oracle Golden Gate(简称OGG)提供异构环境下数据的实时捕捉.变换.投递.基于这些功能,OGG主要用于的场景包括数据实时同步.数据梳理 ...
- Linux 系统日常运维九大技能和运维网络知识总结
一.Linux 系统日常运维九大技能 1.安装部署 方式:U盘,光盘和网络安装 其中网络安装已经成为了目前批量部署的首选方式:主要工具有Cobbler和PXE+kickstart 可以参考如下链接内容 ...
- 计算机网络安全运维管理工作总结,计算机设备日常运维工作总结
1.主要工作完成情况.亮点和取得的成绩 (一) 工程项目上线 参与工程. (二) 安全运行年考核 为了提高各类计算机设备的完好率及使用率,防范科技风险,每月都会将安全运行年考核情况通报给支行,督促各支 ...
- 数据库日常运维操作手册
目 录 一.日维护过程... 3 1.1.确认所有的INSTANCE状态正常... 3 1.2.检查文件系统的使用(剩余空间)... 3 1.3.检查日志文件和trace文件记录... 3 1.4.检 ...
- [10] Linux系统日常运维
[10] Linux系统日常运维 10.1 使用w查看系统负载 [root@Temence ~]# w19:28:05 up 45 days, 9:20, 1 user, load average: ...
最新文章
- CF1081G Mergesort Strikes Back
- 为何断点不停 Application_Start()方法
- UA OPTI501 电磁波 经典电动力学中的Fourier方法基础
- 如何搭建安卓开发持续化集成环境(Ubuntu + Jenkins + SonarQube)
- OpenGL中的轨迹球问题
- 一张图看懂阿里云网络产品[十二]云企业网
- Java方法中的参数太多,第6部分:方法返回
- angular中的href=unsafe:我该怎么摆脱你的溺爱!!
- SVN中Branch/tag的比较
- Mysql学习总结(61)——MySQL优化之DBA级优化整理汇总
- ASP.NET 4.0尚未在 Web 服务器上注册 解决方法
- Flutter之Binding简单梳理
- 探秘Runtime - Runtime介绍
- python机器学习之特征值处理(sklearn)
- WZOI.CC基础题库答案向导
- 5.13 广东移动 笔试题
- c语言实现AD采样后FFT算法,实践“玩转FFT算法...任你移植”,正确AD采样及生成函数表...
- 中小学生计算机编程笔试,计算机编程笔试题
- poi导出xlsx文件后,打开报“因为文件格式或文件扩展名无效。请确定文件未损坏,并且文件扩展名与文件的格式匹配。”的解决方法
- 有道单词导入 大量有道单词 生词本 批量导入 添加 有道单词XML 背单词
热门文章
- hdu 4143 A Simple Problem 数论
- 【附可运行代码】剑指 Offer 16. 数值的整数次方
- Spring容器中导入组件方式
- Python绘制三维散点图
- java list 转 map_Java8 快速实现List转map 、分组、过滤等操作
- python制作视频播放器_Python应用03 使用PyQT制作视频播放器
- C/C++内存分配与Linux内存管理进程所涉及到的五个数据段 .
- jest java_✅使用jest进行测试驱动开发
- php查询socket数据包头,php 查询数组值php中关于socket的系列函数总结
- 类的继承和派生java_类的继承和派生