监控hdfs坏块脚本

最近发生了一次因为hdfs的坏块导致的hive计算问题，因此写了个监控脚本用来监控hdfs的坏块，脚本如下：

#!/usr/bin/python

# -*- coding: utf8 -*-

#edit by ericni

#20140724

#monitor hdfs corrupt

import sys

import property

import sendmail

import re,os

reload(sys)

sys.setdefaultencoding('utf-8')

if __name__ == "__main__":

corruptlist = []

cmd = "hadoop fsck -list-corruptfileblocks"

re = os.popen(cmd)

result = re.readlines()

print result

for line in result:

if "blk_" in line and ".Trash" not in line:

#if "blk_" in line:

corruptlist.append(line)

if len(corruptlist) != 0:

mailcontent = """

<meta http-equiv="Content-Type" content="text/html";charset=utf-8>

<title>Hadoop集群坏块监控</title>

<style type="text/css">

body { font-size: 14px; color: #333;background-color: #fff;}

td { border: 1px solid #C1DAD7;padding:"4px 10px"; line-height: 24px;}

table {border-collapse: collapse; width: 96%s;}

.divtd {color:#E28E40;}

.divcss5{ color:#F00;}

</style> """%("%")

mailcontent += """

<p style="margin: 0; padding: 5px 0; line-height: 28px; font: bold 18px/1.5;">坏块数量 %s，具体信息如下：</p>

<div>

<table style="border-collapse: collapse; width: 96%s;">

<tbody>

<tr>

<td><div class="divtd">序号</div></td>

<td><div class="divtd">块号</div></td>

<td><div class="divtd">文件信息</div></td>

</tr>

"""%(str(len(corruptlist)),"%")

id = 1

for clist in corruptlist:

print "blkid is " + clist.split()[0] + " file is " + clist.split()[1]

mailcontent += """

<tr>

"""

mailcontent += """<td><div>%s </div></td>""" % id

mailcontent += """<td><div>%s </div></td>""" % clist.split()[0]

mailcontent += """<td><div>%s </div></td>""" % clist.split()[1]

mailcontent += """

</tr>

"""

id = id + 1

mailcontent += "</tbody></table></div>"

print mailcontent

mailto = ['ericni.ni@xxxxx']

subject = "Haddop集群坏块监控"

sendmail.send_mail_withoutSSL(subject,mailcontent.encode('utf-8'),mailto)

本文转自菜菜光 51CTO博客，原文链接：http://blog.51cto.com/caiguangguang/1532988，如需转载请自行联系原作者

监控hdfs坏块脚本相关推荐

利用RMAN检测数据库坏块的脚本
虽然我们也可以通过dbv(db file verify)工具做到对单个数据文件的坏块检测,但是直接使用RMAN的"backup validate check logical database ...
ORA-01578和ORA-26040--NOLOGGING操作引起的坏块-错误解释和解决方案(文档ID 1623284.1)...
ORA-01578和ORA-26040--NOLOGGING操作引起的坏块-错误解释和解决方案(文档ID 1623284.1) (一)NOLOGGING操作引起的坏块(ORA-01578和ORA-26 ...
linux系统硬盘坏道,如何在 Linux 系统下检测硬盘上的坏道和坏块
在 Linux 上使用坏块工具检查坏道坏块工具可以让用户扫描设备检查坏道或坏块.设备可以是一个磁盘或外置磁盘,由一个如 /dev/sdc 这样的文件代表. 首先,通过超级用户权限执行 fdisk 命 ...
检测raid类型和磁盘坏道脚本
#!/bin/sh #脚本功能: #安装工具MegaCli64 #Host Information:主机名和ip地址 #Raid Information:raid信息和充电状态 #WARNING In ...
Oracle corrupt block（坏块）详解
转自:http://blog.csdn.net/tianlesoftware/article/details/5024966 一. 坏块说明 1.1 相关链接在看坏块之前,先看几个相关的链接,在后面 ...
linux系统检测硬盘物理损坏,linux系统下检测硬盘上的坏道和坏块
linux系统下检测硬盘上的坏道和坏块发布时间:2020-02-28 22:22:57 来源:51CTO 阅读:1127 作者:赤练挚爱磁盘坏道检测当磁盘出现以下情况:io wait 无故增高或 ...
linux系统硬盘坏道,linux系统下检测硬盘上的坏道和坏块
磁盘坏道检测当磁盘出现以下情况:io wait 无故增高或居高不下: 硬盘声音突然由原来的摩檫音变成了怪音: 系统无法正常启动,出现"IO error"等提示信息: mkfs时, ...
ORACLE表有逻辑坏块时EXPDP导出报错排查
某用户反馈EXPDP导出脚本异常中断,接入排查后发现导出某表时报错,后台ALERT日志中也有相应报错:最终确认排查为逻辑坏块问题,经沟通得知为某个时间段的备份表,后续排除此表后重新设置EXPDP脚本, ...
硬盘坏块监测linux,Linux上检测硬盘上的坏道和坏块
Linux上检测硬盘上的坏道和坏块让我们从坏道和坏块的定义开始说起,它们是一块磁盘或闪存上不再能够被读写的部分,一般是由于磁盘表面特定的物理损坏或闪存晶体管失效导致的. 磁盘坏道分为三种: 0磁道坏 ...
导出坏块表oracle,obj$坏块情况下exp导出单个表解决方案
在前面一篇(obj$坏块exp不能执行原因探讨)已经研究了在obj$出现坏块的情况下,导致exp导出单个表不能成功的原因,这篇给出解决方案 1.重新创建exu81javt视图 SQL> CREA ...

监控hdfs坏块脚本

监控hdfs坏块脚本相关推荐

最新文章

热门文章