点击(此处)折叠或打开

1. 建议阅读顺序：主循环->ping_ip函数，critical_ip函数，ok_ip函数。（从后往前看）
2. #!/bin/bash
3. ##############################################################################
4. # 日期   : 2011-10-15
5. # 作者   : xiaoxi227
6. # Email : xiaoxi227@163.com
7. # QQ    : 451914397
8. # 脚本功能 ： PING所有正在使用中的IP，判断所ping的IP是否挂掉，如果挂了，则进行自动恢复。
9. # 调用关系 ： 计划任务，每2分钟执行1次。
10. # 其他说明 ： 本脚本需要/bin/ipsearch作为数据来源，所ping的IP全取自于该脚本。
11. ##############################################################################
12. # 重启某台机器时，将其主机名填入下行引号内，可暂时取消对该主机的检测。
13. # Note:引号内不要有空格
14. ignored_host=""
15. # 例如： ignored_host="d016"
16. # 去除忽略主机列表中的空白字符
17. ignored_host=$(echo $ignored_host | sed -r 's/[[:space:]]+//g')
18. source /etc/rc.d/init.d/corporation_functions  # 公司的函数库，下面用到时我会进行说明
19. function ok_ip()  # 当IP可以ping通时调用此函数
20. {
21. [ $# -ne 3 ] && {
22. echo "Usage: $FUNCNAME <ip> <hostname> <nic name>" >&2
23. return
24. }
25. local ip=$1
26. local hostname=$2
27. local nic=$3
28. # 如果$downfile存在说明改IP已挂，现在是从故障状态恢复。
29. [ -f $downfile ] && {
30. # 读取该IP挂掉时的时间
31. downtime=$(date +%s --date="$(head -1 $downfile)")
32. current_time=$(date +%s)
33. time_interval=$(($current_time-$downtime))
34. msg="Recovery:${hostname}:${nic}($ip) is up.Total down time:$time_interval seconds"
35. send_msg "$msg"
36. send_msn_msg "$msg"
37. rm -f $downfile
38. }
39. # downfile不存在说明该IP正常，什么也不用做。
40. }
41. function critical_ip()
42. {
43. [ $# -ne 3 ] && {
44. echo "Usage: $FUNCNAME <ip> <hostname> <nic name>" >&2
45. return
46. }
47. local ip=$1
48. local hostname=$2
49. local nic=$3
50. local nic_to_ssh="domain.com" # ssh已实现无密码登录
51. # downfile文件的格式：第一行：IP挂掉的时间。第二行：还可以发送报警的次数
52. # 如果该IP挂了，则发送报警信息，但是最多只发送10次，避免信息风暴。
53. # 实现方式是：每次发送一条报警信息读将计数器减一，计数器为0后就不再发送
54. if [ -f $downfile ];then
55. downtime=$(date +%s --date="$(head -1 $downfile)")
56. send_msg_times=$((sed -ne '2p' $downfile))
57. sed -i "2c$(($send_msg_times-1))" $downfile
58. else
59. downtime="$datetime"
60. send_msg_times=10
61. echo -e "${downtime}\n$send_msg_times" >> $downfile
62. fi
63. if [ $send_msg_times -gt 0 ];then
64. msg="警告:${hostname}:${nic}($ip) is down at 【${downtime}】。"
65. msg="$msg 丢包率100%，正在尝试自动恢复。"
66. [ x"$nic" = x"eth1" ] && nic_to_ssh="internal.domain.com"
67. # 一个网卡挂了，测试另一个是否也挂了
68. lost_rate=`ping -c 8 -w 8 ${hostname}.${nic_to_ssh} \
69. | grep 'packet loss' \
70. | awk -F'packet loss' '{ print $1 }' \
71. | awk '{ print $NF }' \
72. | sed 's/%//g'` # ping 8次
73. # 如果另一个网卡丢包不是100%说明没挂，那么ssh过去重启挂掉的网卡
74. if [ $lost_rate -ne 100 ];then
75. ssh ${hostname}.${nic_to_ssh} -- ifdown $nic
76. ssh ${hostname}.${nic_to_ssh} -- ifup $nic
77. else
78. msg="警告、紧急警告：亲、${hostname}内外网卡全挂，请马上查看"
79. send_msg "$msg"
80. send_msn_msg "$msg"
81. fi
82. fi
83. }
84. function ping_ip()
85. {
86. # 函数功能：判断ping指定的IP是否丢包。
87. #          若不丢包、调用OK函数处理；
88. #          若丢包100%，说明IP已挂掉，此时调用critical函数处理。
89. #          否则直接发送一个通知，告知Op刚才ping丢包，但是网卡没挂，需要注意。
90. if [ $# -ne 1 ];then
91. echo "Usage: $FUNCNAME <ip_address>" >&2
92. return
93. else
94. local ip=$1
95. fi
96. # 判断当前检测的IP是内网(eth0)IP还是外网(eth1)IP？
97. echo $ip | grep -q '192.168.36.'
98. if [ $? -eq 0 ];then
99. nic='eth0'
100. else
101. nic='eth1'
102. fi
103. hostname=$(grep $ip /bin/ipsearch | awk '{ print $3 }') # 获取该IP对应的主机名
104. # 如果在忽略列表里什么也不干直接返回。
105. if [ x"$hostname" = x"$ignored_host" ];then continue;fi
106. # ping 8次
107. lost_rate=`ping -c 8 -w 8 $ip | grep 'packet loss' \
108. | awk -F'packet loss' '{ print $1 }' \
109. | awk '{ print $NF }' | sed 's/%//g'`
110. if [ $lost_rate -eq 0 ];then
111. ok_ip $ip $hostname $nic
112. elif [ $lost_rate -lt 100 ];then
113. msg="提醒:${hostname}:${nic}($ip)网络状况不佳."
114. msg="$msg Ping at 【$datetime】丢包率${$lost_rate}%，"
115. msg="$msg 此状态下程序不会重启网卡，请留意网络状况。"
116. send_msg "$msg"
117. send_msn_msg "$msg"
118. # $datetime是当前时间，send_msg和send_msn_msg是发送短信和msn消息的函数
119. else
120. critical_ip $ip $hostname $nic
121. fi
122. }
123. #############################################################################
124. # 前面都是函数，主进程从下面开始
125. # 从/bin/ipsearch这个文件里拿出所有要监控的IP地址
126. for ip in `grep "==>" /bin/ipsearch | grep -v null | awk '/==>/{ print $1 }'`
127. do
128. # 有多少个IP就在后台开多少子进程，并行检测，如果IP过多，请勿这样操作，以免把机器跑挂。
129. (
130. # 如果该IP挂了，会把跟这个IP有关的一些信息记录到$downfile这个文件里
131. export downfile=/tmp/${ip}.down.yangmingzhi.do.not.delete.tmp
132. # 调用ping ip的函数，检测当前IP是否能ping通。
133. ping_ip $ip
134. )&
135. done