为什么80%的码农都做不了架构师？>>>   

引言：

一提强拉脚本，也许很多人觉得很简单，监控下现在进程在不在，不在就拉起来，三两句shell搞定

是的，大体是如此简单的。但这里所介绍的强拉监控脚本比上面这个稍稍复杂些。

背景：

公司某业务重新做，积累多年，由多人轮换维护过的日志工作需要交接，很多机器到了退役期，宕机，进程抗不住挂掉，磁盘满服务没法用，各种问题不断涌来，光处理这些问题已经耗费太多精力，何谈优化，重构... 于是就得先把尽可能繁琐的运维工作hold住，在很难短期内熟悉的情况下，强拉脚本不失为一种有效的选择。

需求：

监控进程，如果不存在则启动之，如果宕机，则重启后依然能够拉起进程。

分析：

宕机恢复必然使用crontab，监控要么常驻进程循环，要么定时启动，依然离不开crontab。

使用：

如何路径下执行，一个脚本，两个函数，两个参数

crontab添加: * * * * * /data2/slog/bin/deamon_crontab.sh checkScript=/data2/slog/bin/check_proxy_stat.sh failCheckAction=/data2/slog/bin/restart_proxy_stat.sh rtx=peterguo

参数

checkScript：检查脚本，退出0表示检查成功，否则失败，失败则执行failCheckAction所示脚本

failCheckAction：失败后动作脚本，执行成功则

rtx:告警收信息人姓名（自省修改是手机还是rtx）

备注：

参数中的脚本必须使用绝对路径，否则后果自负（比如你使用了rm *）

参数中的脚本必须符合“成功exit0，否则非零”的原则，否则报警多了不负责

体验1：（日志生成在与监控脚本同目录，名为： deamon_crontab.run.log）

检查脚本返回成功，直接退出

./deamon_crontab.sh checkScript=/bin/date failCheckAction=/bin/date rtx=你的rtx

检查脚步返回失败，执行后续动作成功

./deamon_crontab.sh checkScript=/proc/meminfo failCheckAction=/bin/date rtx=你的rtx

检查脚步返回失败，执行后续动作失败，rtx提示

./deamon_crontab.sh checkScript=/proc/meminfo failCheckAction=/proc/meminfo rtx=你的rtx

上脚本：

#! /bin/bash    #####################################################
#name           : deamon_crontab.sh
#note           : to deamon some process and execuate some action
#date           : 2013.01.10
#author         : <peterguo@tencent.com>
####################################################   CurFullScript=$(readlink /proc/$$/fd/255)
CurScriptPath=$(dirname $CurFullScript)
CurScriptName=$(basename $CurFullScript)
FullParam=$*
CurPid=$$
IPS=$(/sbin/ifconfig | grep "inet addr" | grep -v "127.0.0.1" | awk '{print $2}' | cut -c 6- | awk '{printf("%s ", $0)}')
CurRunLog=$(dirname $CurFullScript)/$(echo $CurScriptName | cut -d . -f1).run.log   AnotherProcessNum=$(ps -ef | grep $CurScriptName | grep -v $CurPid | grep -v grep | wc -l)
if [ $AnotherProcessNum -ne 0 ];
then       echo "Another process is running, exit "       exit 1
fi   #If exist, import some basic shell function, here colorEcho
source ~/bin/basicfunction.sh 2>/dev/null
if [ $? -eq 1 ];
then   function colorEcho(){   colorFmtTail='\033[m'  greenFmtHead='\033[1;32m'  echo -e ${greenFmtHead}${2}${colorFmtTail}   }
fi   function usage(){   colorEcho red "Usage : /path/$(basename $0) checkScript=/data/check.sh failCheckAction=/data/restart.sh rtx=rtxguo"  colorEcho red "Note  : 1.checkScript[0-succ other-fail] 2.failCheckAction[execuat onlyif checkScript fail] 3.assert script full path from / and exist"  echo ""  exit 1
}   #Reslove the param, format name=value -> $name and check parameter validation
echo $* | grep checkScript | grep failCheckAction 2>/dev/null
[[ $? -ne 0 ]] && {
usage
}   eval "valTmp=Temp $*" 2>/dev/null
paramValid=$?   [[ "x" == "x$checkScript" ]] && {
paramValid=$(( $paramValid + 1 ))
}
echo ${checkScript}x | grep ^/ >/dev/null 2>&1
paramValid=$(( $paramValid + $? ))
ls ${checkScript} >/dev/null 2>&1
paramValid=$(( $paramValid + $? ))   [[ "x" == "x$failCheckAction" ]] && {
paramValid=$(( $paramValid + 1 ))
}
echo ${failCheckAction}x | grep ^/ >/dev/null 2>&1
paramValid=$(( $paramValid + $? ))
ls ${failCheckAction} >/dev/null 2>&1
paramValid=$(( $paramValid + $? ))   if [ $# -ne 3 ] || [ $paramValid -ne 0 ];
then   usage
fi
chmod +x $checkScript $failCheckAction 2>/dev/null   #Enter Execuate path
cd $CurScriptPath  #Display the Current Environment Values
echo "[$CurPid][$CurScriptPath][$CurScriptName][$FullParam]"  function runScript(){
strCommand=$1
$strCommand
return $?
}   colorEcho green "------------------------------check output begin -------------------------------------"
runScript $checkScript
checkRet=$?
colorEcho green "------------------------------check output end ---------------------------------------"  if [ $checkRet -eq 0 ];
then   colorEcho green "$(basename $0):$LINENO Check PASS [$(date +"%Y-%m-%d %H:%M:%S")]"    colorEcho green "$(basename $0):$LINENO Check PASS [$(date +"%Y-%m-%d %H:%M:%S")]" >> $CurRunLog
else  colorEcho red "$(basename $0):$LINENO Check FAIL [$(date +"%Y-%m-%d %H:%M:%S")]"  colorEcho red "$(basename $0):$LINENO Check FAIL [$(date +"%Y-%m-%d %H:%M:%S")]" >> $CurRunLog  colorEcho green "------------------------------failaction output begin -------------------------------------"  #execuate action script   runScript $failCheckAction     actionRet=$?   colorEcho green "------------------------------failaction output end ---------------------------------------"  [[ $actionRet -ne 0 ]] && {   colorEcho red "ERROR: Check Fail and Action Fail"  /usr/bin/env sendrtx peterguo $rtx ERROR "[deamon-monitor-error][$IPS:$CurFullScript:$LINENO][@peterguo]" 0   exit 1   colorEcho red "$(basename $0):$LINENO Action FAIL [$(date +"%Y-%m-%d %H:%M:%S")]"    colorEcho red "$(basename $0):$LINENO Action FAIL [$(date +"%Y-%m-%d %H:%M:%S")]" >> $CurRunLog  }   colorEcho red "$(basename $0):$LINENO Action PASS [$(date +"%Y-%m-%d %H:%M:%S")]"    colorEcho red "$(basename $0):$LINENO Action PASS [$(date +"%Y-%m-%d %H:%M:%S")]" >> $CurRunLog
fi