linux 脚本详解,shell脚本分析日志

需求

临时接到一个需求，需要帮忙check一下线上新老用户区分是否正确。

新老用户确认的方法：

老用户(注册4天以外)，新用户(注册4天以内)

也就是说，需要check日志中请求的时间点和注册的时间戳，相差是不是超过4天或者小于4天

日志大致如下：

2018-12-28/15:30:57 [strategy.go::xxxx.com/xxx/xxx/xxx.(*Strategy).FindStrategy] [INF] 222222222222222222:new_user_xxx_xxx_xxx, a97774397e994a4d, {"uid":"72666259","device_code":"A000007527957C","page":1,"count":3},1545982248

改掉了一些日志中的敏感信息

思路

利用grep 筛选 new_user/old_user，并将这一行日志，重定向到新的文件中

读取文件，分别提取前面的请求时间，并转化为时间戳，与这一行日志最后的时间戳对比

所以有了大致结构：

1.利用grep awk 缩小日志

2.> 将日志重定向到文本文件中

3.利用while 循环读取文件

4.字符串截取前面的时间，并转换为时间戳

5.字符串截取最后的时间戳

6.对比两个时间戳的间隔时间

脚本解析

按照上面的思路，最终脚本如下：

grep new_user /logs/engine_info.log |awk -F',' '{print $1,$3}' >new_user.txt

sleep 1

while read line;

a=${line:0:19}

#注册时间戳

timestamp=${line:0-10}

#请求时间戳

actualtime=${a/\// }

time=`date -d "$actualtime" +%s`

a=$((timestamp+345600))

#[ $time -gt $a ];echo $?

if [ $time -gt $a ];

then

echo "error"

echo $line

fi;

done

第一行，结合grep和awk、重定向，将日志输出到new_user.txt中

读取文件

a=${line:0:19}

这边是截取前面19个字符，即

2018-12-28/15:30:57

由于这个格式无法转换为时间戳，所以还需要将中间的 / 替换为空格

actualtime=${a/\// } ----结果 2018-12-28 15:30:57

然后转换为时间戳

date -d "$actualtime" +%s ------结果 1545961368

注册时间戳是日志的最后10位，再次进行截取

timestamp=${line:0-10} ----结果是1545982248

下面只对比二者之间的差距，以新用户为例，是期望注册时间是4天以内的，即时间戳相差 345600

期望请求的时间戳，比注册时间+345600 的结果要小，如果请求的时间戳比它大，那么就是错误的情况，最终逻辑如下：

a=$((timestamp+345600))

if [ $time -gt $a ];

then

echo "error"

echo $line

fi;

done

以上，所有为一次简单的日志分析实践。

linux 脚本详解,shell脚本分析日志相关推荐

linux exec 脚本之家,详解Shell脚本中调用另一个Shell脚本的三种方式
主要以下有几种方式: Command Explanation fork 新开一个子 Shell 执行,子 Shell 可以从父 Shell 继承环境变量,但是子 Shell 中的环境变量不会带回给父 ...
linux shc shell脚本_详解shell脚本加密解密软件—gzese和shc
概述以我个人的需求为例,有时写一个脚本需要传密码,如果直接把密码写在脚本里会存在安全问题,一般是把密码写在脚本里,作为参数传给脚本,而保存密码的脚本,使用某种手段加密,令其不可读但是可执行.而常用的 ...
详解Shell脚本：正则表达式
正则表达式的概念正则表达式:使用单个字符串来描述.匹配一系列符合某个句法规则的字符串由普通字符与特殊字符组成,一般用在脚本编程.文本编辑器中,如php.python.she等,简写为regex.r ...
详解shell脚本中的变量
目录一.变量的定义及存在的意义二.shell脚本中变量的定义方法 1.环境级别 2.用户级别 3.系统级别三.变量名称四.变量的转译 1.转译 2.声明 3.变量的数组五. Linux中命令 ...
在c语言中逗号运算符若不带括号,详解shell脚本括号区别--$()、$「」、$「」、$(()) 、「」、「[ 」]...
概述很多时候我们在写shell脚本的时候总会碰到不同的括号,那么这些不同的括号有什么区别呢? $() 用于命令交换说明:平时脚本用的``符号也是用于命令交换的哦,和$() 的操作是一样的 ${ } ...
linux下详解shell中/dev/null 21
前言相信大家经常能在shell脚本中发现>/dev/null 2>&1这样的语句.以前的我并没有去深入地理解这段命令的作用,照搬照用,直到上周我将这段命令不小心写成了2>& ...
详解Shell脚本：sed命令工具，awk命令工具
-----------------------------概述----------------------------------- Linux文本处理工具(以下都是命令和工具,而且只是作为展示,不能 ...
html脚本详解,HTML脚本教程详解
在线实例插入一段脚本如何将脚本插入 HTML 文档. 使用标签如何应对不支持脚本或禁用脚本的浏览器. HTML 标签标签用于定义客户端脚本,比如 JavaScript. 元素既可包含脚本语句 ...
【SA8295P 源码分析】53 - mifs.build.tmpl 脚本详解：启动QNX procnto-smp-instr微内核、启动QNX串口终端shell、加载解析并执行ifs2_la.img
[SA8295P 源码分析]53 - mifs.build.tmpl 脚本详解:启动QNX procnto-smp-instr微内核.启动QNX串口终端shell.加载解析并执行ifs2_la.img ...

linux 脚本详解,shell脚本分析日志

linux 脚本详解,shell脚本分析日志相关推荐

最新文章

热门文章