现如今,日志已经成为了我们分析系统及相关服务的一个重要工具。而日志也具有其相对较为固定的格式以便于进行统计查询。其大致格式如下:

日期时间            主机            进程[pid]:事件内容

我们可以通过查看/var/log/message中的内容来看一下其记录的日志格式。

在Linux中,使用rsyslog来记录日志,其主要具有以下几点特性:

a、多线程进程;

b、支持UDP、TCP、SSL/TLS、RELP等多种传输协议;

c、可存储日志信息于Mysql、PGSQL、Oracle等数据库中;

d、具有功能强大的过滤器,可实现过滤日志信息中任何部分的内容;

e、可自定义输出格式;

下面我们就首先详细了解一下rsyslog程序。

1、程序相关环境;

rsyslog在CentOS发行版中为默认安装的,当然,我们也可自己手动安装,配置好yum仓库后,执行yum –y install rsyslog即可。以CentOS7为例,其生成的相关文件主要有以下这些:

配置文件:/etc/rsyslog.conf、/etc/rsyslog.d/*

主程序文件:/usr/sbin/rsyslogd

模块路径:/usr/lib64/rsyslogd/

Unit File:/usr/lib/system/system/rsyslog.service

2、程序配置文件

rsyslog的程序配置文件由以下三部分组成:

#### MODULES ####

#### GLOBAL DIRECTIVES ####

#### RULES ####

需要注意的是,每个配置段的配置选项都有严格的定义,所以我们在添加配置选项时,同样也需要严格按照配置段位置进行添加;我们主要看一下RULES段的主要配置。

RULES段的配置具有固定的格式,由三部分组成:

Facility.priority                        target

Facility即为日志传输的信道,包括auth,authpriv,cron,daemon,kern,lpr,mail,mark,news,security,user,uucp,syslog,local0-local7共20类。

priority为日志的等级,包括debug,info,notice,warn(warning),err(error),crit(critical),alert,emerg(panic)几种;

target为日志的存储方式,有以下几种:

Ø文件:将日志信息记录到指定的文件中,文件路径之前的“-”表示异步写入之意;

Ø用户:将日志事件通知给指定的用户,一般指登录到当前系统上的所有用户的终端;

Ø日志服务器:格式为@rsyslog_server,表示将日志信息发往指定的日志服务器;

Ø管道:格式为|COMMAND,表示将日志通过管道传递给命令;

了解了rsyslog之后,那么我们要如何分析日志信息呢。在图像化界面下,我们可以通过一款软件loganalyzer进行分析,其需要运行于amp环境中;下面我们就搭建一个AMP+rsyslog+loganalyzer环境;

1、安装AMP+rsyslog环境

yum –y install httpd php php-mysql mariadb-server rsyslog ryslog-mysql

2.配置mysql相关用户与数据

a、启动mysql服务

systemctl start mariadb.service

b、运行mysql初始化设置;

mysql_secure_installation

c、创建mysql数据库与账号;

mysql -u root -pmageedu

mysql> grant all on Syslog.* to ‘rsyslog’@’localhost’ identified by ‘mageedu’;

mysql> grant all on Syslog.* to ‘rsyslog’@’127.0.0.1’ identified by ‘mageedu’;

mysql> flush privileges;

3、配置rsyslog配置文件;

vim /etc/rsyslog/rsyslog.conf

在MODULES下添加:$ModLoad        ommysql

在RULES下添加:*.*                            :ommysql:127.0.0.1,Syslog,rsyslog,mageedu

4、loganalyzer相关配置;

a、解压loganalyzer安装包;

tar xf loganalyzer-3.6.5.tar.gz

b、复制解压目录下src目录至/var/www/html目录;

cp –r loganalyzer-3.6.5/src /var/www/html

c、创建软链接;

ln -sv /var/www/html/loganalyzer /var/www/html/log

d、在/var/www/html/log目录中创建config.php并修改权限为666;

cd /var/www/html/log

touch config.php

chmod 666 config.php

e、为apache用户设置acl权限;

setfacl -m u:apache:rwx /var/www/html/loganalyzer-3.6.5

f、设置防火墙并启动各服务

5、在浏览器中访问httpd服务并安装loganalyzer;

至此,我们就搭建完成了amp+rsyslog+loganalyzer服务。

原创文章,作者:luoliumeng,如若转载,请注明出处:http://www.178linux.com/53818

mysql 数据日志分析_基于mysql数据库的日志分析系统相关推荐

  1. mysql数据生产数据分析_基于MySQL玩转SQL数据分析课程 互联网数据分析师-SQL数据分析实战视频教程...

    基于MySQL玩转SQL数据分析课程 互联网数据分析师-SQL数据分析实战视频教程 课程目录 (1)SQL与数Ju分析;目录中文件数:23个 (1) 开课-课时3SQL与数Ju库的价值.flv (2) ...

  2. python微博评论情感分析_基于Python的微博情感分析系统设计

    2019 年第 6 期 信息与电脑 China Computer & Communication 软件开发与应用 基于 Python 的微博情感分析系统设计 王 欣 周文龙 (武汉工程大学邮电 ...

  3. docker中mysql数据定时备份_[Docker]MySql 定时备份

    前言 今天调整了机器的参数,要做一个备份,想到还没有做自动备份,要是数据丢了,就啥都没了.所以研究了下,使用mysqldump来定时备份mysql的数据. 分析 我这块数据库是在容器中运行的,在宿主机 ...

  4. java课程教学质量分析_基于jsp的教学质量分析辅助决策学员评估系统-JavaEE实现教学质量分析辅助决策学员评估系统 - java项目源码...

    基于jsp+servlet+pojo+mysql实现一个javaee/javaweb的教学质量分析辅助决策学员评估系统, 该项目可用各类java课程设计大作业中, 教学质量分析辅助决策学员评估系统的系 ...

  5. python微博文本分析_基于Python的微博情感分析系统设计

    基于 Python 的微博情感分析系统设计 王欣 ; 周文龙 [期刊名称] < <信息与电脑> > [年 ( 卷 ), 期] 2019(000)006 [摘要] 微博是当今公众 ...

  6. mysql数据关联查询_《MySQL数据库》关联查询

    原标题:<MySQL数据库>关联查询 一.关联查询 1.概念 在查询数据时,所需要的数据不只在一张表中,可能在两张或多张表中.这个时候,需要同时操作这些表来查询数据,即关联查询. 关联查询 ...

  7. 查看mysql数据用户权限_查看MYSQL数据库中所有用户及拥有权限

    查看user表结构 需要具体的项可结合表结构来查询 mysql> desc mysql.user; +-----------------------+---------------------- ...

  8. 查看mysql数据插入时间_[译] MySQL 最佳实践 —— 高效插入数据

    Get the dolphin up to speed - Photo by JIMMY ZHANG on Unsplash[1] 当你需要在 MySQL 数据库中批量插入数百万条数据时,你就会意识到 ...

  9. mysql数据被截断_有关Mysql数据截断问题的处理方法

    测试数据: 有一个表aritcle和另一个表article_comment,关联是article的id. 创建测试表及添加测试数据: 表1: 复制代码 代码示例: CREATE TABLE `arti ...

最新文章

  1. Shell脚本编写与应用
  2. 一文带你了解Java的命名规范!
  3. apache下php无法连接mysql问题的解决
  4. 整数点与Pick定理
  5. 从windows server的文件服务到分布式文件服务(二)
  6. mysql远程压力测试_mysql压力测试脚本实例
  7. 登录页面跳出框架的JS
  8. 初识Opserver,StackExchange的监控解决方案
  9. MCMC:Gibbs 采样(matlab 实现)
  10. 在华为三层交换机上如何实现不同vlan间的通信
  11. Win10教育版变为企业版
  12. 佛系前端面试题记录--第五周
  13. 帷幕的帷是什么意思_古时纺织什么样子?穿越时空看古代纺织发展
  14. 信息学奥赛一本通(c++):2024:【例4.10】末两位数
  15. Qt播放音乐报错DirectShowPlayerService::doSetUrlSource: Unresolved error code 0x80070002 ()
  16. 使用Huginn批量订阅微信公众号
  17. 李宏毅language课程Speach Recongition
  18. Django 新建自定义用户后无法创建表的问题
  19. 自述从被坑70000到开工作室月入100000+:我做自动项目这一年辛酸史!
  20. Elasticsearch聚合分析Java Client

热门文章

  1. python对象底层原理_Python字符串对象实现原理详解
  2. 看漫画,学电子,我居然看懂了!
  3. 长安大学研究生院计算机学院,研究生教育
  4. linux mysql 最小安装,Linux最小化安装之安装mysql
  5. python数据科学实战_Python数据科学实战第三讲作业HW4
  6. freemarker面试_面试请不要再问我Spring ,阿里架构师吐血整理,这是对“Spring家族”最完美的诠释...
  7. 二级考试java模拟考试_2017年计算机二级考试Java模拟试题及答案
  8. sql几种删除语句的联系与区别
  9. [js高手之路]原型对象(prototype)与原型链相关属性与方法详解
  10. jsp2自定义标签开篇