Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统
为什么80%的码农都做不了架构师?>>>
前言:
随着实时分析技术的发展及成本的降低,用户已经不仅仅满足于离线分析。目前我们服务的用户包括微博、微盘、云存储、弹性计算平台等十多个部门的多个产品的日志搜索分析业务,每天处理约32亿条(2TB)日志。哈哈 以上都是新浪的信息~不是我们小公司的分析业务规模。
当然为了使得运行在客户端的软件有良好的体验,并且得到有用的数据,我们需要对这些系统产生的数据,进行统计和分析,这个过程通常包括数据采集,清洗,建模,分析,报表等。接下来在本篇文章中,将会构建一个基于logstash,redis,elasticSearch,kibana的一套数据收集分析的系统。
平台架构:
nginx作为前端服务器 生成业日志,logstash实时的从业务日志中数据数据(可以进行响应的过滤,一个Logstash进程可以有多个输入源,所以一个Logstash进程可以应付一台服务器上的所有日志),然后把数据输入到redis中,redis只做消息队列不对消息做处理和存储(Redis是Logstash官方推荐的Broker角色“人选”,支持订阅发布和队列两种数据传输模式),然后redis会把数据转给elasticSearch(同时可以对错误信息进行过滤 发送邮件提醒),elasticSearch会对数据做存储,索引(基于Lunce),再kibana中建立对elasticSearch的链接,实时的抓取索索引后的数据,这样数据就可以实时的进行展示,通过一些数据组装,查询条件,得到我们想要的结果(可以通过各种方式例如图表,表格,折线图等显示)
效果展示:
再看一下以前我们是如何查看日志的:
线上日志逐个tail+grep
编写脚本,下载某个时间范围内的全部日志到本地再搜索
tail+grep或者把日志下载下来再搜索,可以应付不多的主机和不多的应用部署场景。但对于多机多应用部署就不合适了。这里的多机多应用指的是同一种应用被部署到几台服务器上,每台服务器上又部署着不同的多个应用。可以想象,这种场景下,为了监控或者搜索某段日志,需要登陆多台服务器,执行多个tail -F和grep命令。一方面这很被动。另一方面,效率非常低,数次操作下来,你心情也会变糟。是不是看的眼花料哦乱~
系统版本 阿里云 centos 6.5 64位
软件版本 (版本更新频繁并且各个软件之间兼容性有问题,主要是elk之间的,经测试一下版本可以使用)
logstash-2.1.1,elasticsearch-2.1.0,redis-2.8.4,kibana-4.3.1-linux-x64
一、安装logstash
linux下 直接 wget https://download.elastic.co/logs ... gstash-2.1.1.tar.gz
然后解压 tar -zxvf logstash-2.1.1.tar.gz 即可。
二、安装elasticsearch
linux下安装elasticsearch :http://www.52itstyle.com/thread-20114-1-1.html
三、安装 redis
linux下redis安装和使用:http://www.52itstyle.com/thread-20084-1-1.html
四、安装kibana
linux下安装kibana:http://www.52itstyle.com/thread-20127-1-1.html
以上软件 启动方式见链接。
这里主要说一下 如何收集Tomcat异常日志:
一、比如我们的日志 放在tomcat/log目录下 异常日志格式为
52itstyle_error.2016-03-01.txt #异常信息
二、编写logstash shipper 收集日志信息
input {file {type => "tomcat_itstyle"tags => [ "tomcat_error", "log4j" ]path => "/tomcat7/log/*error*.txt"}
}
filter {if [type] == "tomcat_itstyle" {grok {match => { "message" => "(?m)%{TIMESTAMP_ISO8601:logtime}"}}multiline {pattern => "^[^\[]"what => "previous"}mutate {split => ["message", "|"]}}
}
output {stdout {codec => rubydebug }redis {host => "127.0.0.1"port => 6379data_type => "list"key => "logstash-tomcat-error"password => "123456"db => 0}
}
二、编写logstash indexer整理日志信息
input {redis {host => "127.0.0.1"port => 6379data_type => "list"key => "logstash-tomcat-error"type => "redis-input"password => "123456"db => 0}
}
output {elasticsearch { hosts => ["127.0.0.1:9200"] }exec {#发送错误日志 到指定邮件command => "echo '%{@timestamp} %{type}: %{message}' | mail -s tomcat_error_message 345849402@qq.com"}
}
分别启动 indexer 和 shipper
切换到 logstash/bin 下执行一下命令
./logstash -f indexer.conf &
./logstash -f shipper .conf &
转载于:https://my.oschina.net/52love/blog/628513
Logstash+Redis+Elasticsearch+Kibana+Nginx搭建日志分析系统相关推荐
- elk + kafka 简单搭建日志分析系统
elk + kafka 简单搭建日志分析系统 文介绍使用ELK(elasticsearch.logstash.kibana) + kafka来搭建一个日志系统. 想象一下淘宝,它可以对不同的用户实现推 ...
- ELK 搭建日志分析系统 + Zipkin服务链路追踪整合
一.需求描述 在分布式系统中,日志跟踪是一件很令程序员头疼的问题,在遇到生产问题时,如果是多节点需要打开多节点服务器去跟踪问题,如果下游也是多节点且调用多个服务,那就更麻烦,再者,如果没有分布式链路, ...
- ELK学习3_使用redis+logstash+elasticsearch+kibana快速搭建日志平台
日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情 监控系统的运行状况 统计分析,比如接口的调用次数.执行时间.成功率等 异常数 ...
- SS00014.elasticsearch——|HadoopElasticSearch集中式日志分析系统.v14|——|Elasticsearch.v14|
一.Filebeat ### --- Filebeat~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题, ~~~ 因为Logstash是Java语言编写, ~~~ 所 ...
- SS00003.elasticsearch——|HadoopElasticSearch集中式日志分析系统.v03|——|Elasticsearch.v03|
一.Elasticsearch 集群环境准备 ### --- hadoop01~03修改系统配置:修改/etc/sysctl.conf~~~ # 修改/etc/sysctl.conf [root@ha ...
- 干货实战|基于Elastic Stack的日志分析系统
Elastic Stack简介 Elastic Stack是Elastic公司旗下的一系列软件总称,包括Elasticsearch.Logstash.Kibana和Beats.Elasticsearc ...
- Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台
Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台 日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...
- 小白玩大数据日志分析系统经典入门实操篇FileBeat+ElasticSearch+Kibana 实时日志系统搭建从入门到放弃
大数据实时日志系统搭建 距离全链路跟踪分析系统第二个迭代已经有一小阵子了,由于在项目中主要在写ES查询\Storm Bolt逻辑,都没有去搭建实时日志分析系统,全链路跟踪分析系统采用的开源产品组合为F ...
- 企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana)
企业级日志分析系统ELK(Elasticsearch , Logstash, Kibana) 前言 一.ELK概述 1.ELK日志分析系统 2.ELK日志处理特点 3.Elasticsearch概述 ...
最新文章
- button按钮大小
- pyhton 中的字符串切片问题
- 一些实用的注册表封装类
- 对于EXCEL模板程序的处理
- Tautology--POJ 3295
- jquery 选项卡插件
- 浅谈Linux下的EXT3文件系统
- mysql约束与外键_MySQL 外键与约束
- maven引用公共包_使用github作为maven仓库存放发布自己的jar包依赖 实现多个项目公共部分代码的集中,避免团队中多个项目之间代码的复制粘贴...
- 基于JAVA+SpringMVC+Mybatis+MYSQL的二手电动车交易系统
- 剑指offer所有的题目总结(转)
- 银行突发事件演练方案_湘阴星龙村镇银行开展防抢劫应急预案实战演练
- 谷歌浏览器无法登陆问题
- ADA本月上涨100%,背后或有三个原因
- Win10系统文件名太长导致无法删除
- 「Adobe国际认证」Adobe Photoshop,如何裁剪并拉直照片?
- 《图解HTTP》全文笔记梳理
- vite alias配置路径地址别名
- 【每日一题】电话号码
- 前端入门-HTML篇
热门文章
- NASM汇编helloworld图解
- Oracle表空间离线在线切换和数据库关闭启动操作图解
- 图解Oracle RMAN备份入门
- 关于创业公司产品开发原则
- Linux wine
- Git related
- 第三届全国县域经济基本竞争力百强县(市)
- parallelstream启动的线程数_谈谈并行流parallelStream
- 12 个非常有用的 JavaScript Hacks
- MIT_18.03_微分方程_Laplace_Transform_拉普拉斯变换_Notes