使用kibana和elasticsearch日志实时绘制图表
前言:
此文接的是上篇,上次的内容是,用python操作elasticsearch存储,实现数据的插入和查询。 估计有些人一看我的标题,以为肯定是 logstash kibana elasticsearch的组合。这三个家伙也确实总是勾搭在一块。 其实logstash是可以被别的替换,比如常见的fluented 。剩下的那两个,kibana和elasticsearch是一伙的,不好做分离。
这次用的不是那种开源的、cs模式日志收集应用,还真不是。而是自己直接从程序里面把日志打到elasticsearch里面(可以是python,也可以用shell的curl)。然后通过kibana把elasticsearch数据读出来,直接绘图。
我个人还是不喜欢用elasticsearch做存储,他的一些语法说明不够犀利,主要原因还是他的DSL让我头疼。 我还是喜欢把结果打到mongodb里面。 对于我来说mongodb的查询语句是我很喜欢的。
不扯了,开始切入主题。 我这里的想法比较简单和方便,比如需要监控一些数据,我们完全可以把结果打到elasticsearch里面。 而不是我前面说的那样,还需要从库里面取出数值,然后再用前端画图,另外数据的接口还不好控制,真心是麻烦,当然对于熟练前后端的人来说,这也仅仅是麻烦而已。
下图是我以前的一个项目,通知平台的前端,当时开发的时候,真是十分的蛋疼,一会搞数据层,一会搞前端的ajax模板,但是带来的好处也不少,尤其是提高自己的前后端细节的写码能力。
但说起来,感觉如果用kibana3的话,在一定程度来说,很是方便。 只需要给elasticsearch下面的数据格式就行了。
index是索引,在elasticsearch里面,一切皆索引(我说的)
type是格式,咱们做图表的时候,基本是根据type做归类的。比如,web相关的为一个索引,然后nginx和varnish为不同的type。 当然也可以再细化,把那个nginx服务都可以做一个索引。 只要你不觉得乱套就行了。 很多人担心elasticsearch的大数据能力,其实我没怎么把他看做大数据处理,就把他做个临时一个月的存储,做一些个日志分析,监控啥的。 (个人喜欢)
@message 是主数据内容
@timestamp是时间,kibana默认是根据这个来做时间段的。
上面的数据有些乱,咱们可以把键值对分化的更细致点。
原文:http://rfyiamcool.blog.51cto.com/1030776/1421049
但是kibana3二次开发起来,对于初学者来说,是有难度的。
原文:http://rfyiamcool.blog.51cto.com/1030776/1421049
如果懒得写前端和数据接口,完全可以把日志和数据放到elasticsearch处理。我的开发主要是python,用pyes,只需要把数据扔给elasticsearch就行了。 格式是json的样子,看下面,用kibana可以做多条件的查询,我想搜 nginx,squid,tornado的类型,类型,出错的频率。
除了query,还有用regexp正则的方式
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
|
( 111 | 222 )
aaa.*
a{ 3 }b{ 3 } # match
a{ 2 , 4 }b{ 2 , 4 } # match
a{ 2 ,}b{ 2 ,} # match
.{ 3 }.{ 3 } # match
a{ 4 }b{ 4 } # no match
a{ 4 , 6 }b{ 4 , 6 } # no match
a{ 4 ,}b{ 4 ,} # no match
(ab)+ # match
ab(ab)+ # match
(..)+ # match
(...)+ # no match
(ab)* # match
abab(ab)? # match
ab(ab)? # no match
(ab){ 3 } # match
(ab){ 1 , 2 } # no match
|
查询,web的日志,看下css,js,jpg,bootstrap.css,bootstrap.js 访问的一些比率 ~
本文转自 rfyiamcool 51CTO博客,原文链接:http://blog.51cto.com/rfyiamcool/1421049,如需转载请自行联系原作者
使用kibana和elasticsearch日志实时绘制图表相关推荐
- php kibana查询,Kibana+Logstash+Elasticsearch 日志查询系统搭建
搭建该日志查询系统的目的就是为了运维.研发很方便的进行日志的查询.Kibana一个免费的web壳:Logstash集成各种收集日志插件,还是一个比较优秀的正则切割日志工具:Elasticsearch一 ...
- Kibana+Logstash+Elasticsearch 日志查询系统
http://www.cnblogs.com/Fly-Wind/p/5601186.html 转载于:https://www.cnblogs.com/Lomio/p/6125334.html
- ELK6.0部署:Elasticsearch+Logstash+Kibana搭建分布式日志平台
一.前言 1.ELK简介 ELK是Elasticsearch+Logstash+Kibana的简称 ElasticSearch是一个基于Lucene的分布式全文搜索引擎,提供 RESTful API进 ...
- Elasticsearch、Logstash、Kibana搭建统一日志分析平台
ELKstack是Elasticsearch.Logstash.Kibana三个开源软件的组合.目前都在Elastic.co公司名下. ELK是一套常用的开源日志监控和分析系统,包括一个分布式索引与搜 ...
- python matplotlib.pyplot如何绘制实时图表?(实时绘制、更新图表、实时更新、动态窗口)plt.ion() plt.clf() plt.pause() plt.ioff()
from matplotlib import pyplot as plt import numpy as np# 创建实时绘制横纵轴变量 x = [] y = []# 创建绘制实时损失的动态窗口 pl ...
- Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台
Centos7下使用ELK(Elasticsearch + Logstash + Kibana)搭建日志集中分析平台 日志监控和分析在保障业务稳定运行时,起到了很重要的作用,不过一般情况下日志都分散在 ...
- Qt:QtCharts绘制图表实时采集温度
目录 Qt Charts介绍 视图-QChartView 图表-QChart 系列-QAbstractSeries 坐标轴-QAbstractAxis 图例-Legend 创建GUI界面 界面布局 完 ...
- 【Elasticsearch】Elasticsearch日志场景最佳实践
1.概述 转载:Day 12 - Elasticsearch日志场景最佳实践 相似文章:[Elasticsearch]Elasticsearch 最佳实践系列之分片恢复并发故障 Elasticsear ...
- 企业 Elasticsearch日志分析平台
文章目录 Elasticsearch介绍 Elasticsearch应用场景 安装配置 配置集群信息 添加图形界面 ES分布式部署 ES里的节点角色说明 节点优化配置 节点的组合配置方式 实验测试 l ...
最新文章
- java coverage exclude使用
- Angular的_zone.onMicrotaskEmpty最终会通过changeDetect重新刷新视图
- C# Find() 与 FindAll()方法的使用
- codeforces1496 D. Let‘s Go Hiking(乱搞+讨论)
- matlab eval 不显示,matlab中 eval(command); 运算符无效的问题
- SQL数据库中临时表、临时变量和WITH AS关键词创建“临时表”的区别
- Java堆溢出,虚拟机栈和本地方法栈溢出
- java 时间戳_Java并发编程之CAS三CAS的缺点 及解决办法
- 寒流来袭·《求职初体验》
- 明解C语言 初级篇1~8章
- 最简单的直播礼物连刷特效制作(带源码)
- 【剧透】2017云栖大会•北京峰会——企业云上业务优化专场
- Context 是什么意思
- Pyhton计算一元二次方程的根
- python爬虫:利用BeautifulSoup爬取链家深圳二手房首页的详细信息
- “国防七子”、“C9联盟”、“华东五虎”,中国最顶尖的大学都在这!
- python中的线性数据结构
- 【信号调理】ADC保护电路/ADC缓冲器
- 使用 Play Integrity API 来保护您的应用和游戏
- 凉了7年的快播,登上排行榜第一 (重新排版)