2021年大数据ELK(二十六):探索数据(Discovery)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注!
新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。
目录
探索数据(Discovery)
一、使用探索数据功能
二、导入更多的Apache Web日志数据
三、基于时间过滤查询
1、选择时间范围
2、指定查询某天的数据
3、从直方图上选择日期更细粒度范围
四、使用Kibana搜索数据
1、Kibana查询语言(KQL)
2、过滤字段
探索数据(Discovery)
通过Kibana中的Discovery组件,我们可以快速地进行数据的检索、查询。
一、使用探索数据功能
点击按钮可以打开Discovery页面。
我们发现没有展示任何的数据。但我们之前已经把数据导入到Elasticsearch中了。
Kibana提示,让我们扩大我们的查询的时间范围
默认Kibana是展示最近15分钟的数据。我们把时间范围调得更长一些,就可以看到数据了
将时间范围选择为1年范围内的,我们就可以查看到Elasticsearch中的数据了。
二、导入更多的Apache Web日志数据
- 将资料中的 access.log 文件上传到Linux
- 将access.log移动到/var/apache/log,并重命名为access.log.2
mv access.log /var/apache/log/access.log.2
- 启动FileBeat
./filebeat -e -c filebeat-logstash.yml
- 启动Logstash
bin/logstash -f config/filebeat-es.conf --config.reload.automatic
三、基于时间过滤查询
1、选择时间范围
2、指定查询某天的数据
查询2020年5月6日的所有日志数据。
3、从直方图上选择日期更细粒度范围
如果要选择查看某一天的日志,上面这种方式会有一些麻烦,我们有更快更容易的方式。
四、使用Kibana搜索数据
在Kibana的Discovery组件中,可以在查询栏中输入搜索条件。默认情况下,可以使用Kibana内置的标准查询语言,来进行快速查询。还有一种是遗留的基于Lucene的查询语法目前暂时可用,这种查询语法也可以使用基于JSON的Elasticsearch DSL也是可用的。当我们在Discovery搜索数据时,对应的直方图、文档列表都会随即更新。默认情况下,优先展示最新的文档,按照时间倒序排序的。
1、Kibana查询语言(KQL)
在7.0中,Kibana上线了新的查询语言。这种语言简洁、易用,有利于快速查询。
查询语法:
「字段:值」,如果值是字符串,可以用双引号括起来。
查询包含zhihu的请求
*zhihu*
查询页面不存在的请求
status : 404
查询请求成功和不存在的请求
status: (404 or 200)
查询方式为POST请求,并请求成功的日志
status: 200 and method: post
查询方式为GET成功的请求,并且响应数据大于512的日志
status: 200 and method: get and length > 512
查询请求成功的且URL为「/itcast.cn」开头的日志
uri: "\/itcast.cn\/*"
注意:因为/为特殊字符,需要使用反斜杠进行转义
2、过滤字段
Kibana的Discovery组件提供各种各样的筛选器,这样可以筛选出来我们关注的数据上。例如:我们只想查询404的请求URI。
指定过滤出来404以及请求的URI、从哪儿跳转来的日志
将查询保存下来,方便下次直接查看
下次直接点击Open就可以直接打开之前保存的日志了
-
2021年大数据ELK(二十六):探索数据(Discovery)相关推荐
- 2021年大数据ELK(十六):Elasticsearch SQL(职位查询案例)
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 职位查询案例 一.查询职位索引库中的一条数据 二.将SQL转换为DSL 三.职 ...
- VMware vSphere 5.1 群集深入解析(二十六)- 数据存储维护模式汇总
VMware vSphere 5.1 Clustering Deepdive HA.DRS.Storage DRS.Stretched Clusters Duncan Epping &Fran ...
- R语言实战应用精讲50篇(二十六)-数据可视化ggplot2-检验变量相关性图
本文介绍的图主要有助于检查两个变量的相关程度.共涉及图形包括: 1.散点图 Scatterplot 2.带环绕的散点图 Scatterplot with Encircling 3.抖动图 Jitter ...
- 2021年大数据Hadoop(二十六):YARN三大组件介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 Yarn三大组件介绍 ResourceManager No ...
- 2021年大数据HBase(十六):HBase的协处理器(Coprocessor)
全网最详细的大数据HBase文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 HBase的协处理器(Coprocessor) 一.起源 二 ...
- 从零开始学java(二十六)--多维数组,多维数组存储表格数据
从零开始学java(二十六)--多维数组 多维数组 多维数组存储表格数据 多维数组 多维数组可以看成以数组为元素的数组.可以有二维.三维.甚至更多维数组,但是实际开发中用的非常少.最多到二维数组(学习 ...
- GPS从入门到放弃(二十六) --- RTKLIB函数解析
GPS从入门到放弃(二十六) - RTKLIB函数解析 为了贴合这个系列的标题"从入门到放弃",在入门之后现在就要放弃此方向了.虽然感觉遗憾,暂时也没有办法.在此附上此系列最后一篇 ...
- 无人驾驶汽车系统入门(二十六)——基于深度学习的实时激光雷达点云目标检测及ROS实现
无人驾驶汽车系统入门(二十六)--基于深度学习的实时激光雷达点云目标检测及ROS实现 在前两篇文章中,我们使用PCL实现了在点云中对地面的过滤和点云的分割聚类,通常来说,在这两步以后我们将对分割出来的 ...
- JAVA面经复习(二十六)面试难度:☆☆☆☆
JAVA面经复习(二十六)面试难度:☆☆☆☆ 面试难度:☆☆☆☆ 推荐指数:☆☆☆☆☆ 推荐原因:总体来说本篇面经难度不高,且基本都是基础知识,不涉及复杂的分布式应用的工具,适合新手复习. 声明:答案 ...
- JVM 学习笔记二十六、JVM监控及诊断工具-GUI篇
二十六.JVM监控及诊断工具-GUI篇 1.工具概述 使用上一张命令行工具或组合能帮您获取目标Java应用性能相关的基础信息,但他们存在下列局限: (1)无法获取方法级别的分析数据,如方法间的调用关系 ...
最新文章
- 华为atn980传输设备_在头发丝中实现每秒1000张高清DVD传输
- python中是干嘛的-python是做什么的,新手必看哦!
- python while循环语句-Python while循环语句
- 创建安全 Windows CE 设备(转)
- mybatis多个foreach_使用 Mybatis 的 foreach 批量模糊 like 查询及批量插入
- 深入php内核,从底层c语言剖析php实现原理
- 【JEECG技术文档】数据权限自定义SQL表达式用法说明
- java怎么判断按钮是否被点击_怎么判断肌肉训练后是否已经恢复
- rtl8811au黑苹果10.15_荣耀MagicBook I5黑苹果折腾记(超详细教程与排坑)
- TortoiseSVN回退版本
- Effective Java 枚举和注解 第30条:用 enum 代替 int 常量
- 线性代数标准型矩阵化简技巧
- linux can远程帧,【值得收藏】详解Linux的CAN接口编程技巧
- 深入理解光流法外推雷达回波
- oracle语句update使用case when连续更新
- C++ UML类图详解
- exfat文件系统分析
- 农业灌区量测水流量在线监测系统解决方案
- 三方流通平台:区块链+政务,打造“链上雄安”
- 封装一个活灵活现的原生JS排序,js按照拼音排序,js按照“数字-字符串-汉字拼音”排序,数组对象排序,数组排序微调即可
热门文章
- VS Code 安装 Go 插件、自定义扩展配置、断点调试
- GCC 在 Linux、Windows 系统安装
- debian10 简单的CA使用
- Tengine Framework基础
- GStreamer 1.18.4稳定的错误修复版本
- 外部NORFlash是第一个以硬件为基础的信任
- 2021年大数据Flink(三十一):​​​​​​​Table与SQL案例准备 依赖和​​​​​​​程序结构
- 2021年大数据Flink(二十一):​​​​​​​案例三 会话窗口
- 2021年大数据Flink(十六):流批一体API Connectors ​​​​​​​​​​​​​​Redis
- Ubuntu 系统 卸载OpenJDK 8
- 2021年大数据ELK(十六):Elasticsearch SQL(职位查询案例)