1. kibana

kibana是es的可视化工具

最近主要使用了Discover和Management两个功能。

Discover：查看index的内容并搜索、查询、可视化图等
Management：es中index的管理
在Management-Index Management下可以查看es中都有哪些index

如下图所示，es的index

回到Discover，Discover如下图所示：

最上边是search框，可以按照条件筛选出自己想要的数据
中间灰色一列是index的信息，被红框框住的test就是index的名称。在我未操作前，test这个 index的背景是类似Refresh按钮处的蓝色，且没有可下拉的倒三角。说明现在kibana只有es中的一个index，虽然es中有上述中的10个index，也就是kibana没有连接es中除了test以外的其他index。如何处理成截图所示，可以下拉选择后续会讲。
灰色框继续向下看，可以看到以t或#开头的图标，这些都是数据的标签（类似name:tom中的name），但是以_开头的都是es自带的标签，没有_的才是我们数据真正的标签。
在_source即最右的一大片地方都是es中的一条条数据，点开其中一条数据的倒三角，可以选择按table或者json查看具体的数据。（每一条都相当于exce的一行数据）
刚才提到最开始，kibana中Discover只有一个index，那么如何添加呢？
这又得回到Management-Index Patterns

点开Index Patterns，可以看到，开始只有一个test，且标记了五角星，说明是默认的index，如果有多个index，选择其中一个，并点击右侧的五角星，即可将该index标记为默认

如果想要添加index（连接es中其他index），可以点击Create Index Pattern，红框处填写创建的index名称，尽量去橙框内的名称（橙框即es中所有index的名称），然后下一步

直接点击create index pattern即可创建成功。这时回到Discover，就可以看到上述截图的样子，并且可以选择看哪个index的内容。

2. elasticseatch

如何连接及导出数据

import elasticsearch
# 与es进行通信:连接es
es = Elasticsearch(hosts="http://182.181.13.47:9233/")

此时print(es)，可以看到es的自带信息（介绍es的）

如果不知道es都有哪些index，可以用下面代码查看：

result = es.search(index='_all') # index可以指定，如果查看所有，用_all

结果可以看到好多{}，在index pattern后的{}中有一个title即es中的index名。
一般_source后面是数据
那么如何从es中导出数据呢，可以用以下模板

from elasticsearch import Elasticsearch
from elasticsearch import helpersdef GetVlue():es = Elasticsearch(["http://182.181.13.47:9233/"]) # 连接esquery ={"query": {"match_all": {}}} # 如果导出所有数据，则不需要更改scanResp = helpers.scan(client=es, query=query, scroll="3m", index='byy_ips',timeout="3m") # index为导出的数据index名，根据需要更改，其他参数默认就好for k in scanResp:yield kdef write_file(k):with open('byy_ips.csv','ab') as f:k=dict(k)f.write(k['_source']['attack-name'].encode('gbk')) # _source不用更改，attack-name以及下面的都是数据中的标签名称，根据index数据的标签做响应调整f.write(b',')f.write(k['_source']['attack-type'].encode('gbk'))f.write(b',')f.write(str(k['_source']['destination-port']).encode('gbk'))f.write(b',')f.write(str(k['_source']['event']).encode('gbk'))f.write(b',')f.write(str(k['_source']['packet']).encode('gbk'))f.write(b',')f.write(k['_source']['source-port'].encode('gbk'))f.write(b',')f.write(k['_source']['time'].encode('gbk'))f.write(b',')f.write(str(k['_source']['city']).encode('gbk'))f.write(b',')f.write(k['_source']['destination-ip'].encode('gbk'))f.write(b',')f.write(str(k['_source']['province']).encode('gbk'))f.write(b',')f.write(k['_source']['source-ip'].encode('gbk'))f.write(b'\n')list1 = GetVlue()
for index,k in enumerate(list1,1):write_file(k)

elasticsearch与kibana踩过的坑相关推荐

‘access denied (“java.io.FilePermission“...... “IKAnalyzer.cfg.xml“ “read“（elasticsearch很容易踩到的坑）
订阅专栏出现的错如下: access_control_exception', 'access denied ("java.io.FilePermission" "C:\ ...
linux系统下安装elasticsearch集群踩过的坑
公司之前用的solr发现不太好用准备替换成es于是乎开始大刀阔斧的更换搜索服务器,本着有新版本不用旧版本的原则,所以刚搭好的基础环境,又得重新部署一遍.(重要的事记得说三遍!!! 记笔记真的很重要,好 ...
logstash导入数据到Elasticsearch踩过的坑详解
一.前言这篇主要记录在导入数据时候踩到的坑,这些坑总共花费我小一天的时间,记录一下. 二.正文 1.logstash显示在导入数据,ES也成功新建了索引,但是没数据最开始遇到的是这个坑,logst ...
安装elasticsearch踩过的坑，教训写在这里，一起共同努力，希望大家先通读一下再按着步骤操作，看过就知道哪些坑可以掠过
安装elasticsearch踩过的坑,教训写在这里,一起共同努力,希望大家先通读一下再按着步骤操作,看过就知道哪些坑可以掠过配置外网访问出现启动不了的问题: Java HotSpot(TM) 64 ...
使用ElasticSearch踩过的坑
使用ElasticSearch将近3个月了,在使用过程中,陆陆续续踩了不少坑,每次觉得无法逾越时,心里都想放弃,一是因为这东西要完全掌握不是那么容易,需要花很多时间:二是如果继续使用曾经用过的zabb ...
ElasticSearch 踩过的坑
使用ElasticSearch将近3个月了,在使用过程中,陆陆续续踩了不少坑,每次觉得无法逾越时,心里都想放弃,一是因为这东西要完全掌握不是那么容易,需要花很多时间:二是如果继续使用曾经用过的zabb ...
ELK系列(1) - Elasticsearch + Logstash + Kibana + Log4j2快速入门与搭建用例
前言最近公司分了个ELK相关的任务给我,在一边学习一边工作之余,总结下这些天来的学习历程和踩坑记录. 首先介绍下使用ELK的项目背景:在项目的数据库里有个表用来存储消息队列的消费日志,这些日志用于开 ...
SonarQube的安装部署过程中踩过的坑
在安装和是用sonarqube踩过如下坑,记录一下: 1.java版本不正确 java版本的问题,主要体现在两个方面, 第一个:是需要安装对应电脑版本的jdk, 具体报如下错误: Unable to ...
Elasticsearch+logstash+kibana
ELK搜索高级课程 1．课程简介 1.1 课程内容 ELK是包含但不限于Elasticsearch(简称es).Logstash.Kibana 三个开源软件的组成的一个整体.这三个软件合成ELK.是 ...
mac git使用与配置踩过的坑
#mac git使用与配置踩过的坑标题mac配置git ssh密钥参考链接mac配置git ssh key go get安装失败的解决方法 go get约等于git clone+go instal ...

elasticsearch与kibana踩过的坑

文章目录

1. kibana

2. elasticseatch

elasticsearch与kibana踩过的坑相关推荐

最新文章

热门文章