kibana 查询_干货 | Elasticsearch、Kibana数据导出实战

1、问题引出

以下两个导出问题来自Elastic中文社区。

问题1、kibana怎么导出查询数据？

问题2：elasticsearch数据导出

就像数据库数据导出一样，elasticsearch可以么?

或者找到它磁盘上存放数据的位置，拷贝出来，放到另一个es服务器上或者转成自己要的数据格式？

实际业务实战中，大家或多或少的都会遇到导入、导出问题。根据数据源的不同，基本可以借助：

1、程序写入
2、数据同步

logstash/flume/cana/es_hadoopl等来实现关系型数据库(如：Oracle、mysql)、非关系型数据库(如：Mongo、Redis)、大数据(Hadoop、Spark、Hive)到Elasticsearch的写入。

而数据的导出，一部分是业务场景需要，如：业务系统中支持检索结果导出为CSV、Json格式等。

还有一部分是分析数据的需求：期望借助Kibana工具将仪表盘聚合结果导出、不需要借助程序尽快将满足给定条件的结果数据导出等。

这些快速导出的需求，最好借助插件或者第三方工具实现。

本文将重点介绍Kibana/Elasticsearch高效导出的插件、工具集。

2、期望导出数据格式

一般期望导出：CSV、Json格式。

3、Kibana导出工具

3.1 Kibana 官方导出

步骤1：点击Kibana；步骤2：左侧选择数据，筛选字段；步骤3：右侧点击：share->csv reports。步骤4：菜单栏：选择Management->Reporting->下载。

以上是kibana6.5.4的实操截图。

其他常见报表数据导出：

在Dashboard的右上角点击Inspect，再点击就可以导出对应可视化报表对应的数据。

3.2 数据透视表pivot-kibana

Kibana的数据透视表——使用Kibana UI中的任何其他工具一样使用数据透视表可以极大地简化数据工作。

Flexmonster Pivot可以交叉和快速地汇总业务数据并以交叉表格式显示结果。

地址：https://github.com/flexmonster/pivot-kibana/

筛选数据效果如下：

注意：建议7.X以上版本使用。低版本不支持。

4、Elasticsearch导出工具

4.1 es2csv

1、简介：用Python编写的命令行实用程序，用于以Lucene查询语法或查询DSL语法查询Elasticsearch，并将结果作为文档导出到CSV文件中。es2csv 可以查询多个索引中的批量文档，并且只获取选定的字段，这可以缩短查询执行时间。

2、地址：https://pypi.org/project/es2csv/

3、使用方法：

1es2csv -u 192.168.1.1:9200 -q '{"_source":{"excludes":["*gxn

kibana 查询_干货 | Elasticsearch、Kibana数据导出实战相关推荐

kibana 查看有多少索引库_干货 | Elasticsearch、Kibana数据导出实战
1.问题引出以下两个导出问题来自Elastic中文社区. 问题1.kibana怎么导出查询数据? 问题2:elasticsearch数据导出就像数据库数据导出一样,elasticsearch可以么 ...
elasticsearch将数据导出json文件【使用elasticdump】
1.前提准备需要使用npm安装,还未安装的朋友可以阅读另一篇我的博客<安装使用npm>,windows环境. 2.安装es-dump 打开终端窗口PowerShell或者cmd. 输入命 ...
java分页查询_面试官：数据量很大，分页查询很慢，有什么优化方案？
准备工作一般分页查询使用子查询优化使用 id 限定优化使用临时表优化关于数据表的id说明 <Java 2019 超神之路> <Dubbo 实现原理与源码解析 -- 精品合集 ...
php xls导出文件到本地_使用PHPExcel将数据导出至Excel
安装类库解压后将Classes文件夹移动到ThinkPHP的extend目录,并将其重命名为phpexcel 在项目中需要的地方添加引用 import('phpexcel.PHPExcel', EX ...
干货 | Elasticsearch开发人员最佳实战指南
点击上方"朱小厮的博客",选择"设为星标" 后台回复"加群"获取公众号专属群聊入口几个月以来,我一直在记录自己开发Elasticsearc ...
kibana 查询_Exceptionless服务端+kibana部署实时日志纪要
安装软件列表 Exceptionless.4.1.2861.zip elasticsearch-5.6.14.zip kibana-5.6.14-windows-x86.zip 安装准备 1. ...
java es 如何查询_使用elasticsearch的java-api进行查询
1.前言 elsaticsearch版本是6.8.3,使用的java-api是基于Java High Level REST Client.java 2.数据 3. InitClient 用来初始化客 ...
mysql 二维表查询_二维报表数据表设计
报表原型: 这里随便挑了一个二维报表二维报表设计分析: 上面的报表原型行和列都有数据项,我们可以根据地理位置的经纬度定坐标点的思想来进行设计这里使用列行来表示 c1r1表示第一列第一行 c1r2表 ...
提取点的dn值_干货在线 | DEM数据如何生成高程点
这次给大家介绍一个arcgis里的实用功能:通过地形数据提取高程点. 首先做好准备工作: 1.地形数据下载获取 2.辅助数据下载地形数据下载完成后,通过矢量边界数据裁剪得到了下图的地形数据, 找到a ...

kibana 查询_干货 | Elasticsearch、Kibana数据导出实战

kibana 查询_干货 | Elasticsearch、Kibana数据导出实战相关推荐

最新文章

热门文章