kibana数据导入导出_怎么实现kibana的数据导入导出

匿名用户

1级

2016-10-19 回答

logstash好说，client只需要在代码逻辑改下redis地址就可以了，logstash server直接docker pull镜像就可以了。

elasticsearch需要我们自己写脚本迁移，因为跨机房导入导出，挺费工夫的，关于elasticsearch的迁移，我下篇再写，今天主要写kibana的迁移。

kibana配置的迁移，他的配置是在elasticsearch里面，下图就是elasticsearch里kibana的配置信息。

业务和日志的elasticsearch都是一个集群，业务的数据肯定是迁移过去的，至于日志就算了…. 我们这的日志，每个月有几十T，这对于迁移来说，很是繁重… 索性直接干掉…..

这里重点说下怎么把kibana4的配置导出并迁移。如果你不偷懒，可以自己用pyhton写个elasticsearch的导出程序，实现起来很简单….. 如果你跟我一样很偷懒，那么就直接用现成的工具。 elasticdump是个node.js开发的一个小而精的elasticsearch导出程序。

Python

apt-get update

apt-get install node.js

curl -L https://npmjs.org/install.sh | sh

ln -s /usr/bin/nodejs /bin/node

npm insall elasticdump -g

导出，也可以用来做elasticsearch的备份，elasticdump可以选择性的导出data和mapping。

Python

具体配置信息

elasticdump --ignore-errors=true --scrollTime=120m --bulk=true --input=http://xxxxx:9200/.kibana --output=data.json --type=data

导出mapping信息

elasticdump --ignore-errors=true --scrollTime=120m --bulk=true --input=http://xxxxxx/.kibana --output=mapping.json --type=mapping

咱们再把刚才备份的数据，导入到目标elasticsearch上。

kibana数据导入导出_怎么实现kibana的数据导入导出相关推荐

数据预处理泰坦尼克号_了解泰坦尼克号数据集的数据预处理
数据预处理泰坦尼克号什么是数据预处理? (What is Data Pre-Processing?) We know from my last blog that data preprocessi ...
java中将查询数据导出_如何在R中将数据框导出到Excel
java中将查询数据导出 What if I tell, that you can export data frames to excel in R within a couple of minute ...
python实时股票数据折线图_股票分笔成交数据导出,python实时股票数据
内容导航: Q1:如何导出股票分时笔数在分时图窗口下操作 1.Ctrl+W,或者右键选择分时区间统计 2.修改你的大单限制如500,选择大单成交 3.就可以看出今天的大单分时笔数了. 按照你的补充, ...
python 3d大数据可视化软件_十大顶级大数据可视化工具推荐
要使数据分析真正有价值和有洞察力,就需要高质量的可视化工具.市场上有很多产品,特点和价格各不相同,本文列出了一些广泛认可的工具.其实企业如何选择一个合适的可视化工具,并不是一件容易的事情,需要仔细的考 ...
python大数据零基础_零基础学习大数据人工智能，学习路线篇！
大数据处理技术怎么学习呢?首先我们要学习Python语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. Python:Python 的排名从去年开始就借助人工智能持续上升,现在它 ...
python数据可视化利用_利用pyecharts实现python数据可视化
**python 利用pyecharts实现python数据可视化 **web pyecharts是一种交互式图表的表达方式. pyecharts是一款将python与echarts结合的强大的数据可 ...
hive解决数据倾斜问题_八种解决 Spark 数据倾斜的方法
有的时候,我们可能会遇到大数据计算中一个最棘手的问题--数据倾斜,此时Spark作业的性能会比期望差很多.数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能. 数 ...
python tushare获取股票数据并可视化_荐Python获取股票数据及其可视化--基于tushare库...
01 Tushare简介 Tushare是一个金融大数据开放社区,它免费提供各类金融数据和区块链数据 , 助力智能投资与创新型投资.在Tushare 旧版运行了3年后,Tushare Pro终于要跟 ...
大数据技术基础_【基础】大数据技术栈介绍
大数据技术的体系庞大且复杂,基础的技术包含数据的采集.数据预处理.分布式存储.NoSQL数据库.数据仓库.机器学习.并行计算.可视化等各种技术范畴和不同的技术层面. 首先给出一个通用化的大数据处理框架 ...
打开应用蜂窝移动数据就关闭_基于移动应用行为数据的客户流失预测
打开应用蜂窝移动数据就关闭 In the previous article, we created a logistic regression model to predict user enroll ...

kibana数据导入导出_怎么实现kibana的数据导入导出

kibana数据导入导出_怎么实现kibana的数据导入导出相关推荐

最新文章

热门文章