迁移prometheus数据
作者: weixiaobing 原文来源: https://tidb.net/blog/1ea36c1f
扩容prometheus 并迁移prometheus 的数据
背景:
Tidb 在日常的集群运维时,如果需要做扩缩容时,是非常方便的,但是对于监控组件prometheus 官网并没有给出带历史监控数据的迁移方式。下面是结合实际的操作总结的一些操作步骤,如果有更好的方式欢迎交流。
1、扩容新的prometheus
tiup cluster scale-out tidb-dev ./scale-out-prom.yaml
2、修改监控组件和dashbaord的promethues 源
Grafana 报错
解决方案:
修改grafna 的数据源
选择目前的数据源
修改成新扩容的promthues地址
Dashboard 报错
解决方案:
点击修改promethues 源,选择自由源
3、stop 老的prometheus
tiup cluster stop tidb-prd -N 10.2.103.116:9590
4、备份老的prometheus的数据
[tidb@vm116 tidb-data]$ mv prometheus-9590/ prometheus-9590_bak
[tidb@vm116 tidb-data]$ mkdir prometheus-9590
[tidb@vm116 tidb-data]$ ll
5、拷贝老的监控数据到新的prometheus
drwxr-xr-x 3 tidb tidb 4096 4月 13 19:00 01GXX4BEMERFC450HMF20P43XZ
drwxr-xr-x 3 tidb tidb 4096 4月 14 11:00 01GXYV98210PZBRFFDBY5H8GEC
drwxr-xr-x 3 tidb tidb 4096 4月 15 05:00 01GY0S2SMKP8R40QTY9TZ2E4Z1
drwxr-xr-x 3 tidb tidb 4096 4月 15 11:00 01GY1DNYYKXGA1SSQD5Q31T3Y6
drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 01GY1MHNTZAXMFFA9C8TRK2ZX0
drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 01GY1MHP8RCK1J80EGF0DGF9R4
drwxr-xr-x 2 tidb tidb 4096 4月 15 13:00 chunks_head
drwx------ 2 tidb tidb 4096 4月 15 13:57 docdb
-rw-r--r-- 1 tidb tidb 0 4月 13 10:05 lock
-rw-r--r-- 1 tidb tidb 20001 4月 15 13:56 queries.active
drwxr-xr-x 8 tidb tidb 4096 4月 15 13:57 tsdb
drwxr-xr-x 3 tidb tidb 4096 4月 15 13:00 wal
[tidb@vm115 prometheus-9590]$ cp -r 01G* /data1/tidb-data/prometheus-9690/
[tidb@vm115 prometheus-9590]$ pwd
/data1/tidb-data/prometheus-9590
[tidb@vm115 prometheus-9590]$
总用量 24
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXV6HXACPXR3S4MSKR273MKR
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVM9BKBDRW0D6WYGZC2RQZV
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVM9CJPYDCXY8Q2HDAJH985
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXVV52V0AH0AG7S4CVYF2SBD
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 01GXW20T31GE5JF2S2H8FH05XF
-rw-r--r-- 1 tidb tidb 0 4月 13 09:51 lock
drwxr-xr-x 3 tidb tidb 4096 4月 13 09:51 wal
[tidb@vm115 prometheus-9590]$
[tidb@vm115 prometheus-9690]$ pwd
/data1/tidb-data/prometheus-9690
[tidb@vm115 prometheus-9690]$ ll
总用量 60
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GXX4BEMERFC450HMF20P43XZ
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GXYV98210PZBRFFDBY5H8GEC
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY0S2SMKP8R40QTY9TZ2E4Z1
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1DNYYKXGA1SSQD5Q31T3Y6
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1MHNTZAXMFFA9C8TRK2ZX0
drwxr-xr-x 3 tidb tidb 4096 4月 15 14:14 01GY1MHP8RCK1J80EGF0DGF9R4
drwxr-xr-x 2 tidb tidb 4096 4月 15 14:09 chunks_head
drwx------ 2 tidb tidb 4096 4月 15 14:09 docdb
-rw-r--r-- 1 tidb tidb 0 4月 15 13:56 lock
-rw-r--r-- 1 tidb tidb 20001 4月 15 14:16 queries.active
drwxr-xr-x 8 tidb tidb 4096 4月 15 14:09 tsdb
drwxr-xr-x 2 tidb tidb 4096 4月 15 14:09 wal
[tidb@vm115 prometheus-9690]$
查询grafana
问题:promethues 保存了一些数据在内存里面,导致即使导入老的监控,仍然有一段是丢失的,暂时没有找到解决版本
如果restart prometheus 报错
level=info ts=2023-04-13T01:59:58.473663032Z caller=main.go:640 msg="Starting TSDB ..."
level=info ts=2023-04-13T01:59:58.473702757Z caller=web.go:418 component=web msg="Start listening for connections" address=:9590
level=info ts=2023-04-13T01:59:58.473915597Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681288029295 maxt=1681300800000 ulid=01GXV6HXACPXR3S4MSKR273MKR
level=info ts=2023-04-13T01:59:58.473956652Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681322400000 maxt=1681329600000 ulid=01GXVM9BKBDRW0D6WYGZC2RQZV
level=info ts=2023-04-13T01:59:58.473993214Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681300800000 maxt=1681322400000 ulid=01GXVM9CJPYDCXY8Q2HDAJH985
level=info ts=2023-04-13T01:59:58.474019427Z caller=repair.go:48 component=tsdb msg="found healthy block" mint=1681329600000 maxt=1681336800000 ulid=01GXVV52V0AH0AG7S4CVYF2SBD
level=info ts=2023-04-13T01:59:58.474186922Z caller=main.go:509 msg="Stopping scrape discovery manager..."
level=info ts=2023-04-13T01:59:58.474200027Z caller=main.go:523 msg="Stopping notify discovery manager..."
level=info ts=2023-04-13T01:59:58.474205361Z caller=main.go:545 msg="Stopping scrape manager..."
level=info ts=2023-04-13T01:59:58.474212946Z caller=main.go:539 msg="Scrape manager stopped"
level=info ts=2023-04-13T01:59:58.474224191Z caller=main.go:505 msg="Scrape discovery manager stopped"
level=info ts=2023-04-13T01:59:58.474232013Z caller=main.go:519 msg="Notify discovery manager stopped"
level=info ts=2023-04-13T01:59:58.474241846Z caller=manager.go:736 component="rule manager" msg="Stopping rule manager..."
level=info ts=2023-04-13T01:59:58.474253972Z caller=manager.go:742 component="rule manager" msg="Rule manager stopped"
level=info ts=2023-04-13T01:59:58.474264935Z caller=notifier.go:521 component=notifier msg="Stopping notification manager..."
level=info ts=2023-04-13T01:59:58.474272305Z caller=main.go:708 msg="Notifier manager stopped"
level=error ts=2023-04-13T01:59:58.474455533Z caller=main.go:717 err="opening storage failed: get segment range: segments are not sequential"
^C#解决方案
rm -rf /data1/tidb-data/prometheus-9590/wal
总结:
整体操作步骤还是比较简单,主要是修改grafana和dashboard 源。希望官方也能给出更好的操作方式。
迁移prometheus数据相关推荐
- Zabbix 4.2 发布:支持Prometheus数据收集,可扩展性大大提升
4月2日,Zabbix正式发布了Zabbix 4.2版本.Zabbix具备现代监控系统所应提供的一切功能,包括数据收集与处理.分布式监控.实时问题与异常检测.警报.升级.乃至可视化等等. 下面是Zab ...
- mongodb 导出到sqlserver_迁移sqlserver数据到MongoDb的方法
迁移sqlserver数据到MongoDb的方法 前言 随着数据量的日积月累,数据库总有一天会不堪重负的,除了通过添加索引.分库分表,其实还可以考虑一下换个数据库.我强烈推荐使用MongoDb,我举例 ...
- 如何安全的在不同工程间安全地迁移asset数据?三种方法
如何安全的在不同工程间安全地迁移asset数据?三种方法 答: 1.将Assets和Library一起迁移 2.导出包package 3.用unity自带的assets Server功能 posted ...
- python脚本迁移数据库_Python迁移MySQL数据到MongoDB脚本
MongoDB是一个文档数据库,在存储小文件方面存在天然优势.随着业务求的变化,需要将线上MySQL数据库中的行记录,导入到MongoDB中文档记录. 一.场景:线上MySQL数据库某表迁移到Mong ...
- 6.prometheus数据上报方式-pushgateway
6.prometheus数据上报方式-pushgateway 6.1.pushgateway下载.安装.启动 6.2.prometheus上配置target 6.3.push数据到pushgatewa ...
- CodeFrist基础_迁移更新数据
一丶自动迁移 第一次启用迁移:NeGet-->Enable-Migrations public DemoDbContext(): base("name=ConncodeFirst&qu ...
- zabbix监控MogDB之采集prometheus数据
点击蓝字 关注我们 市场上比较的监控方式有两种:zabbix和prometheus架构,对于MogDB/openGauss数据库来说,已经通过grafana + prometheus + openga ...
- 实战案例丨使用云连接CC和数据复制服务DRS实现跨区域RDS迁移和数据同步
[业务场景及诉求] 希望将不同区域"华北-北京四"的rds与"亚太-新加坡"的rds进行迁移和数据同步,网络配置使用云连接CC. [配置方法]: 1.资源准备: ...
- mysql中如何迁移数据文件,迁移mysql数据文件存放位置
迁移mysql数据文件存放位置 (2012-01-11 14:46:30) 标签: mysql db datafile 数据 文件 1.备份当前的数据库 2.停止mysql服务 root@box:~/ ...
最新文章
- android-技术教程-调试程序的基础,在控制台上打印出想打印的东西 转载
- 2019.03.28 bzoj3594: [Scoi2014]方伯伯的玉米田(二维bit优化dp)
- 【C++ 语言】面向对象 ( 函数重载 | 运算符重载 | 运算符重载两种定义方式 | 拷贝构造方法 | RVO 优化 | NRVO 优化 )
- PHP网站安装程序的原理及代码
- Nginx负载均衡监控节点状态
- linux调用一个函数失败 打印错误,linux下settimeofday函数调用失败,何故?解决办法...
- 《软件工程(C编码实践篇)》课后感
- TSAP传输服务访问点
- 抖音“市长带你看湖北”首场直播:总成交额1793万元
- jupyter notebook常用命令
- 学好WindowsServer技术的几大秘籍
- 川大计算机考研录取率高吗,四川大学考研难不难?看完这篇你就知道了!
- FPGA中case语句4选1数据选择器
- windos不能在本地计算机启动服务器,WDS 服务器可能无法启动 - Windows Server | Microsoft Docs...
- 中职 计算机 教案,中职计算机基础教案.doc
- 鼠标滚轮无法滚动处理、有滚动条但鼠标中间的滚轮滚动时页面不随之滚动
- 迅投QMT量化交易系统介绍
- Warning: Attempt to present ... on … which is already presenting null
- matlab 图片倒影_计算物理基于matlab方法研究水中倒影问题
- 一文了解各种无线通信 - NB-IOT、LoRa、433、GPRS、4G、WIFI、2.4G、PKE