pt-archiver 数据归档bug
2019独角兽企业重金招聘Python工程师标准>>>
前言:今天在进行线上数据库数据归档的时候发现个问题,ID最大的那一列数据没有归档到其他实例,下面是现场及解决办法
现场:
root@localhost:mysql.sock 10:18:07 [tom]>select count(*) from test;
+----------+
| count(*) |
+----------+
| 88787 |
+----------+
1 row in set (0.09 sec)[root@redis02 ~]# pt-archiver --source h=10.0.0.6,u=root,p=123456,D=tom,t=test,A=utf8 --dest h=10.0.0.7,P=3306,D=tom,t=test --where "1=1" --share-lock --statistics --progress 5000 --limit 5000 --txn-size 5000
TIME ELAPSED COUNT
2017-07-25T10:36:54 0 0
2017-07-25T10:37:07 13 5000
2017-07-25T10:37:21 26 10000
2017-07-25T10:37:36 42 15000
2017-07-25T10:37:50 55 20000
2017-07-25T10:38:02 67 25000
2017-07-25T10:38:14 80 30000
2017-07-25T10:38:26 92 35000
2017-07-25T10:38:39 105 40000
2017-07-25T10:38:52 117 45000
2017-07-25T10:39:03 129 50000
2017-07-25T10:39:15 141 55000
2017-07-25T10:39:27 152 60000
2017-07-25T10:39:38 164 65000
2017-07-25T10:39:51 177 70000
2017-07-25T10:40:04 189 75000
2017-07-25T10:40:16 202 80000
2017-07-25T10:40:29 214 85000
2017-07-25T10:40:38 224 88786
Started at 2017-07-25T10:36:54, ended at 2017-07-25T10:40:38
Source: A=utf8,D=tom,h=10.0.0.6,p=...,t=test,u=root
Dest: A=utf8,D=tom,P=3306,h=10.0.0.7,p=...,t=test,u=root
SELECT 88786
INSERT 88786
DELETE 88786
Action Count Time Pct
deleting 88786 122.6957 54.70
inserting 88786 66.5441 29.67
select 19 2.0529 0.92
commit 36 0.4159 0.19
other 0 32.5878 14.53root@localhost:mysql.sock 10:40:51 [tom]>select * from test;
+-------+------------+------+---------------------+
| id | name | age | createtime |
+-------+------------+------+---------------------+
| 88787 | hello88787 | 83 | 2017-07-19 17:24:21 |
+-------+------------+------+---------------------+
1 row in set (0.00 sec)
what?居然有一条还在,看下pt-archiver相关代码
6257 $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";
把这个修改一下,让它小于等于就ok了
6257 $first_sql .= " AND ($col <= " . $q->quote_val($val) . ")";
然后重新执行
[root@redis02 ~]# pt-archiver --source h=10.0.0.7,u=root,p=123456,D=tom,t=test,A=utf8 --dest h=10.0.0.6,P=3306,D=tom,t=test --where "1=1" --statistics --progress 10000 --limit 10000 --txn-size 5000 --no-delete
TIME ELAPSED COUNT
2017-07-25T10:58:48 0 0
2017-07-25T10:59:00 12 10000
2017-07-25T10:59:10 22 20000
2017-07-25T10:59:19 30 30000
2017-07-25T10:59:32 44 40000
2017-07-25T10:59:46 58 50000
2017-07-25T11:00:00 72 60000
2017-07-25T11:00:12 84 70000
2017-07-25T11:00:24 96 80000
2017-07-25T11:00:36 108 88786
Started at 2017-07-25T10:58:48, ended at 2017-07-25T11:00:36
Source: A=utf8,D=tom,h=10.0.0.7,p=...,t=test,u=root
Dest: A=utf8,D=tom,P=3306,h=10.0.0.6,p=...,t=test,u=root
SELECT 88786
INSERT 88786
DELETE 0
Action Count Time Pct
inserting 88786 88.3225 81.45
select 10 0.4881 0.45
commit 36 0.2246 0.21
other 0 19.4023 17.89
ok ,至此问题完美解决
为了方便大家交流,本人开通了微信公众号,和QQ群291519319。喜欢技术的一起来交流吧
转载于:https://my.oschina.net/u/3023401/blog/1486759
pt-archiver 数据归档bug相关推荐
- 那些年跟领导聊过的数据归档【DB篇】:从梳理到落地-DB单表千万级归档详细流程讲解
文章目录 知人论世 执笔蓝图 V1 - 浅尝辄止 V2 - 初窥门镜 V3 - 木已成舟 躬行方案 安内 攘外 卓有成效 沉淀之石 道阻且长 知人论世 无论何种需求的出现都是因为某种迫切解决的问题契机 ...
- 用NSKeyedArchiver存储数据(归档)
用NSKeyedArchiver存储数据(归档) 一.NSKeyedArchiver和NSUserDefault的区别 NSUserDefault只能存储基本数据类型,如NSInteger NSStr ...
- sqlserver大数据归档
昨天做了个日常大数据归档,归档700W数据,表字段130左右,字段比较多,分享下! ----先禁用表的index 1.先获取需要禁用的索引 declare @tname varchar(100) se ...
- Xamarin使用ListView开启分组视图Cell数据展示bug处理
问题描述 Xamarin使用IsGroupingEnabled="true"之后再Cell操作就会出现数据展示bug,数据不刷新的问题,如下图所示: 点击取消的是其他钢厂,但Vie ...
- 三年之久的 etcd3 数据不一致 bug 分析
etcd 作为 Kubernetes 集群的元数据存储,是被业界广泛使用的强一致性 KV 存储,但近日被挖掘出一个存在 3 年之久的数据不一致 bug--client 写入后无法在异常节点读取到数据, ...
- Saiku Table展示数据合并bug修复(二十五)
Saiku Table展示数据合并bug修复 Saiku以table的形式展示数据,如果点击了 非空的字段 按钮,则会自动进行数据合并,为空的数据行以及数据列都会自动隐藏掉. 首先我们应该定位问题: ...
- oracle 11g Flashback Data Archive(闪回数据归档)
Flashback Data Archive(闪回数据归档) UNDO表空间记录的回滚信息虽然可以提供回闪查询,但时间久了,这些信息会被覆盖掉,其实只要事务一提交,他们就变成可覆盖的对象了,所以经常在 ...
- oracle 12c创建归档,oracle 12c 数据归档 即Using In-Database Archiving feature
在oracle 12c 通过Using In-Database Archiving feature 特性,来启到分离在线数据和历史数据的作用, 即数据归档,应用可以有选择性的访问在线数据或者历史数据, ...
- 华为 AI 芯片诞生;马云重当中国首富;微软修复数据删除 Bug | 极客头条
「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知 华 ...
最新文章
- transform总结
- apache bench linux,linux – 如何在CentOS上安装Apache Benchmark?
- 使用elasticsearch-php需要注意的问题
- 包含 PHP和nginx的镜像 supervisord.conf Dockerfile 案例
- mongodb 3.4单实例安装与备
- 机器学习-特征抽取02
- TextBox控件怎样赋值化学符号
- 【C++深度剖析教程25】继承中的构造与析构
- 异或运算^和他的一个常用作用
- 小学奥数 7834 分成互质组 python
- 数据结构之排序算法:基数排序
- 最简单的视频编码器:基于libx264(编码YUV为H.264)
- 碰到 oracle 10g ORA-00257
- 曲率系列1:曲率、法曲率、平均曲率、主曲率和高斯曲率(概念推导解读)
- 常识推理问答相关最新研究进展
- 国外广告联盟:玩转国外CPC网站作弊
- 地球人口承载力估计(YZOJ-1021)
- Bootstrap抽样和Monte Carlo思想
- 磁盘分区、格式化及 LVM 管理
- SiteSucker
热门文章
- Ubuntu 12.04 如何切换回英文
- python爬虫基本知识_爬虫 (十三) 学习 python 基础知识点的正确姿势 (六)
- otdr进行多种测试鸿蒙包括,华为联合南非MTN完成业界首个FTTH内置OTDR规模商用
- java 稀疏贝叶斯算法_稀疏贝叶斯学习(SBL)算法过程推导
- (11) ejb学习: Jpa事务管理类型 container 和 bean
- vue实例、指令、生命周期
- 什么是localStorage?
- IntelliJ IDEA入门教程之一
- 阴阳师人数最多的服务器,《阴阳师》手游部分服务器合并公告
- java eclipse 注释模板_Eclipse Java注释模板设置详解