2019独角兽企业重金招聘Python工程师标准>>>

前言:今天在进行线上数据库数据归档的时候发现个问题,ID最大的那一列数据没有归档到其他实例,下面是现场及解决办法

现场:

root@localhost:mysql.sock  10:18:07 [tom]>select count(*) from test;
+----------+
| count(*) |
+----------+
|    88787 |
+----------+
1 row in set (0.09 sec)[root@redis02 ~]# pt-archiver --source h=10.0.0.6,u=root,p=123456,D=tom,t=test,A=utf8 --dest h=10.0.0.7,P=3306,D=tom,t=test --where "1=1" --share-lock --statistics  --progress 5000 --limit 5000 --txn-size 5000
TIME                ELAPSED   COUNT
2017-07-25T10:36:54       0       0
2017-07-25T10:37:07      13    5000
2017-07-25T10:37:21      26   10000
2017-07-25T10:37:36      42   15000
2017-07-25T10:37:50      55   20000
2017-07-25T10:38:02      67   25000
2017-07-25T10:38:14      80   30000
2017-07-25T10:38:26      92   35000
2017-07-25T10:38:39     105   40000
2017-07-25T10:38:52     117   45000
2017-07-25T10:39:03     129   50000
2017-07-25T10:39:15     141   55000
2017-07-25T10:39:27     152   60000
2017-07-25T10:39:38     164   65000
2017-07-25T10:39:51     177   70000
2017-07-25T10:40:04     189   75000
2017-07-25T10:40:16     202   80000
2017-07-25T10:40:29     214   85000
2017-07-25T10:40:38     224   88786
Started at 2017-07-25T10:36:54, ended at 2017-07-25T10:40:38
Source: A=utf8,D=tom,h=10.0.0.6,p=...,t=test,u=root
Dest:   A=utf8,D=tom,P=3306,h=10.0.0.7,p=...,t=test,u=root
SELECT 88786
INSERT 88786
DELETE 88786
Action         Count       Time        Pct
deleting       88786   122.6957      54.70
inserting      88786    66.5441      29.67
select            19     2.0529       0.92
commit            36     0.4159       0.19
other              0    32.5878      14.53root@localhost:mysql.sock  10:40:51 [tom]>select * from test;
+-------+------------+------+---------------------+
| id    | name       | age  | createtime          |
+-------+------------+------+---------------------+
| 88787 | hello88787 |   83 | 2017-07-19 17:24:21 |
+-------+------------+------+---------------------+
1 row in set (0.00 sec)

what?居然有一条还在,看下pt-archiver相关代码

6257       $first_sql .= " AND ($col < " . $q->quote_val($val) . ")";

把这个修改一下,让它小于等于就ok了

6257       $first_sql .= " AND ($col <= " . $q->quote_val($val) . ")";

然后重新执行

[root@redis02 ~]# pt-archiver --source h=10.0.0.7,u=root,p=123456,D=tom,t=test,A=utf8 --dest h=10.0.0.6,P=3306,D=tom,t=test --where "1=1" --statistics  --progress 10000 --limit 10000 --txn-size 5000 --no-delete
TIME                ELAPSED   COUNT
2017-07-25T10:58:48       0       0
2017-07-25T10:59:00      12   10000
2017-07-25T10:59:10      22   20000
2017-07-25T10:59:19      30   30000
2017-07-25T10:59:32      44   40000
2017-07-25T10:59:46      58   50000
2017-07-25T11:00:00      72   60000
2017-07-25T11:00:12      84   70000
2017-07-25T11:00:24      96   80000
2017-07-25T11:00:36     108   88786
Started at 2017-07-25T10:58:48, ended at 2017-07-25T11:00:36
Source: A=utf8,D=tom,h=10.0.0.7,p=...,t=test,u=root
Dest:   A=utf8,D=tom,P=3306,h=10.0.0.6,p=...,t=test,u=root
SELECT 88786
INSERT 88786
DELETE 0
Action         Count       Time        Pct
inserting      88786    88.3225      81.45
select            10     0.4881       0.45
commit            36     0.2246       0.21
other              0    19.4023      17.89

ok  ,至此问题完美解决

为了方便大家交流,本人开通了微信公众号,和QQ群291519319。喜欢技术的一起来交流吧

转载于:https://my.oschina.net/u/3023401/blog/1486759

pt-archiver 数据归档bug相关推荐

  1. 那些年跟领导聊过的数据归档【DB篇】:从梳理到落地-DB单表千万级归档详细流程讲解

    文章目录 知人论世 执笔蓝图 V1 - 浅尝辄止 V2 - 初窥门镜 V3 - 木已成舟 躬行方案 安内 攘外 卓有成效 沉淀之石 道阻且长 知人论世 无论何种需求的出现都是因为某种迫切解决的问题契机 ...

  2. 用NSKeyedArchiver存储数据(归档)

    用NSKeyedArchiver存储数据(归档) 一.NSKeyedArchiver和NSUserDefault的区别 NSUserDefault只能存储基本数据类型,如NSInteger NSStr ...

  3. sqlserver大数据归档

    昨天做了个日常大数据归档,归档700W数据,表字段130左右,字段比较多,分享下! ----先禁用表的index 1.先获取需要禁用的索引 declare @tname varchar(100) se ...

  4. Xamarin使用ListView开启分组视图Cell数据展示bug处理

    问题描述 Xamarin使用IsGroupingEnabled="true"之后再Cell操作就会出现数据展示bug,数据不刷新的问题,如下图所示: 点击取消的是其他钢厂,但Vie ...

  5. 三年之久的 etcd3 数据不一致 bug 分析

    etcd 作为 Kubernetes 集群的元数据存储,是被业界广泛使用的强一致性 KV 存储,但近日被挖掘出一个存在 3 年之久的数据不一致 bug--client 写入后无法在异常节点读取到数据, ...

  6. Saiku Table展示数据合并bug修复(二十五)

    Saiku Table展示数据合并bug修复 Saiku以table的形式展示数据,如果点击了 非空的字段 按钮,则会自动进行数据合并,为空的数据行以及数据列都会自动隐藏掉. 首先我们应该定位问题: ...

  7. oracle 11g Flashback Data Archive(闪回数据归档)

    Flashback Data Archive(闪回数据归档) UNDO表空间记录的回滚信息虽然可以提供回闪查询,但时间久了,这些信息会被覆盖掉,其实只要事务一提交,他们就变成可覆盖的对象了,所以经常在 ...

  8. oracle 12c创建归档,oracle 12c 数据归档 即Using In-Database Archiving feature

    在oracle 12c 通过Using In-Database Archiving feature 特性,来启到分离在线数据和历史数据的作用, 即数据归档,应用可以有选择性的访问在线数据或者历史数据, ...

  9. 华为 AI 芯片诞生;马云重当中国首富;微软修复数据删除 Bug | 极客头条

    「CSDN 极客头条」,是从 CSDN 网站延伸至官方微信公众号的特别栏目,专注于一天业界事报道.风里雨里,我们将每天为朋友们,播报最新鲜有料的新闻资讯,让所有技术人,时刻紧跟业界潮流. 快讯速知 华 ...

最新文章

  1. transform总结
  2. apache bench linux,linux – 如何在CentOS上安装Apache Benchmark?
  3. 使用elasticsearch-php需要注意的问题
  4. 包含 PHP和nginx的镜像 supervisord.conf Dockerfile 案例
  5. mongodb 3.4单实例安装与备
  6. 机器学习-特征抽取02
  7. TextBox控件怎样赋值化学符号
  8. 【C++深度剖析教程25】继承中的构造与析构
  9. 异或运算^和他的一个常用作用
  10. 小学奥数 7834 分成互质组 python
  11. 数据结构之排序算法:基数排序
  12. 最简单的视频编码器:基于libx264(编码YUV为H.264)
  13. 碰到 oracle 10g ORA-00257
  14. 曲率系列1:曲率、法曲率、平均曲率、主曲率和高斯曲率(概念推导解读)
  15. 常识推理问答相关最新研究进展
  16. 国外广告联盟:玩转国外CPC网站作弊
  17. 地球人口承载力估计(YZOJ-1021)
  18. Bootstrap抽样和Monte Carlo思想
  19. 磁盘分区、格式化及 LVM 管理
  20. SiteSucker

热门文章

  1. Ubuntu 12.04 如何切换回英文
  2. python爬虫基本知识_爬虫 (十三) 学习 python 基础知识点的正确姿势 (六)
  3. otdr进行多种测试鸿蒙包括,华为联合南非MTN完成业界首个FTTH内置OTDR规模商用
  4. java 稀疏贝叶斯算法_稀疏贝叶斯学习(SBL)算法过程推导
  5. (11) ejb学习: Jpa事务管理类型 container 和 bean
  6. vue实例、指令、生命周期
  7. 什么是localStorage?
  8. IntelliJ IDEA入门教程之一
  9. 阴阳师人数最多的服务器,《阴阳师》手游部分服务器合并公告
  10. java eclipse 注释模板_Eclipse Java注释模板设置详解