mysql 归档方案（一次性）

一、归档流程：

1. 导出需要的数据

2. 创建临时表table_tmp

3. 导入数据到临时表

4. 修改原始表名为table_bak

5. 修改临时表为原始表名

二、归档方式对比

　　1. select into outfile load data infile 导入导出的方式

　　　　SELECT * FROM student where create_time > '2018-10-01 00:00:00' into /data/mysql/student.sql

　　　　source /data/mysql/student.sql

　　2. INSERT INTO 直接读取写入的方式

　　　　INSERT INTO student_tmp SELECT * FROM student where create_time > '2019-02-16 00:00:00'

　　3. mysql官方自带逻辑备份工具mysqldump

　　　　mysqldump --user=root --host=127.0.0.1 -p --skip-lock-tables --single-transaction --flush-logs --hex-blob --master-data=2 test student --where="create_time > '2019-04-16 00:00:00'" > /data/mysql/student.sql

　　4. Percona归档工具pt-archiver

　　　　pt-archiver \

　　　　--source h=127.0.0.1, u=root, p=123456, D=test, t=student \

　　　　--dest h=127.0.0.1, P=3306,u=root,p=123456, D=test,t=student_tmp \

　　　　 --progress 50000 \

　　　　--where "create_time > '2019-02-16 00:00:00'" \

　　　　--bulk-insert \

　　　　--statistics \

　　　　--charset=UTF8 \

　　　　--limit=50000 \

　　　　--txn-size 1000 \

　　　　--no-delete

　　　　参数说明：

　　　　　　--source 　　#源数据库信息

　　　　　　--dest　　　　#目标数据库信息

　　　　　　--progress 5000　　 #每处理5000行输出一次处理信息

　　　　　　--where　　　　 #设置操作条件

　　　　　　--bulk-insert　　　　#批量插入数据到dest主机

　　　　　　--statistics　　　　　#输出执行过程及最后的操作统计

　　　　　　--charset=UTF8　　　　#指定字符集为UTF8

　　　　　　--limit=50000　　　　　#每次取1000行数据用pt-archive处理

　　　　　　--txn-size 1000　　　　#设置1000行为一个事务提交一次

　　　　　　--no-delete 　　　　　#不删除源数据

　　　　　　--purge 　　　　#删除source数据库的相关匹配记录　

转载于:https://www.cnblogs.com/Jack1023/p/10906384.html

mysql 归档方案（一次性）相关推荐

千万级大表如何更快速的创建索引_分享一份生产环境mysql数据库大表归档方案，值得收藏...
概述分享下最近做的一个mysql大表归档方案,仅供参考. 整体思路一.明确哪些大表需做归档 1.数据库表概要信息统计 SELECTt1.table_schema,t1.table_name,`EN ...
高并发架构系列：Redis缓存和MySQL数据一致性方案详解
需求起因在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节.所以,就需要使用redis做一个缓冲操作,让请求先访问到redis,而不是直接访问MySQL等数据库. 这个业务场景,主要 ...
mysql applier_DRC 是唯品会自研的MySQL双向复制方案，主要应用场景是数据库双向复制、单向复制...
关于DRC DRC(Data Replication Center)是唯品会自研的MySQL双向复制方案,主要应用场景是数据库双向复制.单向复制. 目前DRC在唯品会还未正式使用,正在逐步验证,功能仍 ...
MySQL备份方案–(利用mysqldump以及binlog二进制日志)
MySQL备份方案-->(利用mysqldump以及binlog二进制日志) 随着数据不断增加,而且为了兼容以后的innodb存储引擎, 所以考虑采用mysqldump全备+日志增量备份的策略. ...
mysql 迁移方案_不同场景下 MySQL 的迁移方案
本文内容为什么要迁移 MySQL 迁移方案概览 MySQL 迁移实战注意事项技巧总结一.为什么要迁移 MySQL 迁移是 DBA 日常维护中的一个工作.迁移,是把实际存在的物体挪走,保证该物 ...
MySQL架构方案 - Scale Out Scale Up.
MySQL架构方案 Scale Out:横向扩展,增加处理节点提高整体处理能力 Scale Up:纵向扩展,通过提升单个节点的处理能力达到提升整体处理能力的目的 Replication MySQL的r ...
Logback 日志过滤器的使用-日志分类归档方案
文章目录前言 1. Logback 过滤器的分类 2. 常规过滤器 2.1 日志级别过滤器 LevelFilter 2.2 日志评估过滤器 EvaluatorFilter JaninoEventEv ...
mysql归档日志满了_MySQL核心知识学习之路（1）
[MySQL]| 总结/Edison Zhou 作为一个后端工程师,想必没有人没用过数据库,跟我一起复习一下MySQL吧,本文是我学习<MySQL实战45讲>的总结笔记的第一篇,总结了My ...
分布式缓存redis 方案_Redis缓存和MySQL数据一致性方案详解
在高并发的业务场景下,数据库大多数情况都是用户并发访问最薄弱的环节.所以,就需要使用redis做一个缓冲操作,让请求先访问到Redis,而不是直接访问MySQL等数据库. 这个业务场景,主要是解决读数 ...
mysql分区方案的研究
笔者觉得,分库分表确实好的.但是,动不动搞分库分表,太麻烦了.分库分表虽然是提高数据库性能的常规办法,但是太麻烦了.所以,尝试研究mysql的分区到底如何. 之前写过一篇文章,http://www.c ...

mysql 归档方案（一次性）

mysql 归档方案（一次性）相关推荐

最新文章

热门文章