分享改进高性能通用分表归档存储过程测试结果更新

因高层突然变卦要以存储过程来完成订单的拆分归档工作所以虫子的同步工具先暂时搁置一段时间。

详细设计参考原理篇

更新一下测试结果旧的测试结果放在下面前一篇关于限制性开源的文章先删除因为是企业在用项目所以不开放性公布源码了有需要交流的同学可以单独联系虫子

更新内容

　　解决了一些bug，例如以前按一级表、二级表、三级表...的顺序删除，结果导致一级表删除后，二级表的数据读取错误。

　　优化了过程安全，在3个阶段进行临时表和游标资源的check。降低预料外异常对程序的影响。

　　改变删除的设计。

　　总的来说不是从性能上更新，而是从业务角度保证数据的完整性

最新测试结果

　500条

查看原图：http://pic002.cnblogs.com/images/2011/87114/2011121412594683.jpg

1000条

查看原图：http://pic002.cnblogs.com/images/2011/87114/2011121413012846.jpg

3000条

查看原图：http://pic002.cnblogs.com/images/2011/87114/2011121413020332.jpg

5000条

查看原图：http://pic002.cnblogs.com/images/2011/87114/2011121413024434.jpg

旧的测试结果

先晒下性能测试环境总共33张表数据量如下

归档表初始化

先看批次500条的性能

看看运行时间

2.342秒！！！！！

看看我们插入了的数据是否准确

OK源表的数据是500 或许大家对这组数据不以为然但是你要明白在33张特大表中进行的操作并且之间层级关联各种安全容错处理

再清除一下试试5000条

70秒有木有有木有比预想的性能要差一些因为5000条所涵盖的事务太大

数据还是很完美

总的来说这样的性能对于这样的应用场景应该没有多少老大会不满意了

先简单阐述一下概要详细查看原理篇

源表：一般是指同步归档等的主表 demo中以订单头表为例

一级表：以源表为关联表的数据表

二级表：以一级表为关联表的数据表

...

异常表：容错处理用来存放异常数据如果当期批次出错则将本次批次源表关联键信息入库下一批次则过滤这些数据再执行

减少IO的操作次数用游标循环源表来关联一级表二级表等是很错误的方案

理清层级关系源表过滤数据副本化如果一级表关联的操作次数比较多那么可以模仿源表操作以临时表取代物理表如果表关联的操作次数不多可以直接生成数据过滤池

转载于:https://www.cnblogs.com/dubing/archive/2011/12/14/2287432.html

分享改进高性能通用分表归档存储过程测试结果更新相关推荐

分享改进高性能数据同步工具(一)
题外:在博文索引中暂时列出了开源的计划一览,虫子开源的目的是希望能有更多的交流,部分软件可能小得连开源协议的认证价值都没有.不管程序有多小多简单,用心把一个完整的设计思路.实现过程以及测试结果展现给大 ...
通用多表分页存储过程
CREATE PROCEDURE [dbo].[GetRecordByPage] ( @tblName nvarchar(400), ----要显示的表或多个表的连接 @fldName nvarcha ...
mysql分表规则（转）
author:skate time:2013/05/14 Mysql分表准则在大量使用mysql时,数据量大.高访问时,为了提高性能需要分表处理,简介下mysql分表的标准,后续会继续补充环境: ...
Mycat 读写分离、主从切换、分库分表的操作记录
Mycat 读写分离.主从切换.分库分表的操作记录系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等 ...
Mycat读写分离、主从切换、分库分表的操作记录 https://www.cnblogs.com/kevingrace/p/9365840.html
[此篇文章写得不错] 系统开发中,数据库是非常重要的一个点.除了程序的本身的优化,如:SQL语句优化.代码优化,数据库的处理本身优化也是非常重要的.主从.热备.分表分库等都是系统发展迟早会遇到的技术问 ...
mysql分表准则_Mysql分表准则_MySQL
bitsCN.com Mysql分表准则 Mysql分表准则在大量使用mysql时,数据量大.高访问时,为了提高性能需要分表处理,简介下mysql分表的标准,后续会继续补充环境: 业务类型:OLT ...
mysql分表的原则_mysql分表规则（转）
author:skate time:2013/05/14 Mysql分表准则在大量使用mysql时,数据量大.高访问时,为了提高性能需要分表处理,简介下mysql分表的标准,后续会继续补充环境: ...
mysql分表的原则_Mysql分表准则
Mysql分表准则在大量使用mysql时,数据量大.高访问时,为了提高性能需要分表处理,简介下mysql分表的标准,后续会继续补充环境: 业务类型:OLTP 硬件: cpu:8cpu 2.4GHZ ...
Mycat 读写分离+分库分表
上次进过GTID复制的学习记录,已经搭建好了主从复制的服务器,现在利用现有的主从复制环境,加上正在研究的Mycat,实现了主流分布式数据库的测试 Mycat就不用多介绍了,可以实现很多分布式数据库的功 ...

分享改进高性能通用分表归档存储过程测试结果更新

分享改进高性能通用分表归档存储过程测试结果更新相关推荐

最新文章

热门文章

分享改进 高性能通用分表归档存储过程测试结果更新

分享改进 高性能通用分表归档存储过程测试结果更新相关推荐

最新文章

热门文章

分享改进高性能通用分表归档存储过程测试结果更新

分享改进高性能通用分表归档存储过程测试结果更新相关推荐