关于某些系统统计查询等业务进行大数据量的测试

大数据量测试分为两种：一种是针对某些系统存储、传输、统计查询等业务进行大数据量的测试；另一种是与并发测试相结合的极限状态下的综合数据测试。如专项的大数据量测试主要针对前者，后者尽量放在并发测试中。此外，也可以把大数据量测试分为“运行时大数据量测试”与“历史大数据量测试”来进行测试用例设计。

对于第一种，在前段时间的所测的项目中，是个典型的例子。所采用的数据库是mysql,数据量是相当的大，一个查询的业务操作涉及的表很多，各种join，各种where条件。系统在手工测试的情况下，手动查询一个操作都在8秒左右。在并发的情况下更是糟糕。后台CPU占用资源相当的高，一个操作事务的响应时间最长的达到30秒以上。优化SQL语句能够达到一定的效果，但不是那么明显。

对于大数据量的统计分析都不应实时查询数据库，这样效率很低，一般的情况是通过后台程序提前查询出数据，如：可通过触发器，在数据变化时查询出统计结果，然后在统计分析时直接取到这个结果就ok，也可以通过视图的方式。然后，对于数据量到千万级别可以考虑分区，按分区进行统计，减少单表负载。

转载于:https://www.cnblogs.com/crystal-guoguo/archive/2013/05/20/3088495.html

关于某些系统统计查询等业务进行大数据量的测试相关推荐

任何抛开业务谈大数据量的sql优化都是瞎扯
周三去某在线旅游公司面试.被问到了一个关于数据量大的优化问题.问题是:一个主外键关联表,主表有一百万数据,外键关联表有一千万的数据,要求做一个连接. 本人接触过单表数据量最大的就是将近两亿行历史数据( ...
高并发的大数据量查询导致系统频繁死机
我们的大数据量查询是数据库分页的, 但是导出和打印功能是基于全部数据的. 系统投入使用后,对于导出和打印功能的使用远远要高于我们的预期. 而我们的系统的硬件设备是有限的不能再升级了. 抓取内存大对象 ...
数据库查询经常卡死？面对亿级大数据量，我是这么展示分析的
建议你们看到文末,不会亏待你们日常一提数据分析和可视化,就想到这个工具操作要多简单易用,图表要多美多炫,然而总是忽略背后的数据支撑. excel 几十万行数据就卡死崩,谈何数据透视表.可视化? 近千 ...
MySQL 和 Oracle 大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N ---适 ...
MyBatis Plus 解决大数据量查询慢问题
分享知识传递快乐大数据量操作的场景大致如下: 数据迁移数据导出批量处理数据在实际工作中当指定查询数据过大时,我们一般使用分页查询的方式一页一页的将数据放到内存处理.但有些情况不需要分页的方式 ...
MySQL大数据量分页查询方法及其优化
点击上方好好学java ,选择星标公众号重磅资讯.干货,第一时间送达今日推荐:收藏了!7 个开源的 Spring Boot 前后端分离优质项目个人原创+1博客:点击前往,查看更多链接:ht ...
千万级别数据查询优化_MySQL大数据量分页查询方法及其优化
MySQL大数据量分页查询方法及其优化 ---方法1: 直接使用数据库提供的SQL语句 ---语句样式: MySQL中,可用如下方法: SELECT * FROM 表名称 LIMIT M,N ---适 ...
大数据量分页查询方法（转）
本文旨在介绍一种对数据库中的大数据量表格进行分页查询的实现方法,该方法对应用服务器.数据库服务器.查询客户端的cpu和内存占用都较低,查询速度较快,是一个较为理想的分页查询实现方案. 1．问题的提出 ...
java分页查询_面试官：数据量很大，分页查询很慢，有什么优化方案？
准备工作一般分页查询使用子查询优化使用 id 限定优化使用临时表优化关于数据表的id说明 <Java 2019 超神之路> <Dubbo 实现原理与源码解析 -- 精品合集 ...

关于某些系统统计查询等业务进行大数据量的测试

关于某些系统统计查询等业务进行大数据量的测试相关推荐

最新文章

热门文章