文章目录

前言
1 数据库测试
- 1.1 测试流程
- 1.2 测试内容
- 1.3 测试标准
2 TPC-C基准测试
- 2.1 概念介绍
- 2.2 模型介绍
- 2.3 测试流程
- 2.4 工具介绍
- 2.5 操作步骤
- 2.6 测试结果的验证方式
3 TPC-H基准测试
- 3.1 概念介绍
- 3.2 模型介绍
- 3.3 测试流程
4 TPCC测试实战
5 TPCH测试实战
总结

前言

数据库测试是依据数据库设计规范对软件系统的数据库结构、数据表及其之间的数据调用关系进行的测试。本文主要介绍了两项常用的测试基准 TPC-C 和 TPC-H ，并通过达梦数据库 DM8 分别进行了数据库测试。

1 数据库测试

1.1 测试流程

制定测试大纲，编写测试用例，测试执行，形成测试报告。

1.2 测试内容

功能、性能、可靠性、安全性、易用性、维护性、可扩展性、兼容性。

1.3 测试标准

针对数据库不同的使用场景 TPC 组织发布了多项测试标准。其中被业界广泛接受和使用的有 TPC-C 、TPC-H 和 TPC-DS。

TPC-C、TPC-H 和 TPC-DS 三者最大的一个区别是，TPC-C 是针对 OLTP 数据库进行性能测试，而 TPC-H 和 TPC-DS 是针对 OLAP 数据库进行测试的。本文主要讲解和实践 TPC-C 和 TPC-H 基准测试。

2 TPC-C基准测试

2.1 概念介绍

TPC（transaction processing performance council）被称为事务处理性能委员会，负责定义诸如 TPC-C、TPC-H & TPC-R 和 TPC-W 基准测试之类的事务处理与数据库性能基准测试，并依据这些基准测试项目发布客观性能数据。

TPC-C 是衡量联机事务处理（OLTP，Online Transaction Processing）系统的工业标准，是行业中公认的权威和最为复杂的在线事务处理基准测试。它通过模拟仓库和订单管理系统，测试广泛的数据库功能，包括查询、更新和 mini-batch 事务（队列式小批量事务）。TPC-C基准测试针对一种模拟订单录入与销售环境测量每分钟商业事务（tpmC）吞吐量。

2.2 模型介绍

TPC-C 测试用到的模型是一个大型的商品批发销售公司，它拥有若干个分布在不同区域的商品仓库。每个仓库负责为10个销售点供货，其中每个销售点为3000个客户提供服务，每个客户提交的订单中，平均每个订单有10项产品（5-15件），所有订单中约1%的产品在其直接所属的仓库中没有存货，必须由其他区域的仓库来供货。同时，每个仓库都要维护公司销售的100000种商品的库存记录。

表名	意义	数量级
C_ITEM	商品种类：固定值	100K
C_WAREHOUSE	仓库数	W
C_STOCK	库存数=仓库数*商品种类	W*100K
C_DISTRICT	分区数=仓库数*10	W*10
C_CUSTOMER	客户数=分区数*3000	W*30K
C_ORDER	订单数=客户数	W*30K+
C_HISTORY	历史订单数=客户数	W*30K+
C_NEW_ORDER	新订单数=订单数*900/3000	W*9K+
C_ORDER_LINE	订单行数=订单数100.99…	W*300K+

事务类型	混合的最小百分比	最小按键时间	第90个百分比响应时间约束	最小平均时间分布思考
新订单	n/a	18 秒	5 秒	12 秒
支付	43	3 秒	5 秒	12 秒
订单状态	4	2 秒	5 秒	10 秒
发货	4	2 秒	5 秒	5 秒
库存级别	4	2 秒	20 秒	5 秒

TPC-C 有 9 张表和 5 种事务。
TPC-C 最大的有效的吞吐量（MQTh）的度量是每分钟处理的新订单数量，单位是 tpmC 。
MQTh 正常的范围为（active-warehouse*terminals-per-warehouse）的0.9倍至1.2倍之间。
为了得到较高的 MQTh ，可以根据实际测试结果预估，来调整 Active-warehouse 再次测试。

2.3 测试流程

(1) 初始化数据库
(2) 建表、装载数据
(3) 扩库及日志和创建索引
(4) 数据冷备份
(5) 性能调优
(6) 配置TPCC工具进行测试

2.4 工具介绍

BenchmarkSQL 是一款经典的开源数据库测试工具，其包含 TPCC 测试脚本，应用范围广泛。支持达梦数据库、MySQL、Oracle、EnterpriseDB、PostgreSQL 以及 SQL Server 等数据库的性能压力测试。

BenchmarkSQL 是基于 Java 语言开发的，可以跨平台运行。在安装压测工具之前，必须先安装 JDK（要求 JDK1.7 及以上）并且配置 JAVA 环境变量。

BenchmarkSQL 是非标准TPC-C模型，纯压力测试。

2.5 操作步骤

(1) 执行SQL工具建表

./runSQL.sh props.pg sqlTableCreates

(2) 执行数据装载工具装载数据

./runLoader.sh props.pg numWarehouses 100

(3) 执行测试工具

./runBenchmark.sh props.pg

(4) 为提高性能，通常采用后台运行的方式

nohup ./runBenchmark.sh props.pg > /dev/null 2>&1 &

(5) 测试报告打印在run/log文件下

Benchmarksql.log

2.6 测试结果的验证方式

(1) TPCC基准测试一致性验证语句

(Select w_id, w_ytd from warehouse) except (select d_w_id, sum(d_ytd) from district group by d_w_id);
(Select d_w_id, d_id, D_NEXT_O_ID - 1 from district) except (select o_w_id, o_d_id, max(o_id) from oorder group by o_w_id, o_d_id);
(Select d_w_id, d_id, D_NEXT_O_ID - 1 from district) except (select no_w_id, no_d_id, max(no_o_id) from new_order group by no_w_id, no_d_id);
select * from (select (count(no_o_id)-(max(no_o_id)-min(no_o_id)+1)) as diff from new_order group by no_w_id, no_d_id) where diff != 0;
(select o_w_id, o_d_id, sum(o_ol_cnt) from oorder  group by o_w_id, o_d_id) except (select ol_w_id, ol_d_id, count(ol_o_id) from order_line group by ol_w_id, ol_d_id);
(select d_w_id, sum(d_ytd) from district group by d_w_id) except (Select w_id, w_ytd from warehouse);

连接到数据库做以上查询，如果结果全为0行，则说明tpcc库是一致的，否则说明此库在运行过程中数据出现混乱。

(2) 验证 bmsql_history 表新增的记录数
transaction count * 43% 约等于 bmsql_history 表增加的数据量，不能存在数量级的偏差。

3 TPC-H基准测试

3.1 概念介绍

TPC-H 是一个决策支持的基准，它由一系列面向商务应用的查询和并行数据修改组成。基准里选择的查询和组成数据库的数据在商业上都具有广泛的代表性并且易于实现。主要针对OLAP数据库进行测试的。
TPC-H 数据库由八个单独的表（基本表）组成和22个查询语句。
TPCH 标准包含执行功能测试和吞吐率测试。

3.2 模型介绍

TPC-H是一款面向商品零售业的决策支持系统测试基准，它定义了 8 张表，22 个查询，遵循 SQL92；

表名	行数
SUPPLIER	SF*10000
PART	SF*200000
PARTSUPP	SF*800000
CUSTOMER	SF*150000
ORDERS	SF*1500000
LINEITEM	SF*6000000
NATION	25
REGION	5

3.3 测试流程

（1）使用 dbgen 工具生成数据
（2）使用 dmfldr 工具加载数据
（3）通过 Q22 查询验证

4 TPCC测试实战

利用 TPCC 测试工具 BENCHMARKSQL，测试单机 10 warehouse 的性能。

环境准备：

操作系统：CentOS 7
服务器配置：2核 4G
磁盘容量：20G
数据库版本：dm8_20220304_x86_rh6_64
BenchmarkSQL 工具版本：benchmarksql-5.0rc2-westone-v1.2
JAVA 版本：JDK 1.8

具体步骤：

(1) 切换为 root，在 opt 目录下创建 tpcc 文件夹，移动安装包到 /opt/tpcc 并解压，添加 dmdba:dinstall 权限，得到如下文件。

(2) 进入 run 文件夹，查看 props.dm 文件。

(3) 修改配置。

需要关注的参数：

user：工具写死了必须用benchmarksql模式，所以user必须为benchmarksql用户。
warehouses：被测仓库数。
loadworkers：数据装载并发数。
terminals：数据库连接并发数。
runMins：测试时间（分钟）。

(4) 在DM管理工具里创建表空间、用户和表。

(5) 查看表中数据量，均为0。

(6) 执行./runLoader.sh 装载数据。

偶尔因为网络原因导致加载仓库顺序有变化，属于正常现象。

(7) 查看当前数据量。

(8) 创建序列。

(9) 执行测试工具。

225.23÷496.42≈45.37% ，与 43%相比偏高了。

结果参数说明：

Running Average tpmTOTAL：每分钟平均执行事务数（所有事务）
Memory Usage：客户端内存使用情况
Measured tpmC (NewOrders) ：每分钟执行的事务数（只统计 NewOrders 事务）
Transaction Count：执行的交易总数量

(10) 执行TPCC基准测试一致性验证语句，结果都为空。

(11) 验证 bmsql_history 表新增的记录数。

transaction count * 43% 约等于 bmsql_history 表增加的数据量。

5 TPCH测试实战

利用TPCH测试工具简单进行1G规模测试。

具体步骤：

(1) 使用dbgen生成数据。

(2) 在数据库中创建表结构。

(3) 利用 degen 工具模拟生成1G的数据。会在当前目录下生成数据源文件，用来之后 dmfldr 导入的元数据。

(4) 返回 linux 目录，修改每个表的 dmfldr 控制文件。

主要是修改两个路径，如下图所示。

(5) 使用 dmfldr 工具加载数据。（ dmfldr 的路径在 /dm/dmdba/dmdbms/bin ）
依次执行：

./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/customer.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/lineitem.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/nation.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/orders.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/part.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/partsupp.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/region.ctrl\'
./dmfldr userid=SYSDBA/SYSDBA:5236 control=\'/opt/tpch/linux/supplier.ctrl\'

(此处只列举了一个 customer 的导入进程。)

(6) 更新统计信息。

(7) 通过 Q22 查询验证。（此处为Q20）

总结

本文介绍了数据库测试中的 TPCC 和 TPCH 两项测试基准，并完成实践 DM8 数据库测试。

如果文中有误，欢迎指出，大家共同交流进步！

更多达梦技术资讯，请访问达梦技术社区：
达梦数据库 - 新一代大型通用关系型数据库 | 达梦云适配中心
https://eco.dameng.com/

【达梦数据库】数据库测试相关推荐

达梦DM8数据库异机数据迁移测试
达梦 DM8 数据库异机数据迁移测试一.源库备份源库DMOA,主机名:dm3 目标库 DMOA 主机名:db 在DMTEST模式里创建了T_EMP01.T_EMP02.T_EMP03.T_TE ...
达梦dm8可视化工具_DM8(达梦8)数据库安装和使用
达梦8(DM8)数据库入门及使用 to 达梦大学刘秀君原创,抄袭必究目录 1 介绍武汉达梦数据库有限公司成立于2000年,为中国电子信息产业集团(CEC)旗下基础软件企业,专业从事数据库 ...
Flowable6.8(6.x版本通用)整合集成达梦8数据库(DM8)详解，解决自动生成表时dmn相关表语法报错问题。
Flowable集成达梦8数据库相信大部分人都和我一样,以为只要换个数据源就可以了,起初我只更换了数据源,并开启了自动创建表功能. spring:datasource:url: jdbc:dm:// ...
达梦8数据库安装小结及问题分析
一.数据库安装准备环境:操作系统银河麒麟 V10(Kylin-Server-10-SP2-x86-Release-Build09-20210524.iso) 数据库:DM8 (dm8_2021081 ...
达梦dm数据库远程备份与恢复
达梦dm数据库远程备份与恢复达梦数据库远程操作进行备份与恢复在网络上的参考资料与博客比较少,这里记录下项目中用到的方法. 1.工具类首先是编写工具类,用于连接远程服务器.生成相应操作的 ...
oracle数据库dblink创建语句_3场直播丨达梦DM8数据库安装部署初体验、新基建下的国产数据库应用和发展趋势、Oracle外部表创建与使用...
1. 循序渐进-达梦DM8数据库安装部署初体验-07/16 简介: 本讲座主要介绍达梦DM8数据库软件安装与数据库创建. 2019年5月,DM8发布. 基于新技术发展的思考和市场的需求,坚持实用性.通 ...
3场直播丨达梦DM8数据库安装部署初体验、新基建下的国产数据库应用和发展趋势、Oracle外部表创建与使用...
1. 循序渐进-达梦DM8数据库安装部署初体验-07/16 简介: 本讲座主要介绍达梦DM8数据库软件安装与数据库创建. 2019年5月,DM8发布. 基于新技术发展的思考和市场的需求,坚持实用性.通 ...
三场直播丨达梦DM8数据库体系结构、从零快速搭建一整套监控体系、Oracle Database Server经典体系结构...
1. 达梦DM8数据库的体系结构介绍 2. 触类旁通– Oracle Database Server经典体系结构 3. 如何从零快速搭建一整套监控体系(日志采集+主机+数据库)
达梦DM数据库—线上培训学习简记
达梦DM数据库-线上培训学习简记 (20200812) 有幸参加国内领先的达梦数据库(自主研发)的线上学习,达梦的老师都非常的NICE, 遇到问题会非常耐心的线上解答.现将这次的学习中的一些知识点做了 ...
中标麒麟系统安装达梦8 数据库
中标麒麟系统安装达梦8 数据库最近国产化软件相继进入各大软件公司使用,达梦作为国内数据库的佼佼者,我们也应该学会使用,软件都是一点点推广,积累了一点小经验,拿来分享.... 环境准备 1.VMwar ...

【达梦数据库】数据库测试