使用TPC-DS对kudu进行基准测试

文章目录

使用TPC-DS对kudu进行基准测试
- TPC-DS介绍
- kudu介绍
- 安装TPC-DS工具
- 初始化目录，提前准备sh脚本，使用TPC-DS工具生成测试数据和基准查询语句
- TPC—DS生成测试数据文件批量上传至HDFS
- TPC-DS提供DDL语句与impala和kudu建表语法有差异，需要手动改造
- impala外部表和kudu表的创建-外部表数据导入到kudu表中
- 数据导入成功进行TPC—DS提供的基准查询

使用TPC-DS工具对kudu列式存储数据库进行一个完整的自动化基准测试。
前置条件：CDH整套环境已经搭建好,登录Impala Daemon节点执行。

操作步骤：
1.安装TPC-DS工具
2.初始化测试目录，使用TPC-DS工具生成测试数据dat文件和查询语句。
3.在HDFS新建目录，将测试数据dat文件上传到HDFS中。
4.将TPC-DS提供的DDL语句做语法兼容改造。
5.准备impala外部表和kudu表的DDL、COUNT、LIMIT语句，整理成SQL文件。准备统计分析（computer status table_name）的SQL语句。
6.调用start_tpc_import.sh进行impala外部表的建表，执行kudu内部表ddl，将impala外部表数据导入到kudu内部表，调用统计分析SQL，收集执行结果信息到tpc_ds_test/result目录查看，具体的SQL文件执行日志在tpc_ds_test/logs目录查看。
7.整理TPC-DS提供的SQL基准查询语句，由于有些语法不兼容kudu，需要进行手动调整，最后整理到单独SQL文件中。
8.调用start_kudu_query.sh，执行手动调整过后的TPC—DS的SQL基准查询。收集执行结果信息到tpc_ds_test/result目录查看，具体的SQL文件执行日志在tpc_ds_test/logs目录查看。

自动化测试脚本地址:https://github.com/linmeibao/tpc_ds_test

TPC-DS介绍

TPC-DS是一个面向决策支持系统(decision support system)的包含多维度常规应用模型的决策支持基准，包括查询(queries)与数据维护。此基准对被测系统(System Under Test’s, SUT)在决策支持系统层面上的表现进行的评估具有代表性。

此基准体现决策支持系统以下特性：

1.测试大规模数据
2.对实际商业问题进行解答
3.执行需求多样或复杂的查询（如临时查询，报告，迭代OLAP，数据挖掘）
4.以高CPU和IO负载为特征
5.通过数据库维护对OLTP数据库资源进行周期同步
6.解决大数据问题，如关系型数据库(RDBMS)，或基于Hadoop/Spark的系统

基准结果用来测量，较为复杂的多用户决策中，单一用户模型下的查询响应时间，多用户模型下的查询吞吐量，以及数据维护表现。

TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表，17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询，覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用，测试用的数据和值是有倾斜的，与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集，也是难度较大的一个测试集。

kudu介绍

Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware（商品硬件）上运行，horizontally scalable（水平可扩展），并支持 highly available（高可用）性操作。

安装TPC-DS工具

1.下载安装包，http://www.tpc.org/tpc_documents_current_versions/current_specifications5.asp
。必须输入邮箱，他会发下载地址到邮箱中，点击下载地址即可下载。

2.在linux服务器进行解压：unzip 8fb68f0a-33f8-40be-96b4-322eb3e88af5-tpc-ds-tool.zip

drwxr-xr-x  10 hsy  staff   320B  5 25 16:13 v2.13.0rc1
➜ cd v2.13.0rc1 && ll
total 40
-rw-r--r--    1 hsy  staff    17K  5 25 15:27 EULA.txt
drwxr-xr-x  131 hsy  staff   4.1K  5 25 15:28 answer_sets
drwxr-xr-x  109 hsy  staff   3.4K  5 25 15:27 query_templates
drwxr-xr-x   17 hsy  staff   544B  5 25 15:27 query_variants
drwxr-xr-x    4 hsy  staff   128B  5 25 15:27 specification
drwxr-xr-x   70 hsy  staff   2.2K  5 25 15:27 tests
drwxr-xr-x  364 hsy  staff    11K  5 25 15:26 tools

3.安装TPC-DS编译依赖环境

yum -y install gcc gcc-c++ expect

4.进入tools目录进行编译：make

初始化目录，提前准备sh脚本，使用TPC-DS工具生成测试数据和基准查询语句

1.新建一个测试目录，新建tpc_test_init.sh，进行初始化目录，这里使用/root/目录
vim /root/tpc_test_init.sh
将