Hive tpc-ds 性能测试

TPC-DS是与真实场景非常接近的一个测试集，它包含7张事实表，17张纬度表，平均每张表含有18列。用这个数据集能够很好的模拟企业数据查询、报表生成以及数据挖掘等复杂应用。

安装tpc-ds工具

百度网盘地址：https://pan.baidu.com/s/12berGjbUwMBpnlr1h0TDmw
提取码：afgu

解压后修改hive-testbench-hdp3/tpcds-setup.sh
修改脚本中73行hive的链接串为集群实际的链接串

生成数据

hive-testbench-hdp3/tpcds-setup.sh 20生成20G数据

语句测试

进入sql所在路径

cd hive-testbench-hdp3/sample-queries-tpcds

使用hive链接串链接到hive

use tpcds_text_2;source query3.sql;
source query10.sql;
source query15.sql;
source query20.sql;
source query40.sql;
source query74.sql;
source query91.sql;

Hive tpc-ds 性能测试相关推荐

tpc ds mysql_TPC-DS 数据仓库查询性能测试
最近,需要导入大量的测试数据来评估下某个产品复杂查询SQL性能是否能满足需要,然后,领导大致提了下TPC,找到了TPC-DS工具,创造数据,利用SQL查询模板查询. 一.安装TPC-DS工具 1.下载 ...
tpc ds安装教程 linux,TPC-DS测试hadoop 安装步骤
1.TPC-DS下载地址如下 http://www.tpc.org/tpc_documents_current_versions/current_specifications.asp 1.安装依赖 y ...
tpc ds mysql_TPC-DS 生成数据
简介其实,使用 TPC-DS 生成系统性能测试的数据,说简单也简单,说难,确实也不好做! 关键是在每一步的操作中,如果遇到了问题,该怎么样处理,这个是个问题的关键. 下面就将生成的步骤简单描述一下, ...
Hive压缩存储性能测试
前言前一篇根据官网对Hive表如何使用压缩格式的数据进行了阐述,不过从Hive编程指南中我们可以看到如下一种建议: 当然Hive编程指南的中Hive的版本是非常低的,低于0.13版本,因此创建压缩表 ...
tpc ds 导入到oracle,用TPC-DS测试Sql server，Oracle
TPC-DS是什么 TPC-DS是TPC组织发布的用于测试决策系统的基准测试,是TPC-H的改进版.我们可以用它生成测试数据集和sql语句来测试数据库的OLAP能力. 最近我们用TPC-DS测试了一下 ...
tpc ds mysql_tpc-ds测试tidb结果
1.环境说明 (1)硬件环境: 3台机器 CPU:Intel(R) Xeon(R) CPU E5-2640 v4 @ 2.40GHz 2U40核 MEM:256G DISK:SSD (2)软件环境 ...
大数据组件Hive性能测试和性能优化
目录 1.项目介绍 2.测试方法 3.性能优化 3.1 Hive原理 3.2 优化过程 1.项目介绍这是我在华为做的最后一个项目,当时在华为海思部门.部门主要是给一些国产芯片做服务器的软件性能测试, ...
hive数据导入导出
Hive数据导入导出的几种方式一,Hive数据导入的几种方式首先列出讲述下面几种导入方式的数据和hive表. 导入: 本地文件导入到Hive表: Hive表导入到Hive表; HDFS文件导入到H ...
hivemetastore java,hive启动报错 hive.metastore.HiveMetaStoreClient
之前用的是hive-0.90 ,想与hbase整合下,所以更换hive为0.13.1版本,因为偷懒将原来的conf配置文件拷贝, 结果出现如下错误,hive.metastore.local,hive. ...
hive常用参数配置设置
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto ...

Hive tpc-ds 性能测试

Hive tpc-ds 性能测试相关推荐

最新文章

热门文章