最近在EMC公司就Green Plum做了下测试，总体而言，测试效果还是很不错的，在这里非常感谢EMC测试人员的协助，希望有机会能够合作。

本文先后从数据加载、数据查询、数据范围查询、数据更新、修改方面对Green Plum做了相关测试，并给出了评测结论。

第 1 章 测试环境

1.1硬件环境

测试项目

Oracle11G

GreenPlum

Master 节点

GreenPlum

Segment 4节点

GreenPlum

Segment 8节点

主机节点数

2

2

4

8

CPU

2*4 intel 2.83GHz

2*6 intel 3.0GHZ

2*6 intel 2.93GHZ

2*6 intel 2.93GHZ

内存

16G

磁盘

146G*2(Raid1)

SAS 10K

6*300GB SAS(Raid5)

12*600GB SAS(Raid5)

12*600GB SAS(Raid5)

存储

DELL MD3200

6Gbps SAS

36*2T(2Hotspace)

2T*8+10T( Raid5)

N/A

N/A

N/A

网络

2*1Gb千兆网口

4*1 Gb千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

2*1 Gb 千兆网口

2*1 10GB 万兆网口

交换机

3560千兆交换机

万兆交换机2台，千兆交换机1台

1.2 软件环境

Oracle

Green Plum

操作系统&版本

Oracle Linux5.6

Linux5.5

数据库&版本

Oracle 11g 11.2.0.2.0

Greenplum-db-4.1.1.3

2.1 加载性能测试

2.1.1性能测试项目

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Copy VS SQL loader

6400万

900秒

N/A

N/A

外部表 VS 外部表

6400万

N/A

63秒

50秒

6400万*3

N/A

130秒

76秒

Insert方式VS Insert方式

6400万

1800~9000秒

6400万*4

N/A

74秒

39秒

6400万*8

N/A

360秒

90秒

6400万*16

N/A

356秒

209秒

2.1.2测试结果总结

从4节点与8节点的加载性能来看，性能和节点数量基本呈线性关系。

Green Plum与Oracle相比，数据加载的性能提高20倍~100倍不等。

2.2 SELECT性能测试

2.2.1性能测试项目

标准查询语句性能测试

测试项目

具体项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

单分区分组

（参见相关语句）

Select

120秒

——

40

CTAS

33秒

17.5秒

12秒

Insert

——

11.9秒

5.3秒

八分区分组

（参见相关语句）

Select

500秒

——

77.6秒

CTAS

232秒

——

——

Insert

——

——

40.5秒

三十个分区分组

（参见相关语句）

CTAS

——

——

207.3秒

单分区与八个分区分组统计

（参见相关语句）

Select

437秒

67.1秒

56.1秒

CTAS

——

35.8秒

27.7秒

Insert

——

32.4秒

21.9秒

单分区与三十个分区分组统计

（参见相关语句）

Select

——

230.0秒

——

IP查询语句性能测试

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

IP范围查询—by 转换后

（参见相关语句）

约1800秒

——

约2537秒

IP范围查询—by函数

（参见相关语句）

约18000秒

——

约36000秒

IP查询

（参见相关语句）

——

21秒

32~98秒

2.2.2测试结果总结

从以上的测试数据来看，大批量的数据处理，都能够在所期望的时间内以很短的时间完成执行。通过4个节点与8个节点响应的SQL测试时间的比较来看，性能与节点数量基本上呈线性关系。

GreenPlum与Oracle相比，数据查询的性能提高3倍~20倍不等。（Oracle的测试结果已做过优化，GP则为无索引状态）

基于IP范围查询的结果见补充说明

2.2.3补充说明

对于IP范围查询（包括数字和函数比较），Green Plum和Oracle的执行性能均一般，GreenPlum还要更差一些。

为了解决这个性能问题，Green Plum对IP表做了特殊处理，即把10999行的IP表拆分成1亿多条的IP明细表，采用等关联处理，即避开nestloop方式的join而使用更为快速的hash join。修正效果显著，相同的数据关联从之前的约2500秒的处理时间降低到约20秒，有了100倍左右的提升。

2.3 UPDATE、DELETE性能测试

2.3.1性能测试项目

测试项目

Oracle

11G

GreenPlum

4节点

GreenPlum

8节点

Update（30个分区）

——

——

130.7秒

Delete

——

——

12秒

2.3.2测试结果总结

对于大批量数据的更新和删除，Green Plum的优势更加明显，Oracle还需要加以特殊处理（即分段处理）才能进行更新和删除。

Green Plum的Update有个小问题，批量增加字段会导致整个表的大小翻倍，可以通过表的在线分析进行压缩。

Green Plum测试报告相关推荐

  1. Green Plum 非并行备份恢复方案

    Green Plum 非并行备份恢复方案 环境 centos 7 主 145.170.41.153(master) root/123456 145.170.41.154(segment) root/1 ...

  2. Green Plum 备份恢复集成方案

    Green Plum 备份恢复集成方案 前置条件 安装了gpbackup和gprestore备份恢复工具 不同的gpbackup会生成不同的时间戳,gprestore 必须通过–timestamp选项 ...

  3. 《Greenplum企业应用实战》一2.3　畅游Greenplum

    本节书摘来自华章出版社<Greenplum企业应用实战>一书中的第2章,第2.3节,作者 何勇 陈晓峰,更多章节内容可以访问云栖社区"华章计算机"公众号查看 2.3 畅 ...

  4. UCan下午茶杭州站：突破困惑，为大数据商业化变现探寻出路

    今天,对大数据的分析挖掘已经成为企业提升竞争力的全新支点.各行各业在大数据领域的商业进程明显加速,但如何让大数据发挥价值还面临很多困境. 除了数据的使用权.数据安全.数据存储等问题,现阶段,更多的人对 ...

  5. SQL PASS西雅图之行——会议篇

    下午4点左右终于回到了Convention Center,这时参会人员已经陆续报到了. 报名登记结束后,从6点开始SQL-PASS会议组举办了一个欢迎仪式. 接下来是晚宴时间,我也终于找到了Tiffe ...

  6. plsql怎么导出几十w的数据到csv_Greenplum数据库使用总结(干货满满)初级使用

    4 Greenplum 初级使用 4.1 Greenplum 常用命令列表 4.1.1 常用命令列表 进入到安装目录下的bin目录下,查看常用的使用命令: psql / clusterdb / cre ...

  7. 2020年开发踩坑记录

    20200207 mybatis plus 自带insert插入异常 sql injection violation 解决方法: 使用逆向工程脚本时,生成的映射实体类在下面的注解会多table: 删除 ...

  8. 日常踩坑记录-汇总版

    开发踩坑记录,不定时更新 心得 RTFM 严谨的去思考问题,处理问题 严格要求自己的代码编写习惯与风格 注意 单词拼写 20200207 mybatis plus 自带insert插入异常 sql i ...

  9. GreenPlum常用字符串函数

    GreenPlum常用字符串函数如下: 测试代码: eda_gp=> select 'green'||'plum' as dbname;dbname -----------greenplum ( ...

最新文章

  1. 【NIO】IO多路复用
  2. Leaflet中获取两个地理坐标点之间的距离
  3. batchsize一定是2的幂_支付接口的幂等性设计
  4. C++之运算符重载（下）
  5. 一个程序员的全部，并不是“技术”！知道为什么只能当码农吗？
  6. BZOJ1968: [Ahoi2005]COMMON 约数研究
  7. 管能做暖气管道吗_地暖这么好，为什么大家都选暖气片？原因在于它的“隐性”成本...
  8. win7 mysql zip包如何安装_MySql 5.7.31 win7 Zip压缩包配置教程
  9. 【02】 PC端网页布局之CSS3-pink老师-2022/03
  10. coreldraw x5安装视频教程_免费史上最全的EndNote视频教程
  11. PLC网络流量异常检测的统计模型和神经网络模型的比较研究
  12. juc并发编程学习(一)
  13. 国外计算机著名核心期刊介绍（转）
  14. GK309协议电子工牌数据模拟器+Socket数据发送 JAVA版-源码
  15. matlab里的图像处理函数
  16. \t\t手纹里面的秘密
  17. js中click()与onclick()的区别
  18. 音频服务器未能正常启动,win7系统音频服务无法启动具体解决方法指引
  19. 初探PLC远程通讯技术
  20. 微信jsapi支付获取code_【微信支付】JSAPI支付开发者文档

热门文章

  1. ubuntu安装perl模块
  2. 唐骏：毕业5年决定你的命运
  3. Linux系统LVM逻辑卷工作原理，必看~
  4. 异常笔记：运行hdfs copyFromLocal 上传文件报错
  5. SQL触发器 常用语句
  6. BZOJ 2724: [Violet 6]蒲公英
  7. 6.4. Pirum is a simple PEAR Channel Server Manager
  8. fitnesse - 安装部署
  9. （六）数据处理——录入、清洗、加工、描述
  10. springmvc错点集结