一种基于greenplum数据库的状态检查及性能监控工具

开发中心

导师责任制结业论文

题目：一种基于GreenPlum数据库的状态检查及性能监控工具

学员姓名：

导 师：

部 门： 非功能集成测试处

2014年 7 月 20 日

一种基于GreenPlum数据库的状态检查及性能监控工具

摘 要

GreenPlum(简称GP)数据库是一种MPP架构的分布式数据库，为新一代数据分析所需的大规模数据和复杂查询功能所设计，在各行业中得到了广泛应用。在我行新一代架构P9平台数据仓库中，GP数据库有十分重要的地位。针对GP数据库在非功能测试当中遇到的问题，研究开发一种针对GP数据库的状态检查及性能监控工具具有十分重要的意义。

论文首先总结了导师制一年来的学习工作情况，阐述了自己经过各方面学习与完成测试任务后的心得体会。

第二章首先介绍了P9平台架构，简要介绍了P9平台中各个数据区的情况。其次介绍了GP数据库的架构与重要特点，这些特点使得GP数据库越来越广泛地应用在P9及其他平台中。

第三章是本文的重点，着重介绍了GP数据库的检查与监控方法。本章分操作系统与数据库两种级别来对GP数据库进行检查与监控。主要对针对GP数据库的操作系统命令与GP中的相关查询语句进行介绍与详细分析，为后文工具的实现提供理论依据。

第四章根据第三章所分析的相关命令语句，自行设计工具框架，实现了一种基于GP数据库的状态检查与性能监控工具，同时该工具可动态添加相关操作命令并可增加相关分析功能。

最后，本文对导师制阶段的学习工作与导师制结业工作进行总结和展望。

关键词：GreenPlum数据库 状态检查 性能监控

目 录

1绪论2

1.1研究背景2

1.2研究意义2

1.3研究内容3

1.4导师制工作学习情况4

1.5论文结构5

2P9平台及GP数据库介绍6

2.1P9平台架构介绍6

2.2GP数据库介绍8

2.2.1GP数据库架构8

2.2.2GP数据库分析9

2.2.3GP的重要特点10

3GP数据库检查及监控方法15

3.1操作系统级别检查与监控方法15

3.2数据库级别检查与监控方法17

3.3结果简要分析23

4集成工具的设计与实现25

4.1集成工具框架及实现25

4.1.1集成工具框架25

4.1.2集成工具各模块的实现方法25

4.1.3集成工具的可扩展性26

4.2集成工具的使用方法26

5总结与展望30

5.1总结30

5.2展望31

绪论

研究背景

当今大数据时代下，GreenPlum(简称GP)作为一种分析型数据库软件专门为新一代数据分析所需的大规模数据和复杂查询功能所设计，在各行业中得到了广泛应用。它源于PostgreSQL(开源关系数据库)，因此与Oracle, DB2相似，可以通过标准的SQL对GP中的数据进行访问存取；同时，通过采用MPP(大规模并行处理)架构，GP提供大规模的并行处理能力，支持新一代企业级数据仓库和大规模数据处理，帮助客户查询、分析或整合企业数据。

GreenPlum数据库有以下3点优势：(1)用更低整体成本拥有数据仓库或集市。它的硬件采用X86开放架构，不依赖任何封闭式专有硬件，不需要过多的人工调整和优化，同时可以通过增加节点来实现低成本线性扩展。(2)使用面向OLAP数据仓库应用业界新技术。行/列存储方式适合于OLAP应用，大数据量频繁访问，性能提升40%以上。并行数据加载比串行加载速度提高40-50倍以上，减少ETL窗口时间。分布式并行计算可以大幅提高计算性能20倍以上，减少复杂计算分析的响应时间。(3)支持高可用性在线扩容。在线扩容期间，系统不需要宕机，所有用户访问和数据计算不受影响。在线扩容后，计算性能和数据容量呈线性增长。基于通用X86的低成本扩展，支持多代/隔代产品共存。

在新一代核心系统架构中，数据集成层P9是我行的数据仓库，P1到P8产生的数据都会输送到P9平台，P12在线交易数据服务平台从数据集成层实时获取数据满足在线交易，P10管理分析平台获取数据后完成报表、数据挖掘类等应用。所以在新一代核心系统架构中，P9平台具有十分重要的地位。P9平台中主要使用的数据库之一即为GP数据库，其中贴源数据区、公共访问区、实验数据区使用GP数据库，使用TeraData(TD)数据库的数据区主要有基础主题区、公共计算区、应用计算区，历史数据区使用Hadoop进行存储。

研究意义

由于GP数据库适合批处理，TD数据库较适合大并发实时性高的操作，并且TD数据库成本较GP数据库成本高，所以未来P9平台中的TD数据库将会逐渐被GP数据库所取代。且GP数据库将会尝试应用在