GBase 8a MPP Cluster技术先进性

GBase 8a MPP Cluster作为行业内最先进的MPP数据库分析，从产品成熟性、稳定性、高可用性、高可靠性和高安全性方面具有以下优势，整理如下。

1）低硬件成本：完全使用X86架构的PC Server，不需要昂贵的Unix服务器和磁盘阵列，支持主流硬件厂商的硬件；

2）集群架构与部署：基于列存储的完全并行的MPP + Shared Nothing的分布式架构，采用多活Coordinator（Master）节点、运算节点的两级部署结构，避免了单点性能瓶颈和单点故障。Coordinator节点支持最多部署64个；数据节点数量可300节点以上，单节点可支持10TB～50TB数据量，且所有节点无共享，具有对等计算能力；集群支持海量数据存储、查询，可处理10PB级以上的数据；

3）海量数据分布压缩存储：可处理PB级别以上的结构化数据，采用Hash或Random分布策略进行数据分布式存储；同时采用先进的压缩算法，减少存储数据所需的空间，并相应地提高I/O性能；支持实例级、库级、表级三级压缩；支持基于列存储的数据编码及高效压缩技术；压缩比可达1:20；

4）智能索引：采用粗粒度智能索引技术，索引建立膨胀率不超过百分之一。智能索引包含基于列的统计信息，在数据检索定位时可被直接使用，有效过滤数据，大幅降低数据库磁盘I/O；

5）数据加载高效性：数据加载高效性：基于集群节点间的完全并行的数据加载模式，可充分利用各个节点的CPU并行计算能力和I/O吞吐能力，单加载节点加载速度>=1TB/小时；

6）高扩展、高可靠：支持集群节点的在线扩容和缩容，效率更高，对业务的影响更小；应用性能随着节点服务器增加而线性增长；支持在线自动替换故障数据节点，而不影响业务运行。集群具有数据备份恢复能力，支持全量、增量备份/恢复；

7）集群内高可用：通过冗余机制来保证集群的高可用特性，互备的分片数据间可实现自动同步；数据通过副本提供冗余保护，自动故障探测和管理，自动同步元数据和业务数据。部分副本故障不影响集群的可用性；支持故障的自动恢复，无需人工干预；数据的副本机制支持1或2个数据副本，支持用户自定义的数据副本分布方式；保证客户7×24小时不间断的运行处理。

8）主备集群高可用：集群支持主备集群高可用模式；支持数据全量、增量同步；支持主备同步回滚机制；支持主备同步错误恢复机制；支持容灾备机只读查询；支持同城灾备；通过虚拟分片策略（可通过在主备系集群的节点上设置不同的虚拟分片实现）支持生产环境和容灾环境在拓扑上的异构；

9）易管理：提供图形化管理工具，以简化管理员对数据库的管理工作；提供图形界面的数据库性能监控和动态性能调整等功能，能为管理员提供调优建议，提供系统自动参数调优功能；提供数据库、表等参数可在线设置，支持在线重建索引，支持可以在线添加、删除或重命名表中的列；GBase 8a MPP ClusterV8提供了企业管理工具、集群监控工具、gcadmin命令行工具等数据库管理工具，可以对数据库的各项功能进行集中式统一管理，对系统运行状态、资源占用、任务执行情况进行监控和自动调优，实现数据快速加载及集群间数据高效访问等多项功能；

10）高并发：支持多个用户操作同一条记录或一个表时，读取、写入互不影响。读操作不上锁，不会产生废数据、垃圾数据等。通过事务领域隔离机制实现读写不互斥，支持数据的边加载边查询，单个节点并发能力大于４00个并发；产品内部通过划分Global Scope和Transaction Scope可实现读写的混合负载，而无需读与写操作的相互排斥，通过这一机制可以支持多个用户操作同一条记录或一个表时，读取、写入互不影响。读操作不上锁，不会产生废数据、垃圾数据等。读写不互斥，支持数据的边加载边查询；可以实现Commited Read（读已提交级别）的事务隔离级别；

11）高效存储结构：采用基于列存储、为分析优化的存储结构；索引采用免维护的智能索引；支持行列混合存储：提供行列混合存储方案，从而提高了列存数据库特殊查询场景的查询响应耗时；

12）安全性：提供完善的用户账号控制策略，角色划分，提高数据库集群的安全性；提供详尽的审计日志输出功能，记录数据库中与数据库操作相关的所有日志，也可以通过图形化的监视工具实现审计管理；支持透明的数据加密：支持数据存储加密，支持数据库密码加密，支持数据加密压缩；支持相关加密函数等；

13）标准化：支持SQL 标准，支持ODBC、JDBC、ADO.NET等接口规范；支持C API，Python API，TCL API等接口；支持SQL OLAP函数；

14）灵活的数据分布：用户可以按照业务场景的需求，自定义数据分布策略，从而在性能、可靠性和灵活性间获得最佳匹配；

15）异步消息：Coordinator默认采用异步消息模式与数据节点通信，支持百节点以上的集群规模；

16）并行度：支持多CPU并行和多服务器并行、支持SQL任务在节点之间的并行执行，对1个SQL任务可以由分布式SQL执行引擎产生最佳的查询执行路径，合理利用集群资源，将运算分摊到多个节点执行，并行利用节点的计算能力和存储。在单个节点内部，充分利用多核计算的SMP架构，实现双向并行技术。作为双向并行中的横向并行，实现将同一任务拆分成若干个线程，交给不同的CPU核心并行执行。作为双向并行中的纵向并行，是通过任务之间的管道操作，实现并行执行。基于这种MPP + SMP高度并行的计算能力，可以支持并行查询/DML、备份/恢复、导入/导出、索引创建。集群会通过Hash规则等自动保持节点间的数据均衡分布，在并行执行时并行度不会依赖于数据分布和物理节点的数量。集群层通过两段式提交技术实现事务处理的完整性控制等，并支持在大规模节点中部分节点提交阶段异常时全集群回滚操作，从而保证即使发生两段式提交异常，集群仍能保证数据一致性；

17）容错性：集群具有很强的容错能力、错误恢复能力、错误记录及预警能力，GCWare可以对集群内部发生的各种异常事件进行监测，并触发相应的故障切换和故障恢复程序，在故障切换时，GCWare可以自动记录各种事件日志（Eventlog），实现故障恢复后的自动数据恢复。集群采用采集代理进程自动采集各个节点上状态信息，以及节点的资源使用情况，对于超过阈值的状态可以实现自动报警。对于数据恢复，GCWare能够通过在故障发生时记录的Eventlog信息进行故障恢复，故障恢复过程中GCWare会调用一系列的故障恢复进程对故障节点进行数据恢复，在不影响数据库运行的条件下，快速把已提交修改的数据恢复到指定时间点；

18）系统升级：支持数据库软件版本平滑升级，升级时保证数据不变；

19）支持表、视图、函数、主键、约束、索引、智能索引、存储过程、游标、自定义函数等数据库基础对象；

20）支持分组、分片、排序、汇总、联合、子查询、过滤等功能，至少支持10张表的复杂关联查询；

21）支持非结构化数据：提供对非结构化数据的存储能力，可以解决JSON、XML等多媒体数据、大对象数据的存储功能。

22）支持数据类型：BOOL布尔数据类型、INT、TINYINT、SMALLINT、MEDIUMINT、BIGINT、DECIMAL、FLOAT、DOUBLE数值数据类型、CHAR、VARCHAR字符数据类型、DATE、TIME、DATETIME、TIMESTAMP日期类型、BLOB、TEXT大对象数据类型。

23）多语言支持：操作界面多语言支持，包括中文和英文等，能够支持简体中文、繁体中文、英文等多种字符集（例如：GBK、UTF-8、UTF-16、Unicode等），能够使用这些字符集存储数据。

24）兼容主流应用软件，包括：

BI工具：Cognos、BIEE、BO、Tableau、QlikView等；

ETL工具：Datastage、Kettle ETL、Informatica Powercenter等；

支持数据挖据工具：SAS、SPSS、R、Python等。

GBase 8a MPP Cluster技术先进性相关推荐

【GBASE】南大通用GBase 8a MPP Cluster技术特点
GBase 8a MPP Cluster 具有多样化的平台选择.与时俱进的逻辑架构.海量数据高效存储.海量数据高速加载.海量数据高性能分析.弹性服务器资源伸缩.完善的系统资源管理.多级别的高可用.跨数 ...
DEV05 GBase 8a MPP Cluster 数据库性能优化
GBase 8a MPP Cluster 数据库性能优化一.数据库为何要优化 (一)从 DBA 角度谈数据库为何要优化 (二)数据库产品的选型: (三)从 DE(开发工程师)角度谈数据库为何要优化 ...
GBase 8a MPP Cluster 产品简介
1 GBase 8a MPP Cluster 产品简介产品简介南大通用大规模分布式并行数据库集群系统,简称:GBase 8a MPP Cluster, 它是在 GBase 8a 列存储数据库基础上 ...
GBase 8a MPP Cluster 认证培训资料汇总
一.课前准备: <GBase 8a MPP Cluster GDCA 认证培训课前准备> https://blog.csdn.net/wiserhowe/article/details/1 ...
GBase 8a MPP Cluster 维护-日志篇
日志介绍 1.1 关于日志日志描述 GBase 8a MPP Cluster 集群不同的日志保存路径不同,主要日志分类见下表详细日志查看参见附录日志参考. 表 :日志分类说明日志类型日志描述 ...
GBase 8a MPP Cluster SQL基础
一.SQL语言基础知识 1.SQL语句根据其可实现功能,分为以下几类: 1.1 DDL语句:用来创建数据库以及定义其表结构.视图索引等. 关键词有CREATE.DROP.ALTER.RENAME等 1 ...
E01 GBase 8a MPP Cluster V95 安装和卸载
GBase 8a MPP Cluster V95 安装和卸载一.集群节点环境设计二.安装前准备工作三.集群的安装 1.在集群所有节点上创建DBA用户 2.在集群所有节点上创建安装目录并授权 3. ...
GBase 8a MPP Cluster GDCA 认证培训课前准备
GBase 8a MPP Cluster GDCA 认证培训课前准备一. GBase 数据库软件获取 1. GBase 8a 数据库安装包.企业管理器和手册下载二. 自己完成操作系统环境准备 (一 ...
GBase 8a MPP Cluster 产品权限管理：回收权限
作者:夏日初熏 (注:本示例中安装的 9.5.3 版本集群) 回收权限:与授予权限相对应,回收用户权限: 1.回收权限语法: REVOKE priv_type [(column_list)] [, p ...

GBase 8a MPP Cluster技术先进性

GBase 8a MPP Cluster技术先进性相关推荐

最新文章

热门文章