GaussDB(DWS)介绍
数据仓库服务(Data Warehouse Service,GaussDB(DWS))是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用、可扩展且完全托管的分析型数据库服务。
1. 简介
GaussDB(DWS)是基于华为融合数据仓库GaussDB产品的云原生服务,兼容标准ANSI SQL 99和SQL 2003,同时兼容PsotgreSQL/Oracle数据库生态,为各行各业提供PB级大数据分析解决方案。
其中:
● DWS:基于MPP架构的数据库,提供PB级数据负载能力、百TB级数据支撑能力、海量数据查询统计分析能力与事务处理能力、支持结构化数据PB级分析能力等
● Manager:作为运维系统,负责GaussDB(DWS)的集群管理,支持大规模集群的安装部署、监控、告警、用户管理、权限管理、审计、服务管理、健康检查、问题定位、升级和补丁等。
DWS具有如下的优势:
2. 架构
DWS的产品架构如下所示:
DWS本身基于分布式架构,组件支持主备/多活高可靠性设计;存算分离,按需独立扩展;支持事务的ACID,支持数据的强一致性保证。另外,底层支持x86和arm两种架构的服务器,部署类型支持虚拟机和裸金属服务器两种。基于鲲鹏芯片的垂直优化相比同代的x86性能提升30%。
逻辑上的架构如下图所示:
其中:
● 集群管理模块(Cluster Manager,CM):管理和监控分布式系统中各个功能单元和物理资源的运行情况,确保整个系统的稳定运行;
● 全局事务控制器(Global Transaction Manager,GTM):提供全局事务控制所需的信息,采用多版本并发控制MVCC机制
● 工作负载管理器(Worked Manager,WLM):控制系统资源的分配,防止过量业务负载对系统的冲击导致业务拥塞和系统崩溃
● Corrdinator:整个系统的业务入口和结果返回,用于接收来自业务应用的访问请求,分解任务并调度任务分片的并行执行
● Data Node:用于执行查询任务分片的逻辑实体
● GDS Loader:并行数据加载,可配置多个,支持文本文件格式,错误数据自动识别
DN节点为保证高可用,具有主、备、从备三类DN,高可用的实现方式为:
● 主、备DN同步数据期间,如果主DN突然故障不可用,备DN会升为主DN
● 在原主DN恢复前,新升为主的DN会将数据日志同步到从备DN
●原主DN恢复后将成为备DN,并且会使用“从备DN”上的数据日志恢复异常期间的数据。
从备DN永远只作为从备使用,不会因为主DN或备DN故障而升级为主DN或备DN,从备只存放备DN故障时同步到从备的Xlog数据和数据通道复制产生的数据。
3. 数据查询流程
数据查询的流程示意图如下所示:
具体查询流程如下:
- 用户通过应用程序发出查询本地数据的SQL请求到Coordinator
- Coordinator接收用户的SQL请求,分配服务进程,向GTM请求分配全局事务信息
- GTM接收到Coordinator的请求,返回全局事务信息给Coordinator
- Coordinator根据数据分布信息以及系统元信息,解析SQL为查询计划树,从查询计划树中提取可以发送到Datanode的执行步骤,封装成SQL语句或者子执行计划树,发送到Datanode执行
- Datanode接收到读取任务后,查询具体Storage上的本地数据块
- Datanode任务执行后,将执行结果返回给Coordinator
- Coordinator将查询结果通过应用程序返回给用户
4. 应用
DWS的已有应用场景如下:
● 数据仓库迁移
● 大数据融合分析
● 增强型ETL和实时BI分析
● 实时数据分析
● 银行大数据分析平台
5. 组网方案
GaussDB(DWS)整个系统网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。
- 管理平面通过运维网络接入,提供系统管理和维护功能,主要用于集群的管理,对外提供集群监控、配置、审计、用户管理等服务。 业务平面,主要用于集群内部数据处理的专用网络平面,此处的业务平面非客户的应用网络平面。
关于不同场景下组网方案原则如下:
6. 集群组网方案
GaussDB(DWS)系统的网络划分为2个平面,即业务平面和管理平面,两个平面之间采用物理隔离的方式进行部署,保证业务、管理各自网络的安全性。主备管理节点还支持设置外部管理网络的IP地址,用户可以通过外部管理网络进行集群管理。
采用双平面组网时,集群中每个节点分别接入管理平面和业务平面,每个节点需要准备一个管理IP地址和一个业务IP地址,每个IP地址用两个网络接口配置Bond,分别接入两个接入交换机。各节点的业务平面建议采用10GE带宽,业务平面接入交换机与汇聚交换机之间建议采用10GE带宽,业务平面汇聚交换机的堆叠带宽建议设置为40GE。
GaussDB(DWS)介绍相关推荐
- Gaussdb(DWS) 迁移工具GDS介绍及搭建使用
一.GDS迁移工具介绍 GDS是Gaussdb(DWS)提供的数据迁移工具,面对大量数据可实现数据的高速导入,GDS一般需要部署到单独服务器上(也可以部署到数据服务器上),面对大数据量,可在多台服务器 ...
- GaussDB(DWS)中共享消息队列实现的三大功能
摘要:本文将详细介绍GaussDB(DWS)中共享消息队列的实现. 本文分享自华为云社区<GaussDB(DWS)CBB组件之共享消息队列介绍>,作者:疯狂朔朔. 1)共享消息队列是什么? ...
- 云小课|大数据时代的隐私利器-GaussDB(DWS)数据脱敏
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要: 数据仓库服务Ga ...
- 云小课|三大灵魂拷问GaussDB(DWS)数据落盘安全问题
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:GaussDB(D ...
- 探索GaussDB(DWS)的过程化SQL语言能力
摘要:在当前GaussDB(DWS)的能力中主要支持两种过程化SQL语言,即基于PostgreSQL的PL/pgSQL以及基于Oracle的PL/SQL.本篇文章我们通过匿名块,函数,存储过程向大家介 ...
- 一文掌握GaussDB(DWS) SQL进阶技能:全文检索
本文分享自华为云社区<GaussDB(DWS) SQL进阶之全文检索>,原文作者:Zhang Jingyao . 全文检索(Text search)顾名思义,就是在给定的文档中查找指定模 ...
- 【文末彩蛋】数据仓库服务 GaussDB(DWS)单点性能案例集锦
摘要:介绍了13种GaussDB(DWS)单点性能的案例. 一.数据倾斜 1.1 问题描述 某局点SQL执行慢,涉及大表的SQL执行不出来结果. 1.2 分析过程 数据倾斜在很多方面都会有体现: 1) ...
- 十八般武艺玩转GaussDB(DWS)性能调优:Plan hint运用
摘要:本文介绍GaussDB(DWS)另一种可以人工干预计划生成的功能--plan hint. 前言 数据库的使用者在书写SQL语句时,会根据自己已知的情况尽力写出性能很高的SQL语句.但是当需要写大 ...
- 十八般武艺玩转GaussDB(DWS)性能调优:路径干预
摘要:路径生成是表关联方式确定的主要阶段,本文介绍了几个影响路径生成的要素:cost_param, scan方式,join方式,stream方式,并从原理上分析如何干预路径的生成. 一.cost模型选 ...
最新文章
- SAP Netweaver 7.4 SR2 Application Java Installation
- .NET IDE Rider公布2020.2路线图
- log4j 程序日志_Log4j错误–减慢您的应用程序
- select函数(一)
- java get方法不序列化_Java中的Json序列化,不容忽视的getter
- [VirtaulBox]网络连接设置
- Java学习笔记2.1.3 Java基本语法 - Java关键字与标识符
- Spring Boot 集成 Quartz
- java quartz配置_Quartz 定时任务(Quartz 的配置文件)
- cdrx4自动排版步骤_coreldraw自动排版
- caxa齿轮零件图_CAXA软件如何快速地画一个齿轮?
- simulink仿真之阶梯步长
- html网页挂马,浏览器安全之网页挂马实战 ——合天网安实验室学习笔记
- 推荐:12条经过验证的创业赚钱秘诀!(转)
- DB2用户授权表查询权限
- SUCTF2019-hardCPP WP
- 新浪微博开发之微博主页的实现
- CSS精灵图、字体图标
- Python + Selenium,分分钟搭建 Web 自动化测试框架
- WebSerices 在IIS上配置