MMP数据库greenplum,与hadoop的区别

1.什么是greenplum？

一种MMP 无共享架构的数据库，擅长olap联机分析。基于postgre内核，interconnect并行调度，分布式事务两段提交，还有分区表外部表行列存储高可用。

2.greenplum的架构及功能？

一个集群由多个数据库实例组成。

master:生成查询计划并派发协调segement并行计算

interconnect组件

segement:执行查询计划及数据存储管理

3.greenplum特点

（1）数据存储：以行列表的方式进行存储，采用hash分布的数据分布机制，计算节点和数据存储紧密耦合。与之相对hdfs文件切块，随机分配计算节点和数据无耦合，默认64M

（2）map对比：不需要对数据进行在解析（hadoop需要），直接去行列表，数据分布均匀，并行程度高；还提供索引分区列存储等

（3）shuffle对比：hadoop的shuffle基本避免不了，而greenplum的hash分布能尽量避免数据重分布，同时有个语法analyzie能统计表的信息，对计算逻辑进行基于代价的优化，比如有些小表关联时，会将小表优化为广播。

（4）reduce:灵活的join技术支持hash join merger join nestloop join;聚合运算的话：multiple-agg group-agg sort-agg

（5）greenplum数据库采用pipline方式在内存中处理数据，而mapreduce是采用文件交换，IO减少。

4.sql调优查询

总结adb的差不多

5.greenplum的高可用性

高可用性 | Greenplum数据库文档

（1）磁盘存储

greenplum数据库采用无共享架构，每个master和segement都有自己独占的内存和存储，且都有各自对应的数据目录。可以使用磁盘阵列。

最佳实践：

（2）segement镜像

最佳实践：

（3）master镜像

最佳实践：

MMP数据库greenplum,与hadoop的区别相关推荐

数据库和数据仓库联系和区别
数据库和数据仓库联系和区别 1.前言 2.来源 3.用途 4.特性不同 4.1 设计 4.2 优化 4.3 数据量 1.前言不能简单的说数据仓库是数据库的扩大版,它们是针对不同的服务而产生的,传统的 ...
阿里曾文旌：Greenplum和Hadoop对比，架构解析及技术选型-CSDN公开课-专题视频课程...
阿里曾文旌:Greenplum和Hadoop对比,架构解析及技术选型-6397人已学习课程介绍本主题通过介绍 Greenplum 架构实现,及其亮点特性,辅之对比传统关系型数据库, ...
传统数据仓库架构与Hadoop的区别
一, 下面一张图为传统架构和Hadoop的区别主要讲以下横向扩展和扩展横向扩展:(Mpp 是hash分布,具有20节点)添加新的设备和现有的设备一起提供负载能力.Hadoop中系统扩容时,系统平台 ...
mysql数据库varchar的区别_MySQL数据库char与varchar的区别分析及使用建议
在数据库中,字符型的数据是最多的,可以占到整个数据库的80%以上.为此正确处理字符型的数据,对于提高数据库的性能有很大的作用.在字符型数据中,用的最多的就是 Char与Varchar两种类型.前面的 ...
ADO.NET数据库操作------SqlDataReader和SqlDataAdapter 区别
ADO.NET数据库操作------SqlDataReader和SqlDataAdapter 区别 1. SqlDataReader返回的是一个数据读写器,只能一条条的读,操作起来不灵活. ...
oracle支持非关系数据库,Oracle-03: 关系型数据库和非关系的数据库的各自优缺点与区别...
Oracle-03: 关系型数据库和非关系的数据库的各自优缺点与区别 ------------ 吾亦无他, 唯手熟尔, 谦卑若愚, 好学若饥 ------------- 常见的非关系型数据库:Mong ...
CDH和Hadoop的区别
1.hadoop有几个版本? 2.CDH有几种安装方式? 3.CDH在安装认证方面做了什么改变? --------------------------------------------------- ...
Hadoop数据库：基于Hadoop的数据库Hbase介绍
在大数据领域,Hadoop技术框架的重要性是已经得到大家认可的,而基于Hadoop框架系统之下的各个组件,也不断在更新完善.关于Hadoop数据库的问题,也是很多同学学习当中的难点,今天我们就主要来聊 ...
Cloudera的CDH和Apache的Hadoop的区别
Cloudera的CDH和Apache的Hadoop的区别目前而言,不收费的Hadoop版本主要有三个(均是国外厂商),分别是:Apache(最原始的版本,所有发行版均基于这个版本进行改进).Clo ...

MMP数据库greenplum,与hadoop的区别

MMP数据库greenplum,与hadoop的区别相关推荐

最新文章

热门文章