Greenplum主要组件包括:Master、Segments、Interconnect;其他组件包括ETL Server、Greenplum command center等。

0. 组件之-Master:
master功能
master也是一个gp的独立的数据库,是gp的入口,负责接受和管理客户端的连接请求,并处理用户SQL语句语句,可以通过psql或者odbc等连接工具来连接pg数据库。包含了一个称作system catalog的自描述的信息内容,类似于oracle的数据字典,但是不包含任何用户数据,master节点验证客户端的连接、处理用户提交的SQL语句、在seg节点之间调节工作负载、整合从各个seg节点执行后返回的数据结果并返回给用户。

master redundancy
如上所述master承担着重要的功能,因此有必要对它做冗余,可以采用独立主机也可以采用其中的某个seg节点来搭建standby master,standby处于热备状态,通过日志传输进程transaction log replication来见master的system catalog变化信息复制传输应用到standby master上,如果master节点失败,那么日志传输进程将停止,这个时候可以激活standby master变成master,当master恢复之后,日志传输进程将自动同步system catalog内容回去到master

1. 组件之-Segments
segments功能
seg是gp系统中实际承担数据存储和存取的节点,每个seg节点只存储表或者索引的部分数据,SQL语句并不是在master节点上执行,而是在seg节点上执行并生成结果的,但是用户并不会直接接触到seg节点,这一过程是由master来协调完成的。根据主机cpu的配置情况,通过测试来获得每个seg主机最佳的seg实例数量。

segments redundancy
seg也可以配置冗余,seg的冗余不能配置在本主机上,当seg失败的时候,冗余节点将承担起相应的功能角色。
只要失败的seg节点的冗余节点还存活,gp就可以继续在线运行,当master无法连接到seg的时候,它会将seg节点在数据字典中标记为不可用并从系统中剔除,并在处理失败的seg并重新启动之后,自动在线恢复,恢复的数据仅仅包含从失败之后的内容。如果没有配置冗余的seg,当某个seg失败的时候整个gp将崩溃失败并关闭,这个情况下需要修复失败的seg节点之后重新启动gp。

2. 组件之-Interconnect
是gp的网络层,通常使用千兆网络连接,在各个节点直接通信和传输信息;默认情况下使用UDP协议传输;可以配置冗余实现高可用性。

3. 组件之ETL Server
常规的txt和csv文件可以通过gpfdist这程序来作为文件服务程序,以便gp连接这些外部文件创建外部表并导入到数据库。

4. 组件之Greenplum command center
通过在每个seg上部署agent来监控整个系统情况,可以给予命令行查询和web界面展示方式查看系统情况。

疑问:
master和segs的判断fail机制是什么?
redundancy判断fail机制是什么?失败恢复之后,standby的角色是否会变回去?
seg判断fail机制是什么?数据传输复制机制?角色是否转变?
gp的性能受限于性能最差的seg节点吗?

interconnect网卡冗余配置最佳实践是什么?多个实例和多个网卡的配置情况?

master的redundancy之间、seg的redundancy之间以及master和seg之间的平台异构?

-EOF-

摘自http://blog.csdn.net/gtlions/article/details/8752200

转载于:https://www.cnblogs.com/zhuangjb/p/3817928.html

Greenplum-概念篇相关推荐

  1. ORM查询语言(OQL)简介--概念篇

    相关文章内容索引: ORM查询语言(OQL)简介--概念篇 ORM查询语言(OQL)简介--实例篇 ORM查询语言(OQL)简介--高级篇:脱胎换骨 ORM查询语言(OQL)简介--高级篇(续):庐山 ...

  2. android 电容屏(二):驱动调试之基本概念篇

    关键词:android  电容屏 tp 工作队列 中断 多点触摸协议 平台信息: 内核:linux2.6/linux3.0 系统:android/android4.0  平台:S5PV310(sams ...

  3. 人工智能 | 自动驾驶与人工智能前沿研究报告(概念篇)

    博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 ================= ...

  4. 人工智能 | 人脸识别研究报告(概念篇)

    博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 ================= ...

  5. 人工智能 | 自然语言处理研究报告(概念篇)

    博主github:https://github.com/MichaelBeechan 博主CSDN:https://blog.csdn.net/u011344545 ================= ...

  6. JavaScript高级程序设计之基本概念篇

    日子天天过,啥都能忘,学习不能忘.<JavaScript高级程序设计>这本书之前看过,但是只看了js的部分,其余部分并没有看.当时想,看看js部分应该够用了,但最近看了篇文章,受到了很深的 ...

  7. Linux Capabilities 入门教程--概念篇

    该系列文章总共分为三篇: Linux Capabilities 入门教程:概念篇 Linux Capabilities 入门教程:基础实战篇 Linux Capabilities 入门教程:进阶实战篇 ...

  8. Hugepages你用了吗?--原理概念篇

    Hugepages你用了吗?----原理概念篇 Hugepages你用了吗?----测试案例篇      引子 系统进程是通过虚拟地址访问内存,但是CPU必须把它转换程物理内存地址才能真正访问内存.为 ...

  9. 论“前置测试模型”-1 概念篇

    最近几期上层一直在推一个测试理念-前置测试模型,由于当时时间很忙并且刚刚入职,只是跟着团队的大方向找着感觉,这几天看了一篇介绍前置测试模型的资料,结合当前的工作感悟,想在此记录一些自己对其的肤浅认识. ...

  10. java lambda 排序_Java8特性:Lambda表达式之概念篇

    Java自诞生已经有十几个年头了,目前也已经发布了第十三个大版本,其中Java8是常用的版本中最新的一个版本.而Java8最大的特性就是:Lambda表达式.函数式接口和Stream流. 本篇我只介绍 ...

最新文章

  1. Web项目中获取SpringBean——在非Spring组件中获取SpringBean
  2. 【JS 逆向百例】网洛者反爬练习平台第四题:JSFuck 加密
  3. [2021-CVPR] Jigsaw Clustering for Unsupervised Visual Representation Learning 论文简析及关键代码简析
  4. excel表中怎么插入visio_如何插入或 Visio 中粘贴的 Excel 工作表-阿里云开发者社区...
  5. 利用递归分割(Split)字符串
  6. 从开发人员如何走向架构师
  7. 数据分析师人才需求的分析报告
  8. C语言--大小端转换
  9. 利润表模板excel_Excel教程:作为财务,这些excel技巧你还不会吗?
  10. Tuxedo 介绍与安装
  11. java基本数据类型字节大小,Java基本数据类型及所占字节大小
  12. 工业设计与钣金工艺是怎么相互相成的
  13. 用python做自动化控制-python用于自动化控制编程
  14. 职业学校计算机课评课,中职计算机评课稿
  15. 中国地区2012年第二季度 网络安全威胁报告
  16. 圆柱体积怎么算立方公式_圆柱体积怎么算立方 高为3米则此圆柱的体积为27
  17. 【python 作日期的折线图和柱状图组合图】
  18. db2从文件读到数据库
  19. Oracle 后台进程初探
  20. pwnable.kr-passcode WP

热门文章

  1. IOS开发中的弹框综述
  2. Javascript实现BFS算法
  3. WEB前端响应式布局之BootStarp使用
  4. H264 帧边界识别简介
  5. Javascript中类型的判断
  6. 打造一个全命令行的Android构建系统
  7. (ヒトコト)一个挺有趣的东西!作为一个动漫宅,游戏宅来说还是一个挺有趣的接口!banner上面就是...
  8. MTK 2G芯片使用联通卡在深圳无法拨打112原因
  9. .NET串口通讯解决方案
  10. 超级菜菜鸟全程架站攻略(Mysql+Apche+PHP+Phpmyadmin+Zend,含本机安装)