Greenplum集群安装配置及最佳实践
Greenplum集群安装配置及最佳实践
目录
Greenplum集群安装配置及最佳实践 1
目录 1
1 总体介绍 2
1.1 硬件平衡 2
1.2 高可用 2
1.3 部署方案 2
1.3.1 Group Mirroring 部署方案 3
1.3.2 Spread Mirroring 部署方案 3
1.3.3 Group + Spread Mirroring 部署方案 4
2 硬件选型 4
2.1 Master 节点 4
2.1.1 网卡 4
2.1.2 内存 4
2.1.3 磁盘 4
2.1.4 CPU 5
2.2 Segment 节点 5
2.2.1 网卡 5
2.2.2 内存 5
2.2.3 磁盘 5
2.2.4 CPU 5
2.3节点配置实例 6
2.4硬件配置经验总结 6
3 硬件配置 7
1主机配置实例 7
2 磁盘的配置 7
3 网络配置 8
4 交换机配置 8
4 储存规划 9
4.1 磁盘可用空间 9
4.2 用户数据容量 9
4.3 系统数据容量 10
5 集群的配置 10
5.1 最低系统要求 10
5.2 系统设置 11
5.3 操作系统参数设置 11
5.4 I/O设置 12
5.5 其他设置 13
6 集群安装 13
6.1 安装方式 13
6.2 数据库目录 14
7 集群验证 14
7.1 硬件性能验证 14
7.2 集群初始化 15
7.3 配置文件 15
7.4 数据目录 16
7.5 pg_hba.conf 配置文件 16
7.6 安装完后的环境变量 17
8 可选组件安装 18
8.1 安装外部支持的语言 18
8.2 故障诊断 19
1 总体介绍
1.1 硬件平衡
1、性能
2、容量
3、成本
1.2 高可用
1、节点
2、网络
3、磁盘
1.3 部署方案
1、Master与Standby Master分级部署
2、Primary Segment与Mirror Segment 分机部署
3、Segment Mirroring 部署方案
3.1、Group Mirroring
3.2、Spread Mirroring
3.3、Group + Spread Mirroring
4、Pivotal Supported Greenplum 必须部署Mirroring Segment
5、铜一主机Segment个数
5.1 CPU/Core 数据
5.2 查询并发数
5.3 查询复杂度
5.3 单机Primary Segment 总数不能过多
1.3.1 Group Mirroring 部署方案
按照以下4台机器Group Mirroring的部署方案总结
缺点: 一台机器down掉后,会把流量全部放在下一个节点,下一个节点的流量会变成2倍的流量
优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用
1.3.2 Spread Mirroring 部署方案
按照以下4台机器Spread Mirroring的部署方案总结
缺点: 一台机器down掉后,会把流量全部放在下两个节点
优点: down掉一台机器后,集群能正常的提供服务,如果再down掉第二台集群就不可用
1.3.3 Group + Spread Mirroring 部署方案
如果集群比较大建议使用Group + Spread Mirroring部署方案,如果集群由down流量会分流道其他的机器上,集群不可用的几率比较小。
2 硬件选型
2.1 Master 节点
2.1.1 网卡
1、2块万兆网卡内部互联
2、1-2块千兆网卡带外管理及接入客户网络
2.1.2 内存
DDR4 64GB以上,建议256G
2.1.3 磁盘
1、6块600G/900G 10k RPM SAS盘
2、采用RAID5或RAID10
3、单独预留hotspare 盘
4、1块RAID卡,cache 1GB以上,带有掉电保护功能
2.1.4 CPU
1、2路8核及以上
2、主频2.5G HZ以上
2.2 Segment 节点
2.2.1 网卡
1、2块万兆网卡内部互联
2、1-2块千兆网卡带外管理及接入客户网络
2.2.2 内存
DDR4 64GB以上,建议256G
2.2.3 磁盘
1、24块600G/900G 10k RPM SAS盘
2、采用RAID5或RAID10
3、单独预留hotspare 盘
4、1-2块RAID卡,cache 1GB以上,带有掉电保护功能
2.2.4 CPU
1、2路8核及以上
2、主频2.5G HZ以上
2.3节点配置实例
2.4硬件配置经验总结
1、磁盘故障时Greenplum集群最常见的故障
1.1分析性查询: SAS盘 > SATA盘
1.2高并发小IO查询: 优先SSD或NVMe
2、RAID级别
2.1 RAID-5 VS RAID-10
3、RAID 卡一定带Cache功能,能提高磁盘的读写性能。
4、硬件监控
5、预留灾备机
RAID-5 VS RAID-10的区别:
RAID-5:在容量上会比较大,储存会达到90%的利用率,在读写的性能上比RAID10会好一点,RAID5的可靠性会差很多。
RAID-10:冗余级别更高,储存会达到50%的利用率,当有的盘出现坏的情况下,磁盘的可靠性有保证。
3 硬件配置
1主机配置实例
一下的配置两个CPU主机的例子,两个segment两个primary两个mirror以及两个网卡的例子
2 磁盘的配置
3 网络配置
4 交换机配置
以下配置是两个交换机,配置的流量是均衡的。
4 储存规划
4.1 磁盘可用空间
4.2 用户数据容量
4.3 系统数据容量
5 集群的配置
5.1 最低系统要求
以下是系统的最低的配置
5.2 系统设置
5.3 操作系统参数设置
5.4 I/O设置
5.5 其他设置
6 集群安装
6.1 安装方式
6.2 数据库目录
7 集群验证
7.1 硬件性能验证
7.2 集群初始化
7.3 配置文件
7.4 数据目录
7.5 pg_hba.conf 配置文件
7.6 安装完后的环境变量
8 可选组件安装
8.1 安装外部支持的语言
8.2 使用gppkg 命令安装
8.2 故障诊断
Greenplum集群安装配置及最佳实践相关推荐
- ElasticSearch-2.0.0集群安装配置与API使用实践
ElasticSearch是基于全文搜索引擎库Lucene构建的分布式搜索引擎,我们可以直接使用ElasticSearch实现分布式搜索系统的搭建与使用,都知道,Lucene只是一个搜索框架,它提供了 ...
- 一步步教你Hadoop多节点集群安装配置
一步步教你Hadoop多节点集群安装配置 1.集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台.以Hadoop分布式文件系统HDFS(Hado ...
- redis cluster 集群 安装 配置 详解
redis cluster 集群 安装 配置 详解 张映 发表于 2015-05-01 分类目录: nosql 标签:cluster, redis, 安装, 配置, 集群 Redis 集群是一个提供在 ...
- 原创:centos7.1下 ZooKeeper 集群安装配置+Python实战范例
centos7.1下 ZooKeeper 集群安装配置+Python实战范例 下载:http://apache.fayea.com/zookeeper/zookeeper-3.4.9/zookeepe ...
- websphere一直安装部署_WebSphere集群安装配置及部署应用说明
<WebSphere集群安装配置及部署应用说明>由会员分享,可在线阅读,更多相关<WebSphere集群安装配置及部署应用说明(27页珍藏版)>请在人人文库网上搜索. 1.We ...
- RabbitMQ集群安装配置+HAproxy+Keepalived高可用
RabbitMQ集群安装配置+HAproxy+Keepalived高可用 转自:https://www.linuxidc.com/Linux/2016-10/136492.htm rabbitmq 集 ...
- ZooKeeper-3.3.4集群安装配置
"ZooKeeper-3.3.4集群安装配置": 关键词:zookeeper-3.3.4 集群 安装 配置 zookeeper是一个分布式开源框架,提供了协调分布式应用的基本服务, ...
- Ceph分布式集群安装配置
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言 记录Ceph分布式集群安 ...
- Openpbs centos7集群安装配置心得
Openpbs centos7集群安装配置心得 写在前面 准备工作 1.安装虚拟机 2.创建虚拟机集群 SSH免密登陆 网络环境配置 ssh免密登陆 建立NFS共享目录 关闭各节点防火墙和Selinu ...
最新文章
- 皮一皮:终于知道乔峰为什么每次要吃那么多了!
- php开发 linux作用是什么,linux有什么用?
- 雅客EXCEL(4)-录入数据、超链接阻断、下拉菜单、横列转数列、alt+向下方向键、定位公式
- pxe+kickstart实现无人值守网络安装rhel5.4
- 数组list操作,切片
- Access和sql server的语法区别
- 梯度下降和EM算法,kmeans的em推导
- Git pull(拉取),push(上传)命令整理
- 啦啦外卖最新版41.9啦啦外卖41.9版本全开源
- 使用脚本下载.ts文件并合并
- ios模拟器安装证书
- android模拟机新闻APP,Exagear ET(Exagear模拟器)
- HTML段落前面怎么加黑点,word文档前面的黑点是怎么加的?(组图)
- Uncode-DAL 1.0.18 发布,Java 通用数据访问层
- 【附源码】计算机毕业设计SSM七七美食汇
- 充电桩,成了新能源汽车发展的“拦路虎”?
- cmake:基于MDK(Keil)的Nationstech.N32G45x平台交叉编译工具链定义
- php中文数组按拼音排序问题
- BH1750简单介绍
- 前端从零开始学习笔记(一)开发工具的安装说明
热门文章
- 开源教育论坛| ChinaOSC
- Matplotlib(五)matplotlib基础用法
- 判断浏览器是否支持wap
- 华为mate10科学计算机,华为mate10最具特色的五大功能,可惜现在知道的人还不多...
- canvas实现的炫酷文字特效html页面源码
- 【MacOS】图书(books)APP如何找到PDF文件夹并拷贝出来
- 苹果绕过ID_iOS 14 出现严重BUG,可绕过 Apple ID 锁
- 丹佛斯与西门子变频器FC报文控制解析
- 什么是 C/C++?
- 非负随机变量的数学期望