架构图

根据自己的数据量
1）20核物理CPU 40线程 * 7 = 280线程
内存128g * 7台 = 896g （计算任务内存700g，其他安装框架需要内存）
128m ----1g内存
87g数据 ---- 700g内存
2）根据数据规模搭建集群模拟的10台机器

说明

1）消耗内存的分开；
2）kafka 、zk 、flume 传输数据比较紧密的放在一起；
3）客户端尽量放在一到两台服务器上，方便外部访问；
4）还有就是MySQL，sqoop，azkaban，调度的放在一起；

可能出现的问题

1，由于hadoop集群都配的高可用，总会出现很多问题，注意细心可以；
2，kafka也配的是集群，所有配置等都是要同步的；
3，azkaban也配的是集群，所以hive，sqoop也是的和azkaban一样的数量，这样写好的脚本也是同步到位，免得找不到脚本，找不到路径；
4，zookeeper也是集群，这些都要配置同步，而且一定的注意细心；
有问题可以私下沟通；
为梦而来，不能怂

生产大数据集群架构图相关推荐

全网最详细的Hadoop大数据集群搭建并进行项目分析(基于完全分布式)---终结篇
##所有需要的资料全部已上传到百度网盘上,请自行下载## 获取镜像,https://pan.baidu.com/s/1ho4hMrvIu1V6W4wWdH8nIA,提取码:ygyg 获取Xshell, ...
PPTV之大数据集群容器化研究
本文讲的是PPTV之大数据集群容器化研究[编者的话]如何统一调度两个集群的物理资源,有效节约成本? 背景 PPTV作为国内视频领域的领先者,对于大规模流媒体的存储.处理.分发及应用,有着迫切的要求.容 ...
阿里云TSDB在大数据集群监控中的方案与实战
目前大部分的互联网企业基本上都有搭建自己的大数据集群,为了能更好让我们的大数据集群更加高效安全的工作,一个优秀的监控方案是必不可少的:所以今天给大家带来的这篇文章就是讲阿里云TSDB在上海某大型互联网 ...
大数据集群跨多版本升级、业务0中断，只因背后有TA
摘要:2021年4月21日,中国太平洋保险集团联合华为云完成了全球首例大数据集群跨多版本的大数据集群滚动升级. 本文分享自华为云社区<华为云FusionInsight助力太保跨多版本升级业务0中 ...
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解 "如果你是一个经验丰富的运维开发人员,那么你一定知道ganglia.nagios.zabbix.elastics ...
大数据集群扩容机架分配
由于生产上大数据集群时常会扩容,而每次扩容完成后需要对新扩容的主机进行机架分配,涉及主机数量比较多时,通过手工分配耗时较长,因此编写如下脚本进行机架分配. 第一部分:获取集群主机ID/IP地址/机架号 ...
大数据集群失联问题解决方案
我们之前维护的集群经常性地出现失联的情况,大数据集群上,还有es集群在跑,在凌晨左右集群会有随机的机器间歇性失联,cpu飙高,ssh登录不了. 在尝试了诸多方法后,通过每天定时清理缓存的方式解决了集群 ...
大数据集群迁移的那一夜是怎么过的|回忆录
背景大数据集群迁移这件事,不知道有多少同学做过(反正我是第一次).我说的不是简单的把一个集群的数据拷贝到另一个集群上,我指的是整个数据处理平台与相关的前台业务的迁移工作,是从一个机房到另一个机房. ...
Hadoop+Spark 大数据集群日常1 （There are 0 datanode(s) running报错处理）
Hadoop+Spark 大数据集群日常1 由于项目涉及Hadoop+Spark大数据集群,特写此文档,方便将来处理类似问题参照,也为后人提供解决方案. 本人才疏学浅,文档难免有错漏与不妥之处,欢迎与 ...
使用ansible部署CDH 5.15.1大数据集群
使用ansible离线部署CDH 5.15.1大数据集群作者:尹正杰版权声明:原创作品,谢绝转载!否则将追究法律责任. 在此之前,我之前分享过使用shell自定义脚本部署大数据集群,不管是部署CD ...

生产大数据集群架构图

大数据集群

架构图

说明

可能出现的问题

生产大数据集群架构图相关推荐

最新文章

热门文章