CDH 和ambari之间的比较
目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
1 什么是CDH,ambari?
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。Ambari能够安装安全的(基于Kerberos)Hadoop集群,以此实现了对Hadoop 安全的支持,提供了基于角色的用户认证、授权和审计功能,并为用户管理集成了LDAP和Active Directory。
CDH简介
• Cloudera's Distribution, including Apache Hadoop
• 是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建
• 提供了Hadoop的核心
– 可扩展存储
– 分布式计算
• 基于Web的用户界面
CDH的优点
• 版本划分清晰
• 版本更新速度快
• 支持Kerberos安全认证
• 文档清晰
• 支持多种安装方式(Cloudera Manager方式
2 为什么需要他们
• 1000台服务器的集群,最少要花费多长时间来搭建好Hadoop集群,包括Hive、Hbase、Flume、Kafka、Spark等等
• 只给你一天时间,完成以上工作?
• 对于以上集群进行hadoop版本升级,你会选择什么升级方案,最少要花费多长时间?
• 新版本的Hadoop,与Hive、Hbase、Flume、Kafka、Spark等等兼容?
大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。
手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这样做,能学到很多。该方式啊,均得由用户执行,细节太多,切当设计多个组件时,用户须自己解决组件间版本兼容问题。
工具部署呢,比如Ambari或Cloudera Manger。(当前两大最主流的集群管理工具,前者是Hortonworks公司,后者是Cloudera公司)使用工具来,可以说是一键操作,难点都在工具Ambari或Cloudera Manger本身部署上。
手工方式 工具方式
难易度 难,几乎不可能成功 简单,易行
兼容性 自己解决组件兼容性问题 自动安装兼容组件
组件支持数 支持全部组件 支持常用组件
优点 对组件和集群管理深刻 简单、容易、可行
缺点 太复杂,不可能成功 屏蔽太多细节,妨碍对组件理解
工具名 市场占有率 所属机构 开源性 社区支持性 易用性、稳定性
Cloudera Manger 高 Cloudera 商用 不支持 易用、稳定
Ambari 较高 Hortonwork 开源 支持 较易用、较稳定
CDH和Ambari相互比较
出版商:
hortonworks研发了Ambari和hdp的大数据分析集成平台
cloudera研发了cloudera manger和cdh大数据分析集成平台
稳定性:
cloudera相对来说比较稳定
ambari相对来说不稳定(页面打开速度慢)
资源消耗:
cloudera manager的server端Xmx是2G,agent是1G,但是有host monitor和service monitor总共大概1G
ambari的server端Xmx是2G,metric的ams和hbase的env大概也就是2G
集群重启:
cloudera支持滚动重启(hdfs需要设计成ha,才能滚动重启)
ambari支持滚动重启(hdfs需要设计成ha,才能滚动重启)
集群升级(一般来讲不要轻易升级集群):
cloudera不支持滚动升级服务
ambari支持滚动升级服务(这个是ambari的优点,hdfs必须是ha)
二次开发:
cloudera不支持
ambari支持
服务版本:
cloudera较老
ambari较新
服务集成性:
cloudera较弱
ambari较强,支持es、redis、presto、kylin等
体验效果:
cloudera好
ambari相对差
安装过程:
cloudera复杂
ambari简单
邮件报警:
cloudera支持不好
ambari支持很好
安装包:
cloudera是parcel包
ambari是rpm包
总结:
不要轻易升级组件版本
如果对集成性要求高,稳定性相对弱点的,可以选择ambari
如果对稳定性要求高,集成性相对弱点的,可以选择cloudera
CDH 和ambari之间的比较相关推荐
- [CDH安装]--CDH5和Cloudera Manager 5要求和支持的版本
原文: https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html# ...
- 《Hadoop.The.Definitive.Guide.4th.Edition.2015.3》学习笔记
一.读后感 最近读完了<Hadoop.The.Definitive.Guide.4th.Edition.2015.3>英文第4版,个人感觉这本书是hadoop目前最权威.最全面.最靠谱的书 ...
- 大数据基石-Hadoop3.x学习教程-Hadoop产品了解与快速上手
大数据基石-Hadoop Hadoop3.x版本全系列教程 === 楼兰 === 文章目录 一.关于Hadoop 1.关于Hadoop产品 2.Hadoop课程内容 3.Hadoop的主要组件 二.H ...
- 大数据开发之Hadoop---初始Hadoop
曾经的你骄横跋扈,如今你审视人生,重新来过,重新选择,相比同龄你可能晚了一些,遥看人生路路,你没有输,劳动可以改造一个人,坚持劳动,就可以改变人心!无论是脑力劳动还是体力劳动. ----------- ...
- CentOS openssh升级到openssh可用
http://blog.csdn.net/levy_cui/article/details/53100315 levy_cui (花名:白起) 科技改变世界,技术改变人生. 目录视图 摘要视图 订阅 ...
- flink sql作业报错Timeout of 60000ms expired before the position for partition xxx could be determined
问题: 新增流作业,将kafka集群的数据通过flink sql写入hdfs,所有的flink作业均出现订阅的topic某个分区超时: 且topic的partition数量等于flink 可用的s ...
- cdh sqoop 配置_相比于手动搭建集群,使用Ambari或者CDH的必要性
1. Ambari简介 Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应.管理和监控.Ambari已支持大多数Hadoop组件,包括HDFS.MapReduc ...
- 077 Apache的HBase与cdh的hue集成(不建议不同版本之间的集成)
1.修改hue的配置文件hue.ini [hbase] # Use full hostname with security. hbase_clusters=(Cluster|linux-hadoop3 ...
- 大数据管理神器:Ambari自定义stack和服务二次开发详细教程
背景 Ambari 是 Apache Software Foundation 的一个顶级开源项目,是一个集中部署.管理.监控 Hadoop 分布式集群的工具. 部署:自动化部署 Hadoop 软件,能 ...
最新文章
- “一次性”小家电之死:互联网必是杀手
- 从C语言学习谈编程之路
- jQuery Mobile 图标无法显示
- [C#]手把手教你打造Socket的TCP通讯连接(一)
- GDCM:DICOM文件转储图像标题信息的测试程序
- r语言descstats_一条命令轻松绘制CNS顶级配图-ggpubr
- 将PPT内容导出为JPG图片
- python软件下载-python软件下载
- eclipse中jsp页面%@page import=javax.servlet.http.*%报错
- 传奇服务器维护活力值怎么算,电竞传奇活力值怎么补满 电竞传奇快速恢复方法...
- batchplot放到哪个文件夹_AutoCAD批量打印软件BatchPlot安装方法及使用教程
- 描述性物理海洋学 --第五章学习笔记(大洋中水、盐和热收支以及风应力)
- S5800/S5820X系列交换机GRE隧道
- 阿里P8级大佬详解并发编程里的设计模式之Guarded Suspension
- 算法工程师属于计算机哪个领域,算法工程师、数据研发工程师,数据挖掘工程师的区别是什么?...
- Illustrator 教程:如何在 Illustrator 中应用任意形状渐变?
- PotPlayer不支持S/W HEVC(H.265)解码的解决办法
- 献给30岁之前为前途迷茫彷徨的男人们的忠告
- WIN8 64bit的系统下 使用Razer地狱狂蛇驱动v2.0汉化版会死机...
- 高效代码审查的八条准则和十个经验
热门文章
- java 静态对象语法_04.Java 语法
- GoogleNet网络详解与keras实现
- 继电器触点粘连分析_在我们日常电气维护中如何避免由于继电器触点粘连造成的设备故障...
- 【Jmeter篇】Jmeter踩坑记(一)
- office如何快速删除重复数据
- django class类即视图类添加装饰器的几种方法
- 201771010109焦旭超《面向对象程序设计(java)》第十六周学习总结
- Loadrunner进行HTTPS协议性能测试
- LeetCode 171 Excel Sheet Column Number
- myeclipse 怎么安装与激活