灵活管理Hadoop各发行版的运维利器 - vSphere Big Data Extensions
vSphere Big Data Extensions(BDE)提供了部署Hadoop多种厂商发行版的巨大灵活性,为客户提供三大价值:
为所支持的Hadoop版本提供调优的基础架构,VMware和Hadoop发行版厂商彼此认证
在统一虚拟化平台上部署、运行和管理异构的Hadoop集群,满足多租户的不同需求
不必被单一Hadoop发行版厂商所绑定,保护投资回报
管理Hadoop发行版
Apache Hadoop 1.2是开源社区的原生Hadoop,BDE已经包含Apache Hadoop的安装包,用户无需额外下载和配置,可以直接创建基于Apache Hadoop版本的Hadoop集群。
Serengeti CLI提供了命令行,查看当前支持哪些Hadoop发行版:
distro list
这个命令返回当前BDE实例管理着哪些Hadoop发行版,包括发行版的名称,厂商,版本号,所支持Hadoop相关组件, 和是否支持HVE等信息。如下图所示:
用户也可以通过BDE的Web UI来查看所有已添加的Hadoop发行版
打开vCenter Server Web Client,并登录
左边导航栏,点击Big Data Extensions
在Inventory Lists下,点击Hadoop Distributions查看结果
如下图所示:
通过上面的BDE的例子发现,其不仅支持Apache Hadoop 1.2,还支持其它商业Hadoop发行版。命令行和UI查看的方法不同,但结果是一致的。
读者会问:BDE默认发行并安装Apache Hadoop 1.2这个社区的发行版,其它Hadoop发行版是哪里来的?如何去管理它们?我们要从两个层面去理解这个问题:
产品发行层面:除了Apache Hadoop,其余Hadoop发行版都是厂家支持的商业发行版需要软件发行许可,BDE作为VMware商业产品,目前不支持绑定发布。但BDE提供了命令行管理工具,让用户有办法自己部署和配置Hadoop商业发行版。
发行版管理层面:BDE作为一个管理平台能够管理多种商业发行版,并且创建和管理异构的Hadoop集群。VMware已先后与Greenplum, Pivotal, Cloudera和MapR等大数据厂商宣布合作关系,在vSphere虚拟化环境下运行这些厂商Hadoop集群也获得了官方的认证。
下面的表格是官方BDE 1.0 Beta所能支持的发行版本和部署方式:
发行版本 |
缩略名 |
厂商(社区) |
部署方式 |
Apache Hadoop 1.2 |
Apache |
Apache社区 |
Tarball |
GPHD 1.2 |
GPHD |
Pivotal |
Tarball |
Pivotal HD 1.0 |
PHD |
Pivotal |
Yum |
Hortonworks 1.3 |
HDP |
Hortonworks |
Tarball |
CDH3 Update 6 |
CDH3u6 |
Cloudera |
Tarball |
CDH 4.2 MapReduce v1 |
CDH4 |
Cloudera |
Yum |
CDH 4.2 YARN |
CDH4 |
Cloudera |
Yum |
MapR 2.1.3 |
MapR |
MapR |
Yum |
在接下来的博文里,会以具体Hadoop发行版为实例来展示在BDE中,如何灵活部署新的Hadoop发行版,并创建相应的Hadoop集群:
《大数据虚拟化实例:Tarball方式部署Hadoop发行版》
如有任何问题,您可以发邮件至bigdata_apac@vmware.com。
关于vSphere Big Data Extensions:
VMware vSphere Big Data Extensions(简称BDE)基于vSphere平台支持大数据和Hadoop作业。BDE以开源Serengeti项目为基础,为企业级用户提供一系列整合的管理工具,通过在vSphere上虚拟化Hadoop,帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据部署、运行和管理工作。了解更多关于VMware vSphere Big Data Extensions的信息,请参见http://www.vmware.com/hadoop。
作者简介:
张君迟
VMware大数据解决方案项目经理
目前负责VMware大数据解决方案的管理和市场工作。曾担任VMware数据库管理产品vFabric Data Director产品经理,对虚拟化、云计算、关系型数据库和大数据等企业产品、技术方案和市场有深入的理解和实战经验。在此之前,就职于Microsoft从事分布式系统的产品管理和研发工作。
灵活管理Hadoop各发行版的运维利器 - vSphere Big Data Extensions相关推荐
- 从零开始学习hadoop之发行版选择
从零开始学习hadoop之发行版选择 经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易.看到这样的答案不免觉得有些尴尬, ...
- 运维利器-ClusterShell集群管理操作记录
在运维实战中,如果有若干台数据库服务器,想对这些服务器进行同等动作,比如查看它们当前的即时负载情况,查看它们的主机名,分发文件等等,这个时候该怎么办?一个个登陆服务器去操作,太傻帽了!写个shell去 ...
- 大数据虚拟化零起点-5基础运维第四步-部署vSphere Big Data Extensions 1.0 vApp
VMware vSphere Big Data Extensions(简称BDE)beta版本于2013年6月正式发布,同年9月22日作为vSphere 5.5的新功能正式上市.作为VMware推出的 ...
- DevOps实战 —— 如何高效地远程部署?自动化运维利器 Fabric 教程
如何高效地远程部署?自动化运维利器 Fabric 教程 关于 Python 自动化的话题,在上一篇文章中,我介绍了 Invoke 库,它是 Fabric 的最重要组件之一.Fabric 也是一个被广泛 ...
- 如何下载vSphere Big Data Extensions 1.0免费试用版
下载步骤: 1. 点击vSphere产品评估中心 2. 请登录或创建账户以访问下载目录.有账户的用户,请直接登录后,参考下载流程从以下第5步起. 3. 浏览并更新您的用户档案,并接受表单末尾的最终用户 ...
- 32 | KafkaAdminClient:Kafka的运维利器
文章目录 管理与监控 32 | KafkaAdminClient:Kafka的运维利器 引入原因 如何使用? 工作原理 构造和销毁 AdminClient 实例 常见的 AdminClient 应用实 ...
- 运维利器:万能的 strace
第一章 运维利器:万能的 strace 高效运维 | 2016-05-24 20:10 个人简介: 王子勇,腾讯高级业务运维工程师,有8年研发与运维工作经验.崇尚开源,喜欢钻研系统技术,曾给rsysl ...
- 云计算时代,企业IT资产安全运维利器——行云管家堡垒机
为了保障网络和数据不受来自外部和内部用户的入侵和破坏,企业通常通过部署堡垒机来管理企业内部IT资产.但随着云计算逐渐发展成为企业IT架构的基础设施,传统堡垒机很难适应云的变化,已经无法对企业IT资产进 ...
- 运维利器万能的 strace
转载至运维利器万能的 strace | 运维生存时间 原文地址http://www.ttlsa.com/linux-command/winner-versatile-strace/ strace是什么 ...
最新文章
- Hello World
- 显示部分x_Linux 黑话解释:什么是显示服务器,用来做什么? | Linux 中国
- Linux下LCD 10分钟自动关屏的问题总结
- php 接口继承,PHP面向对象之旅:接口的继承
- Android自定义控件学习(一)-----属性
- 01-09 Linux三剑客-sed
- 解析几何 —— 经典题解
- ASP实现AJAX的几种方式!
- 号码检测,节省成本利器
- 在MATLAB中处理RAW图像
- 按键精灵服务器推送消息,按键精灵手机助手基础练习:自动发送消息
- CruiseControl
- 关于kgm文件的解码
- 第十四届蓝桥杯第一期模拟赛 python
- 设计的萌芽阶段_第一章 设计的萌芽阶段 第一节 设计概念的产生
- ubuntu16 无法调节亮度问题
- 前端基础——做相册、诗词
- 天龙八部本服务器的注册码,天龙八部服务端配置! - 网游单机讨论 - 藏宝湾网游单机站 - Powered by Discuz!...
- 爬虫实战4:豆瓣的模拟登陆
- JavaScript为iphone添加到主屏幕