vSphere Big Data Extensions(BDE)提供了部署Hadoop多种厂商发行版的巨大灵活性,为客户提供三大价值:

  1. 为所支持的Hadoop版本提供调优的基础架构,VMware和Hadoop发行版厂商彼此认证

  2. 在统一虚拟化平台上部署、运行和管理异构的Hadoop集群,满足多租户的不同需求

  3. 不必被单一Hadoop发行版厂商所绑定,保护投资回报

管理Hadoop发行版

Apache Hadoop 1.2是开源社区的原生Hadoop,BDE已经包含Apache Hadoop的安装包,用户无需额外下载和配置,可以直接创建基于Apache Hadoop版本的Hadoop集群。

Serengeti CLI提供了命令行,查看当前支持哪些Hadoop发行版:

distro list

这个命令返回当前BDE实例管理着哪些Hadoop发行版,包括发行版的名称,厂商,版本号,所支持Hadoop相关组件, 和是否支持HVE等信息。如下图所示:

用户也可以通过BDE的Web UI来查看所有已添加的Hadoop发行版

  1. 打开vCenter Server Web Client,并登录

  2. 左边导航栏,点击Big Data Extensions

  3. 在Inventory Lists下,点击Hadoop Distributions查看结果

如下图所示:

通过上面的BDE的例子发现,其不仅支持Apache Hadoop 1.2,还支持其它商业Hadoop发行版。命令行和UI查看的方法不同,但结果是一致的。

读者会问:BDE默认发行并安装Apache Hadoop 1.2这个社区的发行版,其它Hadoop发行版是哪里来的?如何去管理它们?我们要从两个层面去理解这个问题:

  1. 产品发行层面:除了Apache Hadoop,其余Hadoop发行版都是厂家支持的商业发行版需要软件发行许可,BDE作为VMware商业产品,目前不支持绑定发布。但BDE提供了命令行管理工具,让用户有办法自己部署和配置Hadoop商业发行版。

  2. 发行版管理层面:BDE作为一个管理平台能够管理多种商业发行版,并且创建和管理异构的Hadoop集群。VMware已先后与Greenplum, Pivotal, Cloudera和MapR等大数据厂商宣布合作关系,在vSphere虚拟化环境下运行这些厂商Hadoop集群也获得了官方的认证。

下面的表格是官方BDE 1.0 Beta所能支持的发行版本和部署方式:

发行版本

缩略名

厂商(社区)

部署方式

Apache  Hadoop 1.2

Apache

Apache社区

Tarball

GPHD 1.2

GPHD

Pivotal

Tarball

Pivotal HD 1.0

PHD

Pivotal

Yum

Hortonworks  1.3

HDP

Hortonworks

Tarball

CDH3 Update  6

CDH3u6

Cloudera

Tarball

CDH 4.2  MapReduce v1

CDH4

Cloudera

Yum

CDH 4.2 YARN

CDH4

Cloudera

Yum

MapR 2.1.3

MapR

MapR

Yum

在接下来的博文里,会以具体Hadoop发行版为实例来展示在BDE中,如何灵活部署新的Hadoop发行版,并创建相应的Hadoop集群:

  • 《大数据虚拟化实例:Tarball方式部署Hadoop发行版》

如有任何问题,您可以发邮件至bigdata_apac@vmware.com。

关于vSphere Big Data Extensions:

VMware vSphere Big Data Extensions(简称BDE)基于vSphere平台支持大数据和Hadoop作业。BDE以开源Serengeti项目为基础,为企业级用户提供一系列整合的管理工具,通过在vSphere上虚拟化Hadoop,帮助用户在基础设施上实现灵活、弹性、安全和快捷的大数据部署、运行和管理工作。了解更多关于VMware vSphere Big Data Extensions的信息,请参见http://www.vmware.com/hadoop。

作者简介:

张君迟

VMware大数据解决方案项目经理

目前负责VMware大数据解决方案的管理和市场工作。曾担任VMware数据库管理产品vFabric Data Director产品经理,对虚拟化、云计算、关系型数据库和大数据等企业产品、技术方案和市场有深入的理解和实战经验。在此之前,就职于Microsoft从事分布式系统的产品管理和研发工作。

灵活管理Hadoop各发行版的运维利器 - vSphere Big Data Extensions相关推荐

  1. 从零开始学习hadoop之发行版选择

    从零开始学习hadoop之发行版选择 经常会看到这样的问题:零基础学习hadoop难不难?有的人回答说:零基础学习hadoop,没有想象的那么难,也没有想象的那么容易.看到这样的答案不免觉得有些尴尬, ...

  2. 运维利器-ClusterShell集群管理操作记录

    在运维实战中,如果有若干台数据库服务器,想对这些服务器进行同等动作,比如查看它们当前的即时负载情况,查看它们的主机名,分发文件等等,这个时候该怎么办?一个个登陆服务器去操作,太傻帽了!写个shell去 ...

  3. 大数据虚拟化零起点-5基础运维第四步-部署vSphere Big Data Extensions 1.0 vApp

    VMware vSphere Big Data Extensions(简称BDE)beta版本于2013年6月正式发布,同年9月22日作为vSphere 5.5的新功能正式上市.作为VMware推出的 ...

  4. DevOps实战 —— 如何高效地远程部署?自动化运维利器 Fabric 教程

    如何高效地远程部署?自动化运维利器 Fabric 教程 关于 Python 自动化的话题,在上一篇文章中,我介绍了 Invoke 库,它是 Fabric 的最重要组件之一.Fabric 也是一个被广泛 ...

  5. 如何下载vSphere Big Data Extensions 1.0免费试用版

    下载步骤: 1. 点击vSphere产品评估中心 2. 请登录或创建账户以访问下载目录.有账户的用户,请直接登录后,参考下载流程从以下第5步起. 3. 浏览并更新您的用户档案,并接受表单末尾的最终用户 ...

  6. 32 | KafkaAdminClient:Kafka的运维利器

    文章目录 管理与监控 32 | KafkaAdminClient:Kafka的运维利器 引入原因 如何使用? 工作原理 构造和销毁 AdminClient 实例 常见的 AdminClient 应用实 ...

  7. 运维利器:万能的 strace

    第一章 运维利器:万能的 strace 高效运维 | 2016-05-24 20:10 个人简介: 王子勇,腾讯高级业务运维工程师,有8年研发与运维工作经验.崇尚开源,喜欢钻研系统技术,曾给rsysl ...

  8. 云计算时代,企业IT资产安全运维利器——行云管家堡垒机

    为了保障网络和数据不受来自外部和内部用户的入侵和破坏,企业通常通过部署堡垒机来管理企业内部IT资产.但随着云计算逐渐发展成为企业IT架构的基础设施,传统堡垒机很难适应云的变化,已经无法对企业IT资产进 ...

  9. 运维利器万能的 strace

    转载至运维利器万能的 strace | 运维生存时间 原文地址http://www.ttlsa.com/linux-command/winner-versatile-strace/ strace是什么 ...

最新文章

  1. Hello World
  2. 显示部分x_Linux 黑话解释:什么是显示服务器,用来做什么? | Linux 中国
  3. Linux下LCD 10分钟自动关屏的问题总结
  4. php 接口继承,PHP面向对象之旅:接口的继承
  5. Android自定义控件学习(一)-----属性
  6. 01-09 Linux三剑客-sed
  7. 解析几何 —— 经典题解
  8. ASP实现AJAX的几种方式!
  9. 号码检测,节省成本利器
  10. 在MATLAB中处理RAW图像
  11. 按键精灵服务器推送消息,按键精灵手机助手基础练习:自动发送消息
  12. CruiseControl
  13. 关于kgm文件的解码
  14. 第十四届蓝桥杯第一期模拟赛 python
  15. 设计的萌芽阶段_第一章 设计的萌芽阶段 第一节 设计概念的产生
  16. ubuntu16 无法调节亮度问题
  17. 前端基础——做相册、诗词
  18. 天龙八部本服务器的注册码,天龙八部服务端配置! - 网游单机讨论 - 藏宝湾网游单机站 - Powered by Discuz!...
  19. 爬虫实战4:豆瓣的模拟登陆
  20. JavaScript为iphone添加到主屏幕

热门文章

  1. 2010年终总结---戏说茅台酒涨价
  2. MySQL5.7安装步骤
  3. Emoji表情编解码库XXL-EMOJI
  4. [Contest20180316]Mythological IV
  5. 【智力题】国际象棋问题
  6. 你是怎样给下属分配工作
  7. 重载(Overload )和覆写(override)的理解及区别
  8. R语言CRAN软件包Meta分析
  9. (七)使用jedis连接单机和集群(一步一个坑踩出来的辛酸泪)
  10. Myeclipse学习总结(5)——Myeclipse常用快捷键再学习