阿里云EMR集群搭建及使用
目录
1.简介
1.什么是EMR
2.组成
3.与自建hadoop集群对比
4.产品架构
2.使用
1.创建EMR集群
1.登录EMR on ECS控制台
2.软件设置
3.硬件设置
3.基础配置
2.配置
1.组件配置
2.用户管理
3.安全组
4.Gateway
3.组件UI
1.简介
1.什么是EMR
EMR是运行在阿里云平台上的一种大数据处理的系统解决方案。可以简单的理解为一个对标ambari的产品。EMR构建于云服务器ECS上,基于开源的Apache Hadoop和Apache Spark。可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR提供on ECS和on ACK两种方式,on ACK指的是容器化。
2.组成
E-MapReduce的核心是集群。E-MapReduce集群是由一个或多个阿里云ECS实例组成的Hadoop、Flink、Druid、ZooKeeper集群。以Hadoop为例,每个ECS 实例上通常都运行了一些daemon进程(例如,NameNode、DataNode、ResouceManager和NodeManager),这些daemon进程共同组成了Hadoop集群。
- Master节点,部署了Hadoop的主节点服务,包括HDFS NameNode、HDFS JournalNode、ZooKeeper、YARN ResourceManager和HBase HMaster等服务,可以根据集群的使用场景,选择高可用集群或非高可用集群。测试环境可以选择非高可用集群,生产环境建议选择高可用集群。高可用集群可以选择2个或3个Master节点,当选择2个Master节点时,HDFS JournalNode和ZooKeeper会部署在Core的emr-worker-1节点。生产环境建议创建高可用集群时选择3个Master节点。
- Core节点,部署了HDFS DataNode和YARN Nodemanager,用于HDFS数据的存储和YARN的计算,不可以弹性伸缩。
- Task节点,部署了YARN NodeManager,用于YARN计算,可以通过弹性伸缩的方式灵活扩容或缩容。
- Gateway集群,部署了Hadoop的客户端文件,您可以通过Gateway提交作业,避免直接登录集群产生的安全和客户端环境隔离问题。您需要先创建Hadoop集群,然后创建Gateway集群关联至Hadoop集群。
3.与自建hadoop集群对比
对比项 | 阿里云EMR | 自建Hadoop集群 |
---|---|---|
成本 | 支持按量和包年包月付费方式,集群资源支持灵活调整,数据分层存储,资源使用率高。无额外软件License费用。 | 需提前预估资源,且资源相对固定,资源使用率低。采用Hadoop发行版,需额外支付License费用。 |
性能 | 较开源版本性能大幅提升。 | 采用开源社区版本,性能需自行优化。 |
易用性 | 分钟级别启动Hadoop集群,敏捷响应业务需求。 | 采购服务器,部署Hadoop生态组件,周期长达数周。 |
弹性 | 可根据作业临时启动和销毁集群。集群资源可根据时间周期或集群负载动态自动调整。基于JindoFS计算存储分离架构,轻松分别扩展计算和存储资源。 | 计算和存储耦合,资源相对固定,无法弹性调整资源。 |
安全 | 支持企业级多租户资源管理,支持对表、列、行级别的权限控制和日志审计,支持数据加密。 | 多租户管理能力需自行配置,能力不完善,无法满足企业级需求。 |
可靠 | 大规模、企业级环境的检验,随开源版本升级,并经过专业的兼容性验证测试,提供优于社区版本的使用体验。 | 需自行更新和升级开源版本,验证各组件版本兼容性,自行修复社区bug。 |
服务 | 专业和资深大数据专家技术服务团队提供售后支持。 | 社区版本无服务支持,Hadoop发行版,需额外支付License和服务费用。 |
4.产品架构
2.使用
1.创建EMR集群
1.登录EMR on ECS控制台
2.软件设置
根据实际情况选择地域和资源组。
这里选择是数据湖的场景,如果有数据分析的可以重新再另建一个数据分析的EMR集群,这样以便于计算资源的隔离,如果不同的业务使用一个集群那资源就是混用的。
如果是生产环境需要开启服务高可用,服务高可用将会使用3个master节点保障服务的高可用。
元数据我们选择DLF统一元数据管理,当然也可以使用自建的RDS,不过这样就需要自己买个mysql的费用。
DLF数据目录我们使用默认的就好,也可以自建创建一个目录,如果其他EMR集群使用了同一个DLF数据目录,那就是使用的同一个元数据信息,这个需要注意。后面我们可以通过DLF 元数据管理对元数据进行查询及管理。
Hive存储模式使用数据湖存储,使用OSS-HDFS作为数据存储,所以这里需要我们在创建集群之前需要创建一个OSS的bucket,并开通OSS-HDFS服务。
Hive数据仓库路径这里填入前面创建OSS的bucket
3.硬件设置
付费类型,如果短期使用的我们选择按量付费,如果是长期选择包年包月。
专有网络,也就是vpc用于网络隔离的。
可用区我们这里选择和业务系统在同一个地域的同一个可用区内,保证效率。
节点组,master节点这个是不能扩容的,所以需要我们前面规划好。Master节点主要用来存储HDFS元数据和组件Log文件,属于计算密集型,对磁盘IO要求不高。HDFS元数据存储在内存中,建议根据文件数量选择16 GB以上内存空间。
Core节点会同时运行DataNode和Nodemanager。作为存储和计算节点使用,我们可以把数据存在OSS中,集群中的HDFS仅作为YARN任务分发的临时存储空间使用。
3.基础配置
身份凭证建议使用密钥对,这样更安全。
2.配置
1.组件配置
点击集群服务->选择Hive配置,修改配置项hive.execution.engine=tez。
2.用户管理
我们前面选择的knox,它可以让我们通过公网方式访问HDFS、YARN、Spark和Ganglia等Web UI页面,它可以帮助我们只开放一个端口访问所有的UI。
点击EMR集群->点击用户管理->添加用户,选择我们要添加的用户,然后设置密码,这个用户和密码用于后面访问组件UI的时候的验证。
3.安全组
knox默认使用了8443端口,所以在安全组中我们手动添加8443端口,授权对象为需要访问资源机器的ip地址。
4.Gateway
Gateway 主要用于向计算集群提交任务和进行安全隔离。部署组件客户端,访问EMR集群。
其部署过程如下
- 在 ECS 控制台创建 ECS 实例
- 在 ECS 实例安装 EMR-CLI 工具,并配置认证信息
- 通过 EMR-CLI 命令完成部署客户端软件包、同步集群配置及更新软件包操作。
部署完成之后各客户端使用的配置文件默认存在/etc/taihao-apps目录下,在这里可以查看组件config。
在ECS实例安装EMR-CLI工具过程如下:
需要注意的是,如果使用spark客户端需要配置Gateway节点的域名解析。
如何创建ECS实例并基于EMR-CLI快速部署Gateway环境_开源大数据平台 E-MapReduce-阿里云帮助中心
3.组件UI
点击集群->访问链接与端口。点击之后输入我们前面添加的用户和密码访问。
阿里云EMR集群搭建及使用相关推荐
- 阿里云注册集群+Prometheus 解决多云容器集群运维痛点
作者:左知 容器集群可观测现状 随着 Kubernetes(K8s)容器编排工具已经成为事实上行业通用技术底座,容器集群监控经历多种方案实践后,Prometheus 最终成为容器集群监控的事实标准. ...
- 使用阿里云Mysql集群做读写分离_以及使用阿里云服务器自己搭建MyCat集群_费用核算---Linux工作笔记046
咨询了一下阿里云,如果买阿里云的MySQL服务器的话,一台是5500一年,4GHz频率的CPU, 50G的硬盘,如果你也跟我一样,一个单表的数据就达到了20GB的话,那么,只买一台阿里的MySql 服 ...
- 怎么把springboot部署到阿里云_听说“一分钟就能部署阿里云ECS集群”?
导读 "企业上云"是当下大势所趋,"提效.降成本" 也是企业上云.迁云和管理云必须关注的问题.今天我们将从一个集群部署的场景出发,介绍阿里云如何借助生态工具Te ...
- 阿里云Redis集群版简要介绍
阿里云云数据库Redis集群版火热抢购,详情参见>> 产品简介 云数据库 Redis 提供集群版实例,轻松突破 Redis 自身单线程瓶颈,可极大满足对于 Redis 大容量或高性能的业务 ...
- springboot连接阿里云redis集群内网会连内网地址
springboot配置了redis集群(阿里云的),然后也可以运行,就是第一次连接会特别慢,检查发现控制台warn ,连接不上 ip:端口 , 发现ip是内网地址,端口是集群的端口. (我是一个服务 ...
- 阿里云Redis之:配置程序接入阿里云Redis集群缓存数据(十七)
文章目录 1.配置Redis白名单及账号密码 1.1.配置白名单 1.2.配置Redis账号密码 1.3.在ECS中测试是否能连接Redis 2.设置Redis集群为免密登录 3.配置KodCloud ...
- 【阿里云EMR实战篇】以EMR测试集群版本为例,详解 Flink SQL Client 集成 Hive 使用步骤
简介: 以测试集群版本为例(EMR-4.4.1)-- Flink SQL Client 集成 Hive 使用文档 作者:林志成,阿里云EMR产品团队技术支持,拥有多年开源大数据经验 1.以测试集群版本 ...
- 阿里云ECS服务器部署HADOOP集群(三):ZooKeeper 完全分布式集群搭建
本篇将在阿里云ECS服务器部署HADOOP集群(一):Hadoop完全分布式集群环境搭建的基础上搭建,多添加了一个 datanode 节点 . 1 节点环境介绍: 1.1 环境介绍: 服务器:三台阿里 ...
- *福音*阿里云redis5.0.*集群搭建及java代码测试详细(终于不用ruby了)
redis 5.0版本 集群搭建不需要我们安装ruby就可以搭建成功,并且redis给我们提供了快速搭建脚本,执行utils/create-cluster/ 目录下的create-cluster脚本 ...
最新文章
- 【数据结构】所有顶点对的最短路径 Floyd算法
- js脚本屏蔽页面点击
- m4a录音文件损坏修复_智慧输入再升级 搜狗输入法创新推出AI录音助手功能
- 解锁新姿势 |如何利用配置中心规范构建PaaS服务配置
- Java基础篇:String、StringBuffer、StringBuilder
- [九度][何海涛] 栈的压入压出
- 每日Ubuntu小技巧 - 使用TeamViewer连接远程桌面
- python快速排序算法循环_算法:快速排序的Python实现
- cobbler的dhcp服务_Cobbler服务器安装部署
- django使用Paginator分页展示数据
- linux删除具有指定内容的文件,Linux bash删除文件中含“指定内容”的行功能示例...
- mvd没什么每次参数双都多一个逗号_必看!PostgreSQL参数优化
- 黑马程序员 java了解和DOS命令
- 项目管理计划_通用模板
- win7如何彻底清理c盘?有什么好方法推荐?
- ceph osd 修复备忘
- 计算机专业研究生读研规划,关于一个计算机研究生人生规划的迷惑
- centos7 安装最新rabbitmq,并设置开机自启
- python自然语言处理之spacy详解
- 为什么要学习IA/IP/IE?
热门文章
- 点卯.时空克隆作为数字孪生的升级版,可以在三维地图与倾斜摄影打底的CIM场景下进行三维视频融合或投影融合,支持大规模实时视频流,可以建立产业园区等场所的三维沉浸式数字平台,开放源代码 点卯魔镜系列
- 一元夺宝项目设计(上)
- 跨境卖家如何以最少量的预算建立品牌知名度?
- cad单线变双线lisp_cad里面怎么把双线转成单线
- 从Facebook的新设计中窥探他们如何运用CSS技巧
- java微信退款接口demo_微信公众平台开发(6) 微信退款接口
- mac终端~%切换~$
- 酷课堂iOS交流群,聚集了一群热爱技术、有趣、有料,平均Q龄在10年以上的“老司机”,他们遍布在全国...
- fastposter v2.8.3 发布 电商海报生成器
- FusionStorage与oracle,传统存储OceanStor和fusionstorage的区别点