阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区 & 阿里云 EMR 系列直播第六期

主题：EMR spark on ACK 产品演示及最佳实践

讲师：石磊，阿里云 EMR 团队技术专家

内容框架：

云原生化挑战及阿里实践
Spark 容器化方案
产品介绍和演示

直播回放：扫描文章底部二维码加入钉群观看回放，或进入链接https://developer.aliyun.com/live/246868

一、云原生化挑战及阿里实践

大数据技术发展趋势

云原生化面临挑战

计算与存储分离

如何构建以对象存储为底座的 HCFS 文件系统

完全兼容现有的 HDFS
性能对标 HDFS，成本降低

shuffle 存算分离

如何解决 ACK 混合异构机型

异构机型没有本地盘
社区 [Spark-25299] 讨论，支持 Spark 动态资源，成为业界共识

缓存方案

如何有效支持跨机房、跨专线混合云

需要在容器内支持缓存系统

ACK 调度

如何解决调度性能瓶颈

性能对标 Yarn
多级队列管理

其他

错峰调度
Yarnon ACK 节点资源相互感知

阿里实践 - EMR on ACK

整体方案介绍

通过数据开发集群/调度平台提交到不同的执行平台
错峰调度，根据业务高峰低峰策略调整
云原生数据湖架构，ACK 弹性扩缩容能力强
通过专线，云上云下混合调度
ACK 管理异构机型集群，灵活性好

二、Spark 容器化方案

方案介绍

RSS Q&A

1、为什么需要 Remote Shuffle Service？

RSS 使得 Spark 作业不需要 Executor Pod 挂载云盘。挂载云盘非常不利于扩展性和大规模的生产实践。
云盘的大小无法事前确定，大了浪费空间，小了 Shuffle 会失败。RSS 专门为存储计算分离场景设计。
Executor 将 shuffle 数据写入了 RSS 系统，RSS 系统来负责管理 shuffle 数据，Executor 空闲后即可以回收。[SPARK-25299]
可以完美支持动态资源，避免数据倾斜的长尾任务拖住 Executor 资源不能释放。

2、RSS 性能如何，成本如何，扩展性如何？

RSS 对于 shuffle 有很深的优化，专门为存储与计算分离场景、K8s 弹性场景而设计。
针对 Shufflefetch 阶段，可以将 reduce 阶段的随机读变为顺序读，大大提升了作业的稳定性和性能。
可以直接利用原有 K8s 集群中的磁盘进行部署，不需要加多余的云盘来进行 shuffle。性价比非常高，部署方式灵活。

Spark Shuffle

产生 numMapper * numReducer 个 block
顺序写、随机读
写时 Spill
单副本，丢数据需 stage 重算

EMR Remote Shuffle Service

追加写、顺序读
无写时 Spill
两副本；副本复制到内存后即完成
副本之间通过内网备份，无需公网带宽

RSS TeraSort Benchmark

备注说明：以10T Terasort 为例，shuffle 量压缩后大约 5.6T。可以看出该量级的作业在 RSS 场景下，由于 shuffle read 变为顺序读，性能会有大幅提升。

Spark on ECI 效果

Summary

原文链接
本文为阿里云原创内容，未经允许不得转载。

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍相关推荐

京东零售大数据云原生架构实践
通常谈到大数据,想到的是大数据平台.Hadoop生态或者数据湖技术,关注于大数据存储.大数据计算方向上的技术发展与应用:谈到云原生,想到的是微服务架构.容器化或者SRE(Site Reliabilit ...
决胜Spark大数据时代企业级最佳实践：Spark CoreSpark SQLGraphXMachine LearningBest Practice
王家林:Spark.Docker.Android技术中国区布道师. 联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:186100868 ...
大数据云原生能力成熟度模型，重磅发布！
为了分享过去一年云原生产业联盟(CNIA)在标准建设.评估测试.技术研究.实践合作等方面的工作成果.探索行业最新趋势动态,云原生产业联盟于2023年1月9日举办了2022年度线上年会,发布了" ...
昨日黄花Hadoop 方兴未艾云原生——传统大数据平台的云原生化改造
本文6539字,阅读时间约20分钟以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发 ...
快速云原生化，从数据中心到云原生的迁移实践
作者:刘大鹏(雨镜) 前言云原生的时代已经到来,云原生技术正在重塑整个软件生命周期,阿里巴巴是国内最早布局云原生技术的公司之一. 容器服务团队在过去的几年时间内帮助很多用户成功把业务云原生化并迁移上 ...
Hadoop势微，云原生上位——传统大数据平台的云原生化改造
以Hadoop为中心的大数据生态系统从2006年开源以来,一直是大部分公司构建大数据平台的选择,但这种传统选择随着人们深入地使用,出现越来越多的问题,比如:数据开发迭代速度不够快,集群资源利用效率过低 ...
#阿里云原生最佳实践# 申通快递：核心业务系统云原生化上云技术详解
随着云计算的快速发展和成熟,越来越多的企业正在把自己的核心系统向云上迁移,从而享受云计算带来的技术红利.IDC发布的<全球云计算IT基础设施市场预测报告>显示:2019年全球云上的IT基础 ...
在阿里，我们这样帮助用户实现业务云原生化迁云
「本文整理自阿里云高级开发工程师郝树伟(流生)在大会上的演讲,获取云原生专场全部 PPT 合集请在阿里巴巴云原生公众号后台回复"724"」 7 月 24 日,阿里云开发者大会正式在 ...
【大数据云原生系列】大数据系统云原生渐进式演进最佳实践
1.引言随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足.资源利用率较低.迭代周期较长等问题.通过云原生技术(如容器,不可变基础设施和声明式API等),使 ...

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区 & 阿里云 EMR 系列直播第六期

一、云原生化挑战及阿里实践

大数据技术发展趋势

云原生化面临挑战

阿里实践 - EMR on ACK

整体方案介绍

二、Spark 容器化方案

方案介绍

RSS Q&A

Spark Shuffle

EMR Remote Shuffle Service

RSS TeraSort Benchmark

Spark on ECI 效果

Summary

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍相关推荐

最新文章

热门文章

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍

开源大数据社区 & 阿里云 EMR 系列直播 第六期

一、云原生化挑战及阿里实践

大数据技术发展趋势

云原生化面临挑战

阿里实践 - EMR on ACK

整体方案介绍

二、Spark 容器化方案

方案介绍

RSS Q&A

Spark Shuffle

EMR Remote Shuffle Service

RSS TeraSort Benchmark

Spark on ECI 效果

Summary

阿里大数据云原生化实践，EMR Spark on ACK 产品介绍相关推荐

最新文章

热门文章

开源大数据社区 & 阿里云 EMR 系列直播第六期