Spark调优之推测执行
基本概念
在spark程序中,推测任务是指对于一个stage里面拖后腿的task,会在其他节点的Executor上再次启动这个task,如果其中一个task的实例运行成功者将这个最先完成的task的计算结果,同时会干掉其它Executor上运行的实例。默认情况下推测执行时关闭的。
开启推测的优点:
- 解决慢task提升作业的整体执行进度
- 解决分布式集群环境下,负载不均衡或者资源分布不均等问题
- 解决因机器或者程序bug导致执行task的进程hang(暂时停止执行)住,使得job无法继续执行,需要重启任务等问题
开启推测的弊端:
- 占用更多的集群资源,严重的会造成所有资源被全部占用,不能及时释放
- task执行非事务操作,如果中间过程有跟外界存储交互的可能会影响结果数据
推测执行算法流程图:
开启spark的推测执行,需要设置运行参数spark.speculation=true,两种设置方式:
- 在程序的sparkConf对象设置 :sparkConf.set("spark.speculation","true")
- 提交作业时设定: --conf spark.speculation=true
开启spark的推测执行需结合其他三个参数同时使用:
- spark.speculation.interval 100:检测周期,单位毫秒;
- spark.speculation.quantile 0.75:完成task的百分比时启动推测;
- spark.speculation.multiplier 1.5:比其他的慢多少倍时启动推测。
执行流程如下图:
执行流程: 推测执行根据设置检查周期spark.speculation.interval,默认100ms定时检查执行的task是否需要对task启用推测。当task执行到100ms时,程序开始检测该spark程序job对应的stage已经执行完成的task,如果没有超过spark.speculation.quantile设定的百分比,则不启用推测。如果超过spark.speculation.quantile设定的值,计算成功task运行时间的中位数medianDuration,然后计算启用推测执行时间的界限threshold = (spark.speculation.multiplier)*medianDuration,对正在运行的task运行时间是否超过启用推测执行时间的界限threshold,如果运行时间未超过界限,则不启用推测,如果超过界限则会在另一个excecutor启动相同的task计算,如果其中一个task的实例运行成功者将这个最先完成的task的计算结果,同时会干掉其它Executor上运行的实例。如果200ms的时候,也就是spark.speculation.interval的2倍还有task未完成的话,就会进入下一次的推测执行判断周期中,判断逻辑跟周期一的一样,这是一个循环的过程。
注意问题 :
推测执行的检测周期不要设计得太短,不然可能会重复创建很多相同的task,如果有实时跟外部存储交互的场景慎用推测执行,因为一个task虽然没有执行完,但是一部分结果已经写入外部存储了,启动多个task就会造成数据重复,所以具体要不要开推测和参数怎么设定,一定要根据具体业务设定。
参考 :
https://www.2cto.com/kf/201803/734284.html
https://blog.csdn.net/lvbiao_62/article/details/79751560
Spark调优之推测执行相关推荐
- Spark学习之Spark调优与调试(7)
Spark学习之Spark调优与调试(7) 1. 对Spark进行调优与调试通常需要修改Spark应用运行时配置的选项. 当创建一个SparkContext时就会创建一个SparkConf实例. 2. ...
- rdd数据存内存 数据量_大数据开发-Spark调优常用手段
Spark调优 spark调优常见手段,在生产中常常会遇到各种各样的问题,有事前原因,有事中原因,也有不规范原因,spark调优总结下来可以从下面几个点来调优. 1. 分配更多的资源 分配更多的资源: ...
- 跟我一起学【Spark】之——Spark调优与调试
第8章 Spark调优与调试 1.总结Spark的配置机制 2.理解Spark应用性能表现的基础知识.设置相关配置项.编写高性能应用设计模式 3.探讨Spark的用户界面.执行的组成部分.日志机制 8 ...
- 【Spark调优】大表join大表,少数key导致数据倾斜解决方案
[Spark调优]大表join大表,少数key导致数据倾斜解决方案 参考文章: (1)[Spark调优]大表join大表,少数key导致数据倾斜解决方案 (2)https://www.cnblogs. ...
- 【Spark调优】小表join大表数据倾斜解决方案
[Spark调优]小表join大表数据倾斜解决方案 参考文章: (1)[Spark调优]小表join大表数据倾斜解决方案 (2)https://www.cnblogs.com/wwcom123/p/1 ...
- spark调优(一)-开发调优,数据倾斜,shuffle调优
主要分为开发调优.资源调优.数据倾斜调优.shuffle调优几个部分. 开发调优和资源调优是所有Spark作业都需要注意和遵循的一些基本原则,是高性能Spark作业的基础:数据倾斜调优,主要讲解了一套 ...
- spark 写本地文件_(纯干货建议收藏)一次GC引发的Spark调优大全
上一篇Tungsten On Spark-内存模型设计总结了Spark内存设计相关的知识点,本篇会快速为读者复习一下JVM相关的知识点,然后基于线上的GC调优对spark整体的调优做一个汇总,希望能让 ...
- 【Spark】Spark调优 资源调优
文章目录 1 Spark内存模型 2.执行流程 3.资源调优 1 Spark内存模型 Spark在一个Executor的内存分为三块, 1. 一块是execution内存 2. 一块是Storge 内 ...
- 【Spark篇】---Spark调优之代码调优,数据本地化调优,内存调优,SparkShuffle调优,Executor的堆外内存调优...
一.前述 Spark中调优大致分为以下几种 ,代码调优,数据本地化,内存调优,SparkShuffle调优,调节Executor的堆外内存. 二.具体 1.代码调优 1.避免创建重复的RDD,尽 ...
- Spark 调优技巧总结
Spark 是大数据处理必备技术之一,在开发工作中必然会面对性能调优和各种问题故障的处理,那么面试官也最爱在这些方面进行机关枪式的提问,本 Chat 就针对当前实际开发工作中常遇到的热门和冷门问题进行 ...
最新文章
- Ensemble-BioMart:得到基因注释信息(有参考基因组的物种)
- 机器学习笔试题精选(四)
- H5调用Android播放视频
- JRE和JDK的区别分别代表什么
- substr()函数——mysql:截取字符串子串
- python 生成随机图片
- IIS设置Access-Control-Allow-Origin
- java继承总结_JAVA笔记:Java中的继承总结
- 代码在eclipse下不报错,在doc命令行下报错--jar file和runable jar file
- U-GAT-IT整体流程分析
- 火狐扩展教程_4个值得一试的Firefox扩展
- fitbit手表中文说明书_fitbit感觉智能手表动手
- 软考常考知识点整理-项目人员配备管理计划
- 点歌机显示歌库服务器未能连接,快速解决常见的六种KTV点歌设备突发故障
- 低价主机,怎么找性价比虚拟主机香港空间
- Excel应用技巧:合并单元格的排序
- [论文阅读] ICCV2015 Joint Fine-Tuning in Deep Neural Networks for Facial Expression Recognition
- [SV]SystemVerilog学习笔记之struct union
- php怎么把gif变成jpg,如何将gif转换成jpg
- 高通平台QCRILD
热门文章
- iOS应用性能调优的建议和技巧--中高级--王朋
- avr 74hc595驱动数码管动态显示c语言例程,一种电梯钢丝绳张力计控制系统软件的设计...
- position sticky
- 【luminate primordial】苏州之行
- windbg调试kvm windows虚机
- 超低功耗CMOS 16Mbit SRAM
- 新猿木子李:0基础学python培训教程 python下载文件的多种方法汇总
- MySQL数据库管理系统是什么_什么是数据库管理系统?
- 第 2 课:KNX智能控制系统的接口 BCU 模块
- PHP explode()和implode()的使用方法