spark推测机制及参数设置
推测执行机制
推测任务是指对于一个Stage里面拖后腿的Task,会在其他节点的Executor上再次启动这个task,如果其中一个Task实例运行成功则将这个最先完成的Task的计算结果作为最终结果,同时会干掉其他Executor上运行的实例。spark推测式执行默认是关闭的,可通过spark.speculation属性来开启
推测机制的设置
--conf spark.speculation=true
--conf spark.speculation.interval=100
--conf spark.speculation.quantile=0.9
--conf spark.speculation.multiplier=1.5
1. 当spark.speculation设置为true时,就会对task开启推测执行,也就是在一个stage下跑的慢的tasks有机会重新启动;
2. spark.speculation.interval,100ms,Spark检测tasks推测机制的间隔时间;
3. spark.speculation.quantile,0.9,当一个stage下多少百分比的tasks运行完毕后才开启推测执行机制,0.9即90%的任务都运行完毕后开启推测执行;
4. spark.speculation.multiplier,1.5,一个task的运行时间是所有task的运行时间中位数的几倍时,才会被认为该task需要重新启动。
spark推测机制及参数设置相关推荐
- DolphiScheduler平台上运行spark程序时,外部参数设置
DolphiScheduler平台上运行spark程序时,外部参数设置 近期使用DS平台执行spark程序,遇到了部分参数设置的问题,代码中需要外部传入一个参数procDate(处理日期),具体设置如 ...
- Spark shuffle机制演进史及原理说明(sort-based/hash-based/bypassShuffleManager)
spark shuffle 演进的历史 Spark 0.8及以前 Hash Based Shuffle Spark 0.8.1 为Hash Based Shuffle引入File Consolidat ...
- Spark Shuffle机制-源码实现
. 一 .前言 二 .Shuffle Write框架设计和实现 2.1. BypassMergeSortShuffleWriter 2.2. UnsafeShuffleWriter 2.3. Sort ...
- 2021年大数据Hadoop(二十九):关于YARN常用参数设置
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录 本系列历史文章 前言 关于yarn常用参数设置 设置container分配最小内 ...
- myeclipse.ini内存参数设置及其含义
=================================== 目前的配置 -vmargs -Xmx1024m -XX:MaxPermSize=256m -XX:ReservedCodeCac ...
- Appium的DesiredCapabilities参数设置
Appium的DesiredCapabilities参数设置 DesiredCapabilities 负责启动服务端时的参数设置.实际使用时根据自己的需要,可自行修改一些参数. 比如,应用程序在查找某 ...
- 深入探究Spark -- 了解Executor和参数配置
创建与分配Executor的方式根据各种资源调度方式的不同而有差异,但拿到Executor后每种资源调度方式下的Executor的运作都一样,并由Executor完成最终的计算 Task在Execut ...
- Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明
Hadoop平台作业参数设置关于mapreduce.job.split.metainfo.maxsize的说明 1.MR程序时执行时报错: YarnRuntimeException: java. ...
- Java虚拟机参数设置(转)
今天在加载一幅图片时,eclipse报出如下错误: "Exception in thread "main" java.lang.OutOfMemoryError: Jav ...
- CUDA程序编写具体参数设置
介绍了GPU的结构以及资源的控制要素(GPU硬件结构和程序具体参数设置_yu132563的专栏-CSDN博客)以及编程过程中的一些需要注意的问题(CUDA程序性能调优_yu132563的专栏-CSDN ...
最新文章
- java 重定向和转发 的区别
- ABAP-小技巧/知识(1)
- OpenCV主成分分析(PCA)简介
- web页面优化之动态加载js和文件
- Python中[:]与[::]的用法
- python pandas stack和unstack函数
- iTOP-4418开发板支持动态调频,AXP228电源管理,预留锂电池接口,内置充放电电路及电量计...
- ionic轮播,滑动之后不进行轮播
- 【OpenCV学习笔记】【函数学习】三(cvGetCaptureProperty函数)
- appscan 9.0.3.12 版本下载
- Android 源码查看网站分享
- 利用cropper插件进行图片裁剪
- 2066服务器芯片组,华硕发布三款LGA2066对应工作站主机板
- C# Socket网络编程精华篇 (转)
- 三分钟了解多模光纤和单模光纤的区别-ielab
- “使用区块链进行安全可信的电子医疗记录共享”外文翻译——2019年4月份
- html 一键复制功能以及下载功能
- iOS开发之2块钱一根的数据线能用多久
- matlab从csv文件中读取时间转换异常
- zr 10联测 day1