sparkConf常见参数设置
def getSparkConf():SparkConf = {val sparkConf: SparkConf = new SparkConf().set("spark.driver.cores","4") //设置driver的CPU核数.set("spark.driver.maxResultSize","2g") //设置driver端结果存放的最大容量,这里设置成为2G,超过2G的数据,job就直接放弃,不运行了.set("spark.driver.memory","4g") //driver给的内存大小.set("spark.executor.memory","8g")// 每个executor的内存.set("spark.submit.deployMode","cluster") //spark 任务提交模式,线上使用cluster模式,开发使用client模式.set("spark.worker.timeout" ,"500") //基于standAlone模式下提交任务,worker的连接超时时间.set("spark.cores.max" , "10") //基于standAlone和mesos模式下部署,最大的CPU和数量.set("spark.rpc.askTimeout" , "600s") //spark任务通过rpc拉取数据的超时时间.set("spark.locality.wait" , "5s") //每个task获取本地数据的等待时间,默认3s钟,如果没获取到,依次获取本进程,本机,本机架数据.set("spark.task.maxFailures" , "5") //允许最大失败任务数,根据自身容错情况来定.set("spark.serializer" ,"org.apache.spark.serializer.KryoSerializer") //配置序列化方式.set("spark.streaming.kafka.maxRatePerPartition" , "5000") //使用directStream方式消费kafka当中的数据,获取每个分区数据最大速率.set("spark.streaming.backpressure.enabled" , "true") //开启sparkStreaming背压机制,接收数据的速度与消费数据的速度实现平衡// .set("spark.streaming.backpressure.pid.minRate","10").set("spark.driver.host", "localhost") //配置driver地址//shuffle相关参数调优开始.set("spark.reducer.maxSizeInFlight","96m") //reduceTask拉取map端输出的最大数据量,调整太大有OOM的风险.set("spark.shuffle.compress","true") //开启shuffle数据压缩.set("spark.default.parallelism","10") //设置任务的并行度.set("spark.files.fetchTimeout","120s") //设置文件获取的超时时间//网络相关参数.set("spark.rpc.message.maxSize","256") //RPC拉取数据的最大数据量,单位M.set("spark.network.timeout","120s") //网络超时时间设置.set("spark.scheduler.mode","FAIR") //spark 任务调度模式 使用 fair公平调度//spark任务资源动态划分 https://spark.apache.org/docs/2.3.0/job-scheduling.html#configuration-and-setup.set("spark.dynamicAllocation.enabled","true").set("spark.shuffle.service.enabled","true").set("spark.dynamicAllocation.executorIdleTimeout","120s") //executor空闲时间超过这个值,该executor就会被回收.set("spark.dynamicAllocation.minExecutors","0") //最少的executor个数.set("spark.dynamicAllocation.maxExecutors","32") //最大的executor个数 根据自己实际情况调整.set("spark.dynamicAllocation.initialExecutors","4")//初始executor个数.set("spark.dynamicAllocation.schedulerBacklogTimeout","5s") //pending 状态的task时间,过了这个时间继续pending ,申请新的executor.setMaster("local[1]").setAppName("Stream")sparkConf.set("spark.speculation", "true") //开启推测执行sparkConf.set("spark.speculation.interval", "100s") // 每隔多久检测一次是否需要进行推测执行任务sparkConf.set("spark.speculation.quantile","0.9") //完成任务的百分比,然后才能启动推测执行sparkConf.set("spark.streaming.backpressure.initialRate" , "500") // //开启sparkStreaming的背压机制,然后第一批次获取数据的最大速率sparkConf.registerKryoClasses(Array(classOf[OrderInfo],classOf[Opt_alliance_business],classOf[DriverInfo],classOf[RegisterUsers]))sparkConf}
sparkConf常见参数设置相关推荐
- 一文学会JVM常见参数设置+调优经验(JDK1.8)
内存管理参数 本参数以JDK1.8为基础进行整理,目前默认参数大概有660个左右,使用java -XX:+PrintFlagsFinal -version可以输出所有参数的名称及默认值 名词解释 -X ...
- sparkSession常见参数设置
def getSparkSession(sparkConf:SparkConf):SparkSession = {val sparkSession: SparkSession = SparkSessi ...
- Socket中的异常和参数设置
1.常见异常 1.java.net.SocketTimeoutException . 这个异 常比较常见,socket 超时.一般有 2 个地方会抛出这个,一个是 connect 的 时 候 , 这 ...
- JVM内存参数设置及常见错误总结
一. JVM规范 JVM规范对Java运行时的内存划定了几块区域(详见这里),有:JVM栈(Java Virtual Machine Stacks).堆(Heap).方法区(Method Area) ...
- mysql port range_MySQL 数据库常见调优方法及参数设置_MySQL
1. 关闭 SELinux vim /etc/selinux/config 更改 SELINUX=enforcing 为 SELINUX=disabled 2. 更改 IO Schedule, 对于 ...
- Origin: 常见图形参数设置(汇总篇)
Origin: 常见图形参数设置(汇总篇) (一)坐标轴的设置 1. 坐标轴刻度的调整 2. 坐标轴网格线的设置 3. 坐标轴重叠及特殊刻度线设置 (二)图例的设置 1. 图例的调整 2. 图例横向展 ...
- a5松下驱动器参数设置表_松下A5伺服驱动器参数设置与常见故障解决分析
原标题:松下A5伺服驱动器参数设置与常见故障解决分析 松下伺服参数共有200多个,但一般的控制场合只需要掌握少数几个即可.伺服系统有位置控制.速度控制.转矩控制以及三者的组合等多种控制模式,但大多数场 ...
- jvm内存参数配置_idea中设置JVM参数,简单理解JVM常见参数,JVM调优简单入门
前面学习了JVM的内存分布,今天就来验证下.顺便通过测试学习一下JVM的几个参数,不过测试是在idea中,所以先要在idea上设置JVM参数. 一.idea设置全局的JVM参数 一共三步,第一步在菜单 ...
- spark-sql使用UDF函数实现ip映射省份,数据写出到mysql参数设置。
spark-SQL使用广播变量以及应用数据库的UDF自定义函数的查询会比两张表的连接更加的优化的程序的执行. 两表连接是比较费效率的. spar-sql 2.x的数据读取,处理,添加schema信息, ...
最新文章
- 《Java虚拟机原理图解》5. JVM类加载器机制与类加载过程
- 〖Android〗Android App项目资源字符串检查(检查是否缺少对应的翻译,导致系统切换语言后崩溃)...
- Android基础--tools:context=.TestActivity作用
- 自学python清单-机器学习和Python怎样快速掌握?你一定需要这27张清单
- 云炬Android开发笔记 13购物车,订单,支付功能开发(包含支付宝支付和微信支付)
- c#解压,压缩文件!!!
- 关于微信公众平台表情代码的记录
- guava 并发_Google Guava并发– ListenableFuture
- 一文弄懂宇宙的历史与结构(图文并茂)!
- 卡通自适应网址发布页源码
- HTML 中CSS 图像详解
- python装逼_能够让你装逼的10个Python小技巧
- ArcIMS9.0 学习
- 凉山州计算机等级考试时间,2020年四川凉山中考考试时间及科目安排(已公布)...
- 遥感水文前景_遥感水文
- 中国成网络攻击最大受害国之一
- android studio 登陆ui界面设计
- 北师大 外国教育史-6(新教育运动)
- 智能网联汽车——智能化
- 基于imx6的gt911触摸屏驱动移植