submit的一些参数

--master   master 的地址，提交任务到哪里执行，例如 spark://host:port, yarn, local
   --deploy-mode   在本地 (client) 启动 driver 或在 cluster 上启动，默认是 client
   --class   应用程序的主类，仅针对 java 或 scala 应用
   --name   应用程序的名称
   --jars   用逗号分隔的本地 jar 包，设置后，这些 jar 将包含在 driver 和 executor 的 classpath 下
   --packages   包含在driver 和executor 的 classpath 中的 jar 的 maven 坐标
   --exclude-packages   为了避免冲突而指定不包含的 package
   --repositories   远程 repository
   --properties-file   加载的配置文件，默认为 conf/spark-defaults.conf
   --driver-memory   Driver内存，默认 1G
   --driver-java-options   传给 driver 的额外的 Java 选项
   --driver-library-path   传给 driver 的额外的库路径
   --driver-class-path   传给 driver 的额外的类路径
   --driver-cores   Driver 的核数，默认是1。在 yarn 或者 standalone 下使用
   --executor-memory   每个 executor 的内存，默认是1G
   --total-executor-cores   所有 executor 总共的核数。仅仅在 mesos 或者 standalone 下使用
   --num-executors   启动的 executor 数量。默认为2。在 yarn 下使用
   --executor-core   每个 executor 的核数。在yarn或者standalone下使用

submit的一些参数相关推荐

Spark Submit提交及参数调优
https://www.cnblogs.com/LHWorldBlog/p/8414342.html https://www.cnblogs.com/haoyy/p/6893943.html spar ...
SpringMVC 参数映射与文件上传
hander参数映射当我们要实现一个登陆功能时: 创建一个用于处理登录请求的Servlet 实现doget等其他http方法(一些情况可能根据业务需要限制请求方法) 从request对象中取出数据 ...
form表单通过request取不到值multipart/form-data 文件上传表单中传递参数无法获取的原因!
1.什么是multipart/form-data 首先我们需要明白在html中的enctype属性, enctype:规定了form表单在发送到服务器时候编码方式.他有如下的三个值. ①appli ...
使用__doPostBack函数回送表单.
在asp.net中服务器控件回送表单是通过调用__doPostBack函数来回送表单,触发事件的,先来看看__doPostBack函数: function __doPostBack(eventTarg ...
Python通过future处理并发
future初识通过下面脚本来对future进行一个初步了解: 例子1:普通通过循环的方式 1 import os 2 import time 3 import sys 4 5 import req ...
java.util.concurrent包详细分析--转
原文地址:http://blog.csdn.net/windsunmoon/article/details/36903901 概述 Java.util.concurrent 包含许多线程安全.测试良好 ...
layui设置按钮不可点击_（eblog）7、博客发布收藏、用户中心的设置
小Hub领读: 继续我们的eblog,今天来完成博客文章收藏,用户中心的设置! 项目名称:eblog 项目 Git 仓库:https://github.com/MarkerHub/eblog(给个 s ...
React事件优雅绑定
2018-01-11 19:00 更新(目前最优解) 收到光同学的提醒,与其让ESLint报错,不如在调用时候做一些修改,上代码,就是在调用事件的时候,重新用箭头函数再包裹一层,拍脑袋表示为啥自己 ...
flask 开发接口测试平台
flask 开发接口测试平台数据库,forms views 视图, 数据库如下: # encoding: utf-8 ''' @author: lileilei @file: models.py ...

submit的一些参数

submit的一些参数相关推荐

最新文章

热门文章