记录spark-yarn模式下提交自己写的java程序

因为公司要完成统计任务，每天都有一些任务要在spark上跑，任务定时调度使用的是azkaban3版本，在提交代码的时候要注意一些问题：
首先是如下代码后面不要加setMaster，否则会报错：

二是如果实行了多线程程序，那么一定要在main线程里面等待全部完成再执行，否则你开启的线程开完你的main线程直接就结束了，我这里使用的是coutdownLatch的方法来保证所有线程任务完成再结束main线程，虽然在java的idea里面执行你不需要写写相关方法，但是提交给spark-yarn必须得考虑。

记录spark-yarn模式下提交自己写的java程序相关推荐

关于spark yarn模式下的常用属性
前言整理了spark官网提供的一些常用的spark属性. Spark属性属性名默认值描述 spark.yarn.am.memory 512m 在Client模式下用于YARN Applicat ...
spark on yarn模式下SparkStream整合kafka踩的各种坑(已解决)_fqzzzzz的博客
项目场景: 使用sparkStream接收kafka的数据进行计算,并且打包上传到linux进行spark任务的submit 错误集合: 1.错误1: Failed to add file:/usr/ ...
控制台编写JAVA程序教程_写一个java程序的步骤是什么？写java程序技巧
写Java程序是要按照步骤来的,这样才能写好一个java程序,那么接下来,我们就来给大家讲解一下写一个java程序的步骤是什么? (1)创建Java项目:"FileàNewàProjectà ...
spark yarn模式提交任务不成功（application state: ACCEPTED）
问题详情电脑8G,目前搭建3节点的spark集群,采用YARN模式. master分配2G,slave1分配1G,slave2分配1G.(在安装虚拟机时) export SPARK_WORKER_M ...
spark StandAlone模式下的作业提交流程
spark StandAlone也有两种作业提交模式,client 和 cluster模式,以下以cluster为例说明提交代码 ./spark-submit \ --class org.apach ...
ASM:《X86汇编语言-从实模式到保护模式》第13章：保护模式下内核的加载，程序的动态加载和执行...
★PART1:32位保护模式下内核简易模型 1. 内核的结构,功能和加载每个内核的主引导程序都会有所不同,因为内核都会有不同的结构.有时候主引导程序的一些段和内核段是可以共用的(事实上加载完内核以后 ...
Debug模式下加载文件，运行程序异常的慢
今天在进行单元测试的时候,debug模式下加载速度很慢,但是run模式下速度很快. 原因:在debug模式下,断点位置不当,解决办法移除编译器中的所有断点. 转载于:https://www.cnbl ...
java怎么在记事本里写过运行_[置顶] 如何运行用记事本写的java程序
今天用记事本写了一个java程序,测试能运行,现在把它分解成几个步骤,利于大家理解: 1. 新建一个记事本,后缀名是 .java :然后在里面写一段java的代码,如图: 2.把写好的java文件 ...
分享下多年积累的对JAVA程序员成长之路的总结
文章来自贴吧.原文地址:http://tieba.baidu.com/p/2017010306 我也搞了几年JAVA了,由于一向懒惰,没有成为大牛,只是一普通程序猿,不爱玩社交网站,不爱玩微博,唯独喜 ...

记录spark-yarn模式下提交自己写的java程序

记录spark-yarn模式下提交自己写的java程序相关推荐

最新文章

热门文章