定时执行spark-submit命令--Linux中使用crontab命令

项目部署时，一些批处理工作可能需要定时执行，如每天进行统计、每天清理系统垃圾、定期进行ETL工作等等都需要定时执行命令。在Linux中，定时通过spark-submit提交任务可使用crontab来实现。
1.安装crontab。CentOS系统并未自带crontab,可使用yum安装

yum install vixie-cron crontabs

2.将需要执行的spark-submit命令做成shell脚本。即创建sh文件，如sparkShell.sh文件，内容为：

#!/bin/bash
spark-submit /usr/zlp/wbfiveconnectins.jar > /usr/zlp/log1229.out

3.编辑crontab

crontab -e

随即进入vim界面，输入

 1 0 * * * . /etc/profile;/bin/sh /usr/zlp/sparkShell.sh

语义为：每天凌晨00:01执行此条命令
可通过crontab -l命令查看是否编辑成功
tips：需引入环境变量,因crontab的环境变量与系统不一致。
4.重启crond服务

service crond restart

5.引入环境变量两种方式，第一种如2所示，在命令中引入，还有一种方式则是在shell脚本文件中引入，则sparkShell.sh文件改为：

#!/bin/bash
source /etc/profile
spark-submit /usr/zlp/wbfiveconnectins.jar > /usr/zlp/log1229.out

且crontab -e中的命令改为：

 1 0 * * * . /usr/zlp/sparkShell.sh

这样既可避免定时执行失败的问题。
6.下面提供一些定时执行中关于时间调节的例子（从网上找的例子，留着备用）：
1）每五分钟运行命令

      */5 * * * * . /home/XXXX.sh

2）每个工作日23:59都进行备份作业。

59 11 * * 1,2,3,4,5 . /home/XXXX.sh

3 )每分钟运行一次命令

*/1 * * * * . /home/XXXX.sh

4）每个月的1号 14:10 运行

10 14 1 * * . /home/XXXX.sh

定时执行spark-submit命令--Linux中使用crontab命令相关推荐

linux中shutdown命令,linux中使用shutdown命令关机和重启
linux中可以使用shutdown命令进行关机和重新启动,因为linux是多用户操作系统,可能会有很多用户在线上,所以这个命令需要root权限才可以执行,避免其他登录用户误操作. 1.命令格式常用 ...
linux未找到make命令,linux中无make命令的问题(make: *** 没有指明目标并且找不到 makefile及make命令安装方法)...
linux中无make命令的问题(make: *** 没有指明目标并且找不到 makefile及make命令安装方法) 发布时间:2020-09-15 04:09:36 来源:脚本之家阅读:375 ...
linux 的ss命令,Linux中的ss命令的详细解释
linxu下的ss其实Socket Statistics的缩写.下面由学习啦小编为大家整理了linux的ss命令的详细解释的相关知识,希望对大家有帮助! 一.Linux中的ssh命令的详细解释 1.命 ...
linux中setfacl命令,Linux 中的Setfacl命令
setfacl命令是用来在命令行里设置ACL(访问控制列表).在命令行里,一系列的命令跟随以一系列的文件名. 选项 -b,--remove-all:删除所有扩展的acl规则,基本的acl规则(所有者, ...
linux系统in命令,Linux中的In命令
ln是linux中一个非常重要命令.它的功能是为某一个文件在另外一个位置建立一个同步的链接,这个命令最常用的参数是-s,具体用法是: ln -s 源文件目标文件 -s 是 symbolic的 ...
linux的wc是什么命令,linux中的wc命令
.NET多线程总结和实例介绍摘要:.Net提供了许多多线程编程工具,可能是因为太多了,所以掌握起来总是有一些头疼,我在这里讲讲我总结的一些多线程编程的经验,希望对大家有帮助. 1.多线程的总结不需 ...
Linux中使用crontab命令启用自定义定时任务
一简介 Linux下的任务调度分为两类,系统任务调度和用户任务调度系统任务调度:系统需要定期执行的任务,比如重启.日志清理等,其配置文件是:/etc/crontab 用户任务调度:某个用户需要定期 ...
php执行who命令,Linux中的who命令实例介绍
关于who 显示登录系统的用户.执行who命令可得知目前有那些用户登入系统,单独执行who命令会列出登入帐号,使用的终端机,登入时间以及从何处登入或正在使用哪个X显示器. 描述 who命令打印有关当前 ...
linux 安装locate命令,Linux 中的 locate 命令详解
在 Linux 上工作时最常见的操作之一是搜索文件和目录.在 Linux 系统中,有几个命令,它允许你搜索文件与 find 和 locate 是最常用的. 该 locate 命令是按名称搜索文件和目录 ...

定时执行spark-submit命令--Linux中使用crontab命令

定时执行spark-submit命令--Linux中使用crontab命令相关推荐

最新文章

热门文章