Spark-shell 脚本批量执行命令，命令行批量执行命令

spark-shell 执行脚本，批量执行命令

#!/bin/bashsource /etc/profileexec spark-shell  --name spark-sql-test --executor-cores 8 --executor-memory 8g   --num-executors 1 --conf spark.cleaner.ttl=240000  <<!EOF
var startTime = System.currentTimeMillis()
sql("select count(1) from ods_xxx.other_article_hive_textfile where created_date=2019 ").show()
var endTime = System.currentTimeMillis()
print("耗时:"+ (endTime - startTime))
!EOF

Spark-shell 脚本批量执行命令，命令行批量执行命令相关推荐

《Linux命令行与shell脚本编程大全第3版》Linux命令行---4
以下为阅读<Linux命令行与shell脚本编程大全第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: <Linux命令行与shell脚本 ...
Linux Shell - 脚本中自动确认需要输入确认的命令
文章目录 Linux Shell - 脚本中自动确认需要输入确认的命令 1.yum 命令 2.其它命令 Linux Shell - 脚本中自动确认需要输入确认的命令 1.yum 命令通过指定 -y ...
《Linux命令行与shell脚本编程大全第3版》Linux命令行---10
以下为阅读<Linux命令行与shell脚本编程大全第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: 转载于:https://www.cnbl ...
《Linux命令行与shell脚本编程大全第3版》Linux命令行---55
以下为阅读<Linux命令行与shell脚本编程大全第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: 转载于:https://www.cnbl ...
《Linux命令行与shell脚本编程大全第3版》Linux命令行---31
以下为阅读<Linux命令行与shell脚本编程大全第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: 转载于:https://www.cnbl ...
《Linux命令行与shell脚本编程大全第3版》Linux命令行---41
以下为阅读<Linux命令行与shell脚本编程大全第3版>的读书笔记,为了方便记录,特地与书的内容保持同步,特意做成一节一次随笔,特记录如下: 转载于:https://www.cnbl ...
Shell脚本学习-阶段六-密钥的批量分发与执行
文章目录-Shell阶段六-密钥的批量分发与执行前言一,开始部署ssh密钥的批量分发第一步:开始安装sshpass免交互工具并进行SSH-key的批量分发下载epel源并更新yum仓库,安装s ...
shell脚本编程学习笔记6(xdl)——字符串截取命令
shell脚本编程学习笔记6--字符串截取命令 1,cut命令 [root@localhost ~]# cut [选项] 文件名-f 列号,表示提取第几列-d 分隔符,按照指定的分隔符分割列注意:默认 ...
Bug同样的shell脚本在win与linux系统下执行不一样
问题在windows下面编辑的.sh脚本在win下面运行正确在linux下面运行错误应该是系统编码的差异原因吧! 原因在执行shell脚本时提示这样的错误主要是由于shell脚本文件是dos ...
python中执行shell脚本之subprocess模块,python用subprocess执行shell脚本
用subprocess中的Popen() 方法来得到shell脚本的一些运行结果,并且也可以指定不同的shell内核. 其构造函数为: class subprocess.Popen(args, buf ...

Spark-shell 脚本批量执行命令，命令行批量执行命令

Spark-shell 脚本批量执行命令，命令行批量执行命令相关推荐

最新文章

热门文章