Spark on Yarn查看删除日志

一直以来都是在UI界面上查看Spark日志的，但有时想在终端里面查看某个job的日志该怎么看呢？今天特地查了下资料，找到如下命令：

1、查看某个job的日志

yarn logs -applicationId application_1503298640770_0230

2、查看某个job的状态

yarn application -status application_1503298640770_0230

3、kill掉某个job
直接在UI界面或者是终端kill掉任务都是不对的，该任务可能还会继续执行下去，
要用如下命令才算完全停止该job的执行

yarn application -kill application_1503298640770_0230

Spark on Yarn查看删除日志相关推荐

Spark Standalone -- 独立集群模式、Spark 提交任务的两种模式、spark在yarn上运行的环境搭建、自己写的spark代码如何提交到yarn上并运行...
目录 Spark Standalone -- 独立集群模式 Standalone 架构图 Standalone 的搭建 1.上传.解压.重命名 2.配置环境变量 3.修改配置文件 conf 4.同步到 ...
Spark on YARN ：yarn-cluster模式如何查看日志
Spark on YARN 两种模式yarn-cluster yarn-client 一:yarn-client 在运行时是可以看到日志的而yarn-cluster是看不懂的,那么问题来了,如何查看 ...
spark on yarn webUI logs不能查看
执行spark on yarn 执行:./bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluste ...
debian 文件夹中文件大小_Linux下查看文件和文件夹大小删除日志
场景:在sts中执行自动部署时候maven提示No space left on device错误,后来经检查发现是磁盘空间满了,用下面的方法分析发现tomcat下面的logs目录占用了很大的空间,删除 ...
ORACLE 删除归档日志连接rman查看归档日志占有率
我们都知道在controlfile中记录着每一个archivelog文件的相关信息,当然们在OS下把这些物理文件delete掉后,在我们的controlfile中仍然记录着这些archivelog文件 ...
服务器删除登录日志文件,CentOS查看登录日志及其它安全日志清空删除系统日志的方法...
总结下CentOS下查看登录日志及其它相关安全日志的方法. 查看ssh用户的登录日志 # tail /var/log/secure 查看登录成功的用户信息 # last 查看登录失败的用户信息 # l ...
Running Spark on YARN
Running Spark on YARN 对 YARN (Hadoop NextGen) 的支持是从Spark-0.6.0开始的,后续的版本也一直持续在改进. Launching Spark on ...
Spark 在YARN上运行
在YARN上运行Spark 安全在YARN上启动Spark 添加其他JAR 准备工作组态调试您的应用程序 Spark特性重要笔记的Kerberos YARN特定的Kerberos配置 Ker ...
Spark On YARN启动流程源码分析
1.spark-submit入口介绍一般的spark作业都是通过命令行spark-submit相关的指令来进行提交,使用--master yarn来指定提交到对应的yarn集群上,如下: ./bin ...

Spark on Yarn查看删除日志

Spark on Yarn查看删除日志相关推荐

最新文章

热门文章