linux 查看运行 job,如何通过Web查看job的运行情况

当我们将作业提交到Hadoop 的集群上之后，我们会发现一个问题就是无法通过web查看job运行情况，比如启动了多少个map任务，启动多少个reduce任务啊，分配多少个conbiner等等。这些信息都是作业在运行是可以查看的。而我的想要的就是能够通过远程的web可以查看到作业job的运行情况，以及它的详细信息。

下面介绍一下查看的方式：

1、当你提交作业时，我们首先通过命令行的方式提交作业后，我们可以打开Yarn的web界面，如下图所示：

在这个页面上可以看到作业的提交情况，若你提交作业之后会出现如下图所示：(请注意红色的矩形区域部分的变化)

当ApplicationMaster启动起来后就会看到如下图所示：此时可以点击ApplicationMaster进入查看作业job在运行的详细状态。

当作业运行完之后，我们可以看到上面第一幅图的样子。此时会显示History的状态，表示改作业已经运行完毕，如果想查看作业历史运行信息就可以点击History查看。若未启动historyserver的话，是无法查看作业job的历史记录的。因此需要启动作业的historyserver。启动的方法是通过执行命令：mr-jobhistory-daemon.sh start historyserver。也可以通过mapred historyserver的方式来启动。

在这之前必须要在mapred-site.xml中配置相应的参数：

linux 查看运行 job,如何通过Web查看job的运行情况相关推荐

Linux后台运行和关闭程序、查看后台任务
fg.bg.jobs.&.ctrl+z 都是跟系统任务有关的,虽然现在基本上不怎么需要用到这些命令,但学会了也是很实用的. 1.& (最经常被用到) 这个 ...
【Linux】Linux关闭防火墙、关机重启和查看系统运行级别
目录一.systemctl命令(CentOS 7版本) 1基本语法 2经验技巧二.关闭防火墙和服务开机自启 1.服务开机自启 3.关闭防火墙自启动三.关机重启四.系统运行级别 1.CentOS ...
linux查看gogs版本,linux下 gogs的安装和web钩子
linux系统下 gogs下载安装以及web钩子的使用 (1)下载gogs 官方网址:https://dl.gogs.io/ 选择合适的版本,解压后就可以使用了启动gogs的命令: ./gos ...
高效管理 Linux 进程：如何后台执行程序、查看进程、终止任务
目录前言一.nohup命令详解 1-1.nohup命令介绍 1-2.语法格式 1-2-1.基础语法介绍 1-2-2.执行脚本文件 1-2-3.执行python文件 1-2-4.拓展延申:在服务器上 ...
windows下xshell操作Linux命令大全（及服务器日志查看）
(1)命令ls--列出文件ls -la 给出当前目录下所有文件的一个长列表,包括以句点开头的"隐藏"文件ls a* 列出当前目录下以字母a开头的所有文件ls -l *.doc 给出 ...
Linux查看系统信息的一些命令及查看已安装软件包的命令（转)
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # ho ...
Linux查看系统信息的一些命令及查看已安装软件包的命令
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # ho ...
360gen9装linux找不到硬盘,H3C案例查看：针对HPE ProLiant Gen8/Gen9系列服务器在Linux系统下如何开启......
在Linux系统下,可以安装HPE SSA CLI工具在系统下进行关闭.首先在HPE官网上下载对应的工具,链接如下:http://h20566.www2.hpe.com/hpsc/swd/public ...
如何查看docker的内核版本_查看Linux内核版本的方法有几个？你也是这样操作吗？...
请关注本头条号,每天坚持更新原创干货技术文章.如需学习视频,请在微信搜索公众号"智传网优"直接开始自助视频学习 1. 前言内核是操作系统的核心组件. 它管理系统的资源,是计算机硬 ...

linux 查看运行 job,如何通过Web查看job的运行情况

linux 查看运行 job,如何通过Web查看job的运行情况相关推荐

最新文章

热门文章