之前我们做了Flink的开发，开发完成之后就需要进行监控。

Flink 有一个History Server可以在相关Flink 集群关闭之后，还可以查看一些信息。也就是一些作业运行完成之后，可以用History Server查看运行的统计信息。同时，还暴露了一些RestAPI，允许http进行请求。
修改配置文件conf/flink-conf.yaml：

jobmanager.archive.fs.dir: hdfs://swarm-manager:9000/completed-jobs/
historyserver.web.address: 0.0.0.0
historyserver.web.port: 8083
historyserver.archive.fs.dir: hdfs://swarm-manager:9000/completed-jobs/
historyserver.archive.fs.refresh-interval: 10000

启动HistoryServer

浏览器中输入地址：http://swarm-manager:8083

查看HDFS中的文件：

因为还没有执行作业，所以没有生成completed-jobs文件

测试History Server

执行命令./bin/flink run -m yarn-cluster -yn 1 ./examples/batch/WordCount.jar
浏览器中输入：http://swarm-manager:8083

然后在hdfs中查看：

API

请求发送http://hostname:8083(这个在配置文件中设置的)/jobs
URI：

/config
/jobs/overview
/jobs/< jobid>
/jobs/< jobid>/vertices
/jobs/< jobid>/config
/jobs/< jobid>/exceptions
/jobs/< jobid>/accumulators
/jobs/< jobid>/vertices/< vertexid>
/jobs/< jobid>/vertices/< vertexid>/subtasktimes
/jobs/< jobid>/vertices/< vertexid>/taskmanagers
/jobs/< jobid>/vertices/< vertexid>/accumulators
/jobs/< jobid>/vertices/< vertexid>/subtasks/accumulators
/jobs/< jobid>/vertices/< vertexid>/subtasks/< subtasknum>
/jobs/< jobid>/vertices/< vertexid>/subtasks/< subtasknum>/attempts/< attempt>
/jobs/< jobid>/vertices/< vertexid>/subtasks/< subtasknum>/attempts/< attempt>/accumulators
/jobs/< jobid>/plan
例如： http://hostname:port/jobs/7684be6004e4e955c2a558a9bc463f65/exceptions

Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置相关推荐

Apache Flink 零基础入门（十一）Flink transformation
前面讲了常用的DataSource的用法,DataSource其实是把数据加载进来,加载进来之后就需要做Transformation操作了. Data transformations transfor ...
Apache Flink 零基础入门【转】
Apache Flink 零基础入门(一):基础概念解析 Apache Flink 零基础入门(二):DataStream API 编程转载于:https://www.cnblogs.com/dav ...
Apache Flink 零基础入门（二十）Flink部署与作业的提交
之前我们都是基于Idea在本地进行开发,这种方式很适合开发以及测试,但是开发完之后,如何提交到服务器中运行? Flink单机部署方式本地开发和测试过程中非常有用,只要把代码放到服务器直接运行. 前置 ...
Apache Flink 零基础入门（一）：基础概念解析
Apache Flink 的定义.架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行 ...
Apache Flink 零基础入门（三）编写最简单的helloWorld
实验环境 JDK 1.8 IDE Intellij idea Flink 1.8.1 实验内容创建一个Flink简单Demo,可以从流数据中统计单词个数. 实验步骤首先创建一个maven项目,其中 ...
Java零基础入门 : (2) 代码编辑器IDEA安装与配置
工欲善其事必先利其器,好的工具会让你开发体验.开发效率提升N倍!!! 一.IntelliJ IDEA的下载 (1)下载地址:http://www.jetbrains.com/进入官网 ,点击Down ...
Apache Flink 零基础入门（二十）Flink kafka connector
内置source和sink 内置source包括从文件读取,从文件夹读取,从socket中读取.从集合或者迭代器中读取.内置的sink包括写文件.控制台输出.socket 内置connectors A ...
Apache Flink 零基础入门（二）：使用docker快速搭建Flink
使用docker拉取镜像 docker pull flink 镜像拉取好之后,检查一下: iie4bu@swarm-manager:~/ddy/docker-flink$ docker image l ...
Apache Flink 零基础入门（十二）Flink sink
将DataSet中的数据Sink到哪里去.使用的是对应的OutPutFormat,也可以使用自定义的sink,有可能写到hbase中,hdfs中. writeAsText() / TextOutput ...

Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置

启动HistoryServer

测试History Server

API

Apache Flink 零基础入门（二十一）Flink HistoryServer概述与配置相关推荐

最新文章

热门文章