Flink Web UI 介绍

一、提交flink任务到yarn。

./flink run -m yarn-cluster -yn 1 -p 2 -yjm 1024 -ytm 1024 -ynm FlinkOnYarnSession-MemberLogInfoProducer -d -c com.igg.flink.tool.member.rabbitmq.producer.MqMemberProducer /home/test_gjm/igg-flink-tool/igg-flink-tool-1.0.0-SNAPSHOT.jar

说明：

-m yarn-cluster 在yarn上运行独立的flink job
-yn 申请的TaskManager数量，目前已废弃，参数不生效
-p 并发数，即槽数
-yjm 申请的JobManager的内存大小
-ytm 申请的每个TaskManager的内存大小
-ynm yarn application 显示的名称
-d 使用分离模式，后续取消任务，需要使用yarn application
-c 类名

二、通过Yarn UI 进入 Flink UI

说明：

TaskManager=1，Task Slots=2，分别与任务参数一一对应。Available Task Slots=0，因在flink-conf.yaml中，设置了

taskmanager.numberOfTaskSlots: 2

所以，可用槽数为0。

三、Task Manager

可以看到，TM运行在230机器以及机器的一些配置信息。登陆230机器，查看TM进程。

四、Job Manager。

可以看到，TM运行在229机器以及flink一些配置信息。登陆230机器，查看JM进程。

其次，还可以切换到logs和stdout，分别查看日志文件数据和控制台输出。

说明：

当日志输出很多的时候，打开这里的页面会很慢，甚至卡死。所以线上的时候，一定不要输出一些无关紧要的日志。

如果非要看卡死的日志，可以到yarn配置的临时日志目录去查看。

<property><name>yarn.nodemanager.log-dirs</name><value>/home/hadoop/yarn_dir/log</value><description>Comma-separated list of paths on the local filesystem where logs are written. Multiple paths help spread disk i/o.</description>
</property>

tail -f taskmanager.log

五、Submit new Job。

对于独立模式和yarn-session模式，可以通过此ui操作来提交任务。对于独立job的flink只能通过命令。

六、checkpoint 的查看。

通过观察 checkpoint 记录，我们可以观察任务的运行情况。如果 checkpoint status 失败、或者时间较长，等等，说明程序存在

调整的地方，如 checkpoint 的数据过大，则可使用增量的方式，或者代码需要进行调优处理。如 checkpoint 时间较长，可改用

memory/rockdb 等存储。

七、背压情况。

当DAG的某个过程的背压状态为 low 或者 high 时，则说明下游的处理速度不及上游的输出速度。也就是说下游的处理是整个任务的瓶颈所在，需要进行优化处理。

八、Task Metrics 的使用

可以根据需要，对DAG的某个过程的输入和输出情况进行观察，便于发现和排查问题。

【一起学习】

Flink Web UI 介绍相关推荐

flink web ui提交任务时出现Server Respoonse Message-Internal server error
在要submit的时候,页面右上角弹出通知: Server Response Message Internal server error 但是没有详细信息怎么办呢? 查看 $FLINK_HOME/lo ...
Flink Web UI中不显示各算子节点的接收数据量
1. 现象各节点发送/接收数据量都是0 可以看到各节点是链接在一起的 2. 原因整个流程各operator task的并行度相同,而Flink默认不监控与外界数据源的输入输出,可以把中间算子的并行 ...
flink的web ui中五颜六色的方块是什么意思？
我们常常会看到这样的界面那么这里面的两个方块(也就是slot)的颜色,以及方块中的两个数字6到底是什么鬼? 这些方块有个专门的叫法:slot 这些slot的颜色表述数据分区partition的key ...
flink的web ui出现Server Response:Unable to load requested file /jars
当从master的jps是: 14448 NameNode 90288 Jps 14612 DataNode 15092 ResourceManager 15270 NodeManager 13831 ...
【Flink实战系列】Flink 本地 Web UI 的配置及使用
当你在本地开发调试 Flink 任务的时候,如果没有搭建集群环境,但是又想要查看 Flink 的 Web UI 该怎么办呢? 其实 Flink 是提供有在本地查看 Flink UI 功能的. 添加依赖 ...
Flink基础系列7-通过Web UI执行jar文件
文章目录环境准备一.准备代码 1.1 maven准备 1.2 Java代码准备二.打包三.通过Web UI执行jar文件 3.1 上传文件环境准备本地Windows环境已安装Flink 1 ...
15 个 JavaScript Web UI 库
新闻来源:speckboy.com 几乎所有的富 Web 应用都基于一个或多个 Web UI 库或框架,这些 UI 库与框架极大地简化了开发进程,并带来一致,可靠,以及高度交互性的用户界面.本文介绍了 ...
15 个 JavaScript Web UI 库（转）
几乎所有的富 Web 应用都基于一个或多个 Web UI 库或框架,这些 UI 库与框架极大地简化了开发进程,并带来一致,可靠,以及高度交互性的用户界面.本文介绍了 15 个非常强大的 JavaScr ...
Web测试介绍2一安全测试
安全测试是在IT软件产品的生命周期中,特别是产品开发基本完成到发布阶段,对产品进行检验以验证产品符合安全需求定义和产品质量标准的过程. 主要安全需求包括: (i) 认证 Authentication: ...

Flink Web UI 介绍

Flink Web UI 介绍相关推荐

最新文章

热门文章