如何进行生产环境作业监控

2024-05-13 14:48:36

声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。

《2021年最新版大数据面试题全面开启更新》

之前我们介绍如何发现Flink任务是否出现反压，Flink后台页面是发现问题的第一选择，后台页面可以直观、清晰地看到当前作业的运行状态。
在实际生产中，Flink的后台页面可以方便对Flink JobManager、TaskManager、执行计划、Slot分配、是否反压等参数进行定位，对单个任务来讲可以方便地进行问题排查。
但是对很多中大型企业来讲，对集群的作业进行管理时，更多的是关心作业精细化实施运行状态。例如，实时吞吐的同比环比、整个集群的任务运行概览、集群水位，或者监控利用Flink实现的ETL框架的运行情况等，这时候需要设计专门的监控系统来监控集群的任务作业情况。

Flink Metrics

针对上面的情况，可以使用Flink提供的另一个强大的功能：Flink Metrics。
Flink Metrics是Flink实现的一套运行信息收集库，不但可以手机Flink本身提供的系统指标，比如CPU、内存、线程使用情况、JVM垃圾收集情况、网络和IO等，还可以通过继承和实现指定类或者接口打点手机用户自定义的指标。
使用Flink Metrics可以做到：

实时采集Flink中的Metrics信息或者自定义用户需要的指标信息并进行展示；
通过Flink提供的Rest API收集这些信息&

如何进行生产环境作业监控相关推荐

小吴--毕业设计--锂电池生产环境温湿度信息管理系统
提示:本系统为本科毕业设计系统展示:项目为锂电池生产环境温湿度监控信息管理文章目录一.登录注册模块二.系统首页模块三.用户管理模块四.权限分配模块五.菜单管理模块六.文件管理模块七.公 ...
MyHeritage是如何实现发布到生产环境的
\ 本文要点 \\ 持续部署对业务.质量.速度和满意度有着重要的影响.\\t 任何巨大的更改都开始于增量小步骤.\\t 任何完全持续部署得以应用之前,都需要一些测量到位,其中最重要的就是测试.\\t ...
Flink从入门到精通100篇（三）-如何利用InfluxDB+Grafana搭建Flink on YARN作业监控大屏环境
前言虽然博主之前写过基于Prometheus PushGateway搭建Flink监控的过程,但是在我们的生产环境中,使用的是InfluxDB.InfluxDB是一个由Go语言写成的.由Influx ...
SCOM 如何监控生产环境中的LinuxUnix机器
Linux能够监控的版本应该是从4.0以上才行,如果其他博友有更好的方法.共享哦!! 如何监控生产环境中的Linux&Unix机器 1. 点击Unix Action Account帐户属性 2 ...
JAVA生产环境验证_Java生产环境下性能监控与调优详解
本课程将为你讲解如何在生产环境下对Java应用做性能监控与调优:通过本课程,你将掌握多种性能监控工具应用,学会定位并解决诸如内存溢出.cpu负载飙高等问题:学会线上代码调试,Tomcat.Nginx, ...
Java生产环境下性能监控与调优详解大纲学习感悟
Java生产环境下性能监控与调优详解生产环境发生了内存溢出如何处理? 生产环境应该给服务器分配多少内存合适? 如何对垃圾收集器的性能进行调优? 4.生产环境CPU负载飙高该如何处理? 5.生产环境应 ...
Java生产环境下性能监控与调优详解第2章基于JDK命令行工具的监控
Java生产环境下性能监控与调优详解第2章基于JDK命令行工具的监控 2-1 JVM的参数类型标准参数 x参数 XX参数 2-2 查看JVM运行时参数 2-3 jstat查看JVM统计信息 2- ...
vue--echarts 图标库、excel导出、面包屑组件、富文本框、地图、前端使用代理访问、监控生产环境or开发环境
目录一.echarts 图标库 1.echarts的基础 2.项目中的使用二.execl导出三.面包屑组件四.富文本框五.地图六.vite 构建配置七.后端未开跨域资源共享,前端使用代理 ...
德鲁伊(Druid)后台监控配置详细操作。生产环境定位问题方法
前言从写System.out.println("hello world!")开始,到现在我一直认为,一个项目的系统上线,完成CURD(增删改查)的代码远远不够.为便于项目快速定位 ...

最新文章

热门文章