Hadoop记录-监控几个思路

2024-05-09 15:33:31

1.存活监控

基本监控，主要对进程的存活、端口连通性、url可检测性等指标进行监控。

2.2 可用性监控

主要指对用户而言是否可用，能否返回预期结果，通常部署在一些业务主流程或一些关键环节，如接口调用，平台读写操作，端到端访问等。

2.3 性能指标

性能指标指可能影响业务正常运行的重要指标，一般偏离正常范围需人工干预,如io、cpu、rpc/handler tps,queue、连接数等。

2.4 容量指标

与资源相关，能直接推导资源用量的指标，该类指标异常可能触发扩容需求，如hdfs使用率、hbase tps、es qps/iops等。

2.5 监控对象&指标

对象主要指被监控的组件，如hbase,jstorm,指标指具体的监控项，如hbase的tps,rs count,region count,es的iops、tps、qps等。

2.6 监控频率

间隔多长时间上报一次。

2.7 告警方式

是否短信告警，是否邮件告警，是否丰声通知。

2.8 调用量监控

主要针对接口调用次数、频率进行监控，如平台接口（USS接口)、平台应用接口（ubas）等。

2.9 日志监控

针对异常比较频繁，问题比较突出的应用场景，如YARN、dataIDE、调度等底层日志异常进行收集、监控。

注：各类指标可能会存在重合，但使有场景权重不一样，建议按以上分类配置，可以重复。

转载于:https://www.cnblogs.com/xinfang520/p/10452556.html

Hadoop记录-监控几个思路相关推荐

总结篇：系统及应用监控的综合思路
目录一.系统监控 1.USE 法 2.监控系统二.应用监控 1.指标监控 2.日志监控三.总结性能分析的原理.思路以及相关的工具很多也很好用.不过,在实际的性能分析中,一个很常见的现象是,明明 ...
系统、应用监控的缜密思路，性能瓶颈的克星
欢迎关注方志朋的博客,回复"666"获面试宝典在实际的性能分析中,一个很常见的现象是,明明发生了性能瓶颈,但当你登录到服务器中想要排查的时候,却发现瓶颈已经消失了.或者说,性能问 ...
WebApi服务监控 log4net记录监控日志
在项目中引用log4net.dll 1.在Models文件夹内,定义一个WebApiMonitorLog ,监控日志对象 /// <summary>/// 监控日志对象/// </s ...
系统、应用监控的缜密思路，堪称性能瓶颈的克星
点击上方"朱小厮的博客",选择"设为星标" 后台回复"书",获取后台回复"k8s",可领取k8s资料在实际的性能分析 ...
luajit表记录监控（忆一次项目上线中遇到的luajit对象内存泄漏）
1. 背景我们项目为ARPG手游(也没啥见不得人的,就叫暗黑血统手游,后期不少坑钱活动的实现出自我手,轻拍...).我们的服务器底层设计源于某大厂,c/c++和luajit的实现,这次要说的是项目上 ...
记录：希尔排序思路分析
近日上班摸鱼闲来无事的时候决定看看一些排序算法,当看到希尔排序(shellSort)的时候,发现不能通过动图直观的看懂思路,因此将代码C下来逐行分析了一下,作为日记记录一下. public stati ...
Hadoop记录-hadoop2.x常用端口及定义方法
Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问.而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如 ...
java汉诺塔，记录一下自己的思路
看教程老师直接就把递归写出来了,就几行代码.想了好久想不明白,自己推了一遍总算清楚了,记录一下. 1.最基本思路(出发点) 不管几层塔,分成两部分,三步解决问题:1上部分整体移动到中转塔,具体单步步骤 ...
Apollo 应用与源码分析：Monitor监控-软件监控-定位、camera、功能安全、数据记录监控
目录定位监控代码分析备注 camera监控代码分析功能安全监控代码分析 CheckSafty函数分析 RunOnce 函数分析记录功能监控代码分析 SmartRecorderS ...

最新文章

热门文章