大数据监控体系构建

基于开源xxx_exporter+promethues+grafana的构建监控系统

1.概况

其中，exporter一般是使用来采集各种组件运行时的指标数据；
promethues构建指标时序数据库；
grafana构建指标显示面板；

目前已有各种docker容器方便的构建各种监控体系；

2.详细构建过程

其中我的promethues的配置如下：


#全局配置信息：
global:scrape_interval:     15s #默认抓取间隔1m, 15秒向目标抓取一次数据evaluation_interval: 15s #个性化的抓取配置信息
scrape_configs:- job_name: prometheusstatic_configs:- targets: ['192.168.32.70:9090']labels:instance:  192.168.32.70#监控物理主机：cpu、memory、disk等 - job_name: node_exporterstatic_configs:- targets:- '192.168.32.62:9100'- '192.168.32.63:9100'- '192.168.32.64:9100'- '192.168.32.65:9100'- '192.168.32.66:9100'- '192.168.32.67:9100'- '192.168.32.68:9100'- '192.168.32.69:9100'- '192.168.32.70:9100'- '192.168.32.71:9100'- '192.168.32.72:9100'- '192.168.32.73:9100'- '192.168.32.101:9100'- '192.168.32.106:9100'- '192.168.32.111:9100'- '192.168.32.116:9100'- '192.168.32.121:9100'- '192.168.32.126:9100'- '192.168.32.141:9100'- '192.168.32.146:9100'#  - job_name: 'redis'
#    static_configs:
#     - targets: ['192.168.32.70:9121']
#       labels:
#         instance: redis-poc- job_name: 'mongo'static_configs:- targets: ['192.168.32.70:9104']labels:instance: mongo3- job_name: 'postgres'static_configs:- targets: ['192.168.32.70:9187']labels:instance: 'node70'platform: 'dcos-node70'- job_name: 'kafka'static_configs:- targets: ['192.168.32.70:9308']labels:instance: kafka-67- job_name: 'redis_exporter_poc'static_configs:- targets:- redis://192.168.32.141:16055- redis://192.168.32.68:16052- redis://192.168.32.68:16053metrics_path: /scraperelabel_configs:- source_labels: [__address__]target_label: __param_target- source_labels: [__param_target]target_label: instance- target_label: __address__replacement: 192.168.32.70:9121- job_name: 'elasticsearch'scrape_interval: 15smetrics_path: "/_prometheus/metrics"static_configs:- targets: ['192.168.32.62:9200']

3.构建之后的效果

grafana指标展示界面

2.在线下载已知的控制面板

监控虚拟机物理节点资源

kafka相关监控体系

其他的类似，还有redis、postgresql、mysql、MongoDB等相关的监控体系；

甚至还有微服务相关的监控体系

时间关系，大概展示一些图片，其实dashboard面板还是挺美观的

大数据组件监控体系构建相关推荐

一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解
一篇运维老司机的大数据平台监控宝典(1)-联通大数据集群平台监控体系进程详解 "如果你是一个经验丰富的运维开发人员,那么你一定知道ganglia.nagios.zabbix.elastics ...
张新波 | 十面埋伏 - 论大数据风控技术体系的构建
2017.3.11,中生代技术嘉年华在上海盛大召开,6大主题.20话题,600多位小伙伴点燃现场,我们将会陆续将各话题整理发布,让大家共享这场技术盛筵. - 中生代技术嘉年华 - 张新波,同盾联合创始 ...
大数据平台常用组件_这款大数据智能服务平台火了！全自动化配置30+款开源大数据组件...
在互联网市场的头部效应下,企业所面临的竞争压力越来越大,如何有效解决获客成本高.用户黏性低.变现能力弱等问题,正是越来越多的企业开始构建大数据平台的初衷.但由于大数据解决方案所涉及的组件错综复杂.技术 ...
hive 取消打印日志信息_Hive及其相关大数据组件
HDFS架构 Hadoop 分布式文件系统(HDFS)是 Hive 存储数据的地方,简单了解HDFS的基本机制和读写工作机制,对于排查HiveSQL 程序是否由于数据存储引发的性能问题有较大的帮助. ...
中小企业监控体系构建实战
2019独角兽企业重金招聘Python工程师标准>>> 中小企业监控体系构建实战 2015-10-28 赵舜东高效运维本文根据高效运维系列微信群「运维讲坛」线上嘉宾分享整理而成. ...
假如大数据组件中的动物都变成神奇宝贝，那会变成什么样？（大数据的组件动漫化）
文章目录假如大数据组件中的动物都变成神奇宝贝,那会变成什么样? 第一个神奇宝贝 Hadoop 第二个神奇宝贝 Hive 第三个神奇宝贝 Hbase 第四个神奇宝贝的管理员 Zookeeper 第五个 ...
一篇文章带你了解大数据生态圈---大数据组件图谱
小编一篇文章带你了解大数据生态圈-大数据组件图谱转载地址:http://blog.csdn.net/u010039929/article/details/70157376 文章目录小编一篇文章带你 ...
最全大数据技术知识体系
大数据技术知识体系大数据技术知识体系 --持续更新,建议收藏最早提出"大数据"时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:"数据,已经渗透到当今每一个行业和业务职能 ...
企业大数据平台技术体系架构
2015年国务院向社会公布的<促进大数据发展行动纲要>明确提出了大数据的基本概念:大数据是以容量大.类型多.存取速度快.应用价值高位为主要特征的数据集合,正快速发展为对数量巨大.来源分散. ...
企鹅够牛，大事不断：腾讯音乐遭“投资者律师代表团”调查、大数据组件TubeMQ宣布开源、1千万美元领投英国AI企业SenSat...
整理: 数据猿 Toby 数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区据 ...

大数据组件监控体系构建

大数据监控体系构建

1.概况

2.详细构建过程

3.构建之后的效果

大数据组件监控体系构建相关推荐

最新文章

热门文章