大数据解决方案：Hadoop监控

Hadoop监控

目前采用方案：Zabbix+Hue+Kafka Manager

1.Zabbix

Zabbix主要监控相关进程是否存活以及针对运行时间过长的任务进行报警，目前暂定为1个小时

原理：通过Hadoop提供的jmx接口获取相关数据给zabbix

监控的项目：

进程ResourceManager,NameNode,HMaster 为0的时候触发报警。

Hadoop集群的节点数不为16的时候触发报警。

Hadoop 正在执行任务超过60分钟的任务个数，不为0的时候触发报警。

2.Hue

Hue是cloudera开源的一套针对Hadoop及相关组件的可视化及监控工具

目前可以对hdfs,mapreduce,hive,hbase,zookeeper,oozie,spark等进行监控。

目前监控的项目：

hdfs中的数据

mapreduce相关任务情况

hbase中的数据

zookeeper的运行情况

3.Kafka Manager

Kafka Manager是雅虎开源的一套针对Kafka的监控工具。修复了一些Kafka开源监控因为Spark Streaming系统并没有将消费的偏移量发送到Zookeeper中导致监控失效的缺点。

目前监控的项目：

Kafka集群运行情况及各个Topic的详细参数

部分截图如下：

重要问题汇总：

1. 启动服务后若网页显示django错误：attempt to write a readonly database或 unable to open database file，

是因为目录或文件权限不够，导致sqlite无法访问到数据库文件及临时文件。

修改命令如下：

chmod 777 hue-master/desktop/

chmod 766 hue-master/desktop/desktop.db

2.about页显示配置错误：Hive Editor – Failed to access Hive warehouse: /user/hive/warehouse

解决方案：找到源码中 /apps/beeswax/src/beeswax/conf.py的第138行，修改hive属性 hive.metastore.warehouse.dir 到/hive/warehouse，

3.Hbase app报错：

无法联系到 HBase Thrift 服务器：Could not connect to localhost:9090

原因是1.没有启动HBase Thrift，2.没有安装Thrift。

Hbase默认Thrift只支持java连接，需要编译安装Thrift来支持python,php等语言。

解决方案：在Hadoop22上安装Thrift后启动Hbase thrift。

大数据解决方案：Hadoop监控相关推荐

Greenplum Hadoop分布式平台大数据解决方案实战教程
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析 [上集]百度网盘下载:链接:http://pan.baidu.com/s/1eQJFXZ0 密码:kdx9 [下集]百 ...
Hadoop专业解决方案-第1章大数据和Hadoop生态圈
一.前言: 非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章大数据和Hadoop生态圈小组已经翻译完成,在此 ...
Hadoop-Apache Hadoop大数据解决方案的整体介绍
一大数据价值和当前主要应用大数据的价值当前全球数据的生产速度急剧加快,海量数据的存储以及计算问题通过传统的解决方案已经无法应对处理,为此急需有一套针对性的解决方案,Hadoop应运而生. 当前大 ...
ASP.NET + SqlSever 大数据解决方案 PK HADOOP
ASP.NET + SqlSever 大数据解决方案 PK HADOOP 参考文章: (1)ASP.NET + SqlSever 大数据解决方案 PK HADOOP (2)https://www.cn ...
Hadoop集群大数据解决方案之MapReduce 程序实战进阶(自定义partitionsortgroup)（六）
准备在上一篇博客举了个简单的word count,重在说明mapreduce的流程,但是针对mapreduce的编程,程序员能控制的,远远不止map和reduce,还有诸如partition, ...
政务大数据解决方案之大快DKhadoop
从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度,2015年8月31日,国务院印发了<促进大数据发展行动纲要>.旨在通过建立"用数据说话.用数据决策.用数据管理.用数 ...
IBM陈剑：金融行业大数据解决方案实践
本文讲的是IBM陈剑:金融行业大数据解决方案实践,当前,行业对于"大数据"的关注疾速攀升,这并不亚于数据本身的增长程度.您是否想过,我们看到的"谈大数据色变"或 ...
从0到1搭建大数据平台之监控
大家好,我是脚丫先生 (o^^o) 大数据平台设计中,监控系统尤为重要. 它时刻关乎大数据开发人员的幸福感. 试想如果半夜三更,被电话吵醒解决集群故障问题,那是多么的痛苦!!! 但是不加班是不可能的, ...
大数据 python hadoop_大数据与Hadoop
1. 大数据简介 1.1 大数据的由来随着计算机技术的发展,互联网的普及,信息的积累已经到了一个非常庞大的地步,信息的增长也在不断的加快,随着互联网.物联网建设的加快,信息更是爆炸式增长,收集.检索 ...
尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
视频地址:尚硅谷大数据Hadoop教程(Hadoop 3.x安装搭建到集群调优) 尚硅谷大数据技术Hadoop教程-笔记01[大数据概论] 尚硅谷大数据技术Hadoop教程-笔记02[Hadoop-入 ...

大数据解决方案：Hadoop监控

大数据解决方案：Hadoop监控相关推荐

最新文章

热门文章