标题：DKhadoop大数据处理平台监控数据介绍

标题：DKhadoop大数据处理平台监控数据介绍 2018年国内大数据公司50强榜单排名已经公布了出来，大快以黑马之姿闯入50强，并摘得多项桂冠。Hanlp自然语言处理技术也荣膺了“2018中国数据星技术”奖。对这份榜单感兴趣的可以找一下看看。本篇承接上一篇《DKM平台监控参数说明》，继续就大快的大数据一体化处理架构中的平台监控参数进行介绍和说明。 DKhadoop大数据处理平台架构的安装相关文章已经分享过，详细的内容可以找一下看看。在上一篇中已经就集群平均负载、集群磁盘使用情况、HDFS监控界面、Hbase监控界面等监控参数进行说明。今天就把剩下的一些监控参数一起介绍完，关于大快大数据处理平台监控参数的介绍就完整了。

1、Yarn监控界面（1）执行失败的应用程序

监控 yarn资源管理中总执行失败的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（2）已提交的应用程序监控 yarn资源管理中已提交的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟

（3）正在运行的应用程序

监控 yarn资源管理中正在运行的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（4）等待执行的应用程序

监控 yarn资源管理中等待执行的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟

（5）已完成的应用程序

监控 yarn资源管理中已完成的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟（6）被kill的应用程序

监控 yarn资源管理中被杀死的应用程序数量纵轴表示应用程序数量，单位个横轴表示时间,单位分钟 2、Spark监控界面注意：（spark 运行任务后才有监控数据）（1）最大可使用内存

监控 Spark 集群中最大可使用的内存纵轴表示内存容量，单位MB 横轴表示时间,单位分钟（2）已使用的内存

监控 Spark 集群中已经使用的内存纵轴表示内存容量，单位MB 横轴表示时间,单位分钟（3）剩余内存

监控 Spark 集群中剩余的内存纵轴表示内存容量，单位（MB）横轴表示时间,单位分钟（4）Spark中任务数量

监控 Spark 集群中任务数量纵轴表示内存容量，单位MB 横轴表示时间,单位分钟（5）Spark中正在运行的任务数量监控 Spark中正在运行的任务数量纵轴表示内存容量，单位MB 横轴表示时间,单位分钟（6）正在运行的stage数量

监控 Spark集群中正在运行的stage数量纵轴表示stage数量，单位个横轴表示时间,单位分钟

（7）失败的stage数量

监控 Spark集群中运行失败的stage数量纵轴表示stage数量，单位个横轴表示时间,单位分钟（8）准备就绪的stage数量

监控 Spark集群中准备就绪的stage数量纵轴表示stage数量，单位个横轴表示时间,单位分钟备注：（横轴的时间表示采集时间，一般是1分钟一次）

标题：DKhadoop大数据处理平台监控数据介绍相关推荐

大数据处理平台与案例
大数据能够在国内得到快速发展,甚至是国家层面的支持,最为重要的一点就是我们纯国产大数据处理技术的突破以及跨越式发展.在互联网深刻改变我们的生活.工作方式的当下,数据就成为了最为重要的资料.尤其是数据安 ...
云计算与大数据第15章分布式大数据处理平台Hadoop习题带答案
第15章分布式大数据处理平台Hadoop习题 15.1 选择题 1.分布式系统的特点不包括以下的( D ). A. 分布性 B. 高可用性 C. 可扩展性 D．串行 ...
基于SparkStreaming的实时大数据处理平台
基于SparkStreaming的实时大数据处理平台文章目录基于SparkStreaming的实时大数据处理平台 1.平台组件介绍 1.1 kafka消息队列 1.2 SparkStreaming ...
《大数据处理平台》（宋杰著）读书笔记
写在前面大数据的核心问题就是如何从海量数据中有效地获取信息以进行分析和决策,解决这一问题需要大数据处理平台的支持. <大数据处理平台>一书从数据查询.数据分析和迭代计算平台三个方面对大数 ...
省时省事省力巧用阿里ECS D1构建大数据处理平台
随着人们逐渐认识到 "大数据"的价值,互联网.电商到金融业.政企等各行业开始处理海量数据.如何低成本.敏捷高效地搭建大数据处理平台,成为影响大数据创新效率的关键. 为了让用户以最简 ...
Splunklive!2018北京站激情开场：合格的大数据处理平台到底是什么样子？
作为本届Splunk>live!2018中国用户大会的收官之战,北京站的会场流程以及议题设置更加严谨,并且下午双会场并行,以期真正让所有参会者有所收获.在IT世界,真正的基础设施是什么?一切热门 ...
大数据处理技术之数据集成
大数据处理技术是一个十分重要的工作,就好比做菜,我们做菜之前就需要对蔬菜进行清洗,洗过的菜我们才能够吃的放心,同时还有助于我们的身体健康.而大数据处理就好比清洗蔬菜一样,当我们对数据整理以后,我们才能 ...
python数据展示平台_Python获取各大地图平台经纬度数据，哪家的数据最准确？
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于菜J学Python ,作者J哥前言不知道大家会在什么场合使用地图 ...
python获取地图上经纬度_Python获取各大地图平台经纬度数据，哪家的数据最准确？...
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理以下文章来源于菜J学Python ,作者J哥前言不知道大家会在什么场合使用地图 ...

标题：DKhadoop大数据处理平台监控数据介绍

标题：DKhadoop大数据处理平台监控数据介绍相关推荐

最新文章

热门文章