Hadoop 集群的基准测试

集群搭建完毕之后，需要对集群进行基准测试

第一方面：基本测试

服务启动，是否可用，简单的应用

*hdfs

读写操作

bin/hdfs dfs -mkdir - p /user/chris/tmp/conf

bin/hdfs dfs -put etc/hadoop/xxx.xml /user /chris/tmp/conf

bin/hdfs dfs -text /user /chris/tmp/conf

*yarn

run jarn

*mapreduce

bin/jar jar share/hadoop/mapreduce/hadoop*example*.jar wordcount /user/chris/mapreduce/wordcount/input /user/chris/mapreduce/wordcount/output

可以多弄几个mapreduce 跑

第二方面：基准测试

测试集群的性能

*hdfs

写数据

读数据

*多弄一些小文件，测试namenode

*测试yarn,测网络传输

*测试mapreduce

第三方面：监控集群

cloudera manager(第三方软件)

部署安装集群

监控集群

配置同步集群

预警

转载于:https://www.cnblogs.com/pickKnow/p/10820128.html

Hadoop 集群的基准测试相关推荐

实例演示使用HiBench对Hadoop集群进行基准测试
HiBench 一.简介 HiBench 是一个大数据基准套件,可帮助评估不同的大数据框架的速度.吞吐量和系统资源利用率. 它包含一组 Hadoop.Spark 和流式工作负载,包括 Sort.Wor ...
Hadoop集群搭 Hadoop分布式文件系统架构和设计
Hadoop集群搭建先决条件确保在你集群中的每个节点上都安装了所有必需软件. 获取Hadoop软件包. 安装安装Hadoop集群通常要将安装软件解压到集群内的所有机器上. 通常,集群里的一台机器 ...
CDH6.0.1环境Hadoop集群性能测试
本次主要是对新集群的性能测试,测试环境: 系统环境台数 CPU 内存硬盘 Centos7.3 CDH6.0.1 3台 32 64G 16T Hadoop自带的测试工具:Hadoop基准测试首先 ...
Hadoop是做什么的，hadoop集群搭建作用
目的本文描述了如何安装.配置和管理有实际意义的Hadoop集群,其规模可从几个节点的小集群到几千个节点的超大集群. 如果你希望在单机上安装Hadoop玩玩,从这里能找到相关细节. 更多精彩内容精彩 ...
大数据——Hadoop集群调优
注意:本文使用的Hadoop版本为3.2.1版本目录一.HDFS多目录存储 1.1 生产环境服务器磁盘情况 1.2 在hdfs-site.xml文件中配置多个目录,需要注意新挂载磁盘的访问权限问题 ...
【大数据】搭建Hadoop集群，超级详细
目录搭建完全分布式运行模式(开发重点) 1.1 Hadoop部署 1.2 配置集群 1.3 配置历史服务器 1.4 配置日志的聚集 1.5 分发Hadoop 1.6 群起集群 1.7 Hadoop群 ...
docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要吐血整理,搭建了两遍,亲测可用!!! 我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本.在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7.7安装Docker 查看 ...
hadoop集群_Ambari搭建hadoop集群
Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
Java接口对Hadoop集群的操作
Java接口对Hadoop集群的操作首先要有一个配置好的Hadoop集群这里是我在SSM框架搭建的项目的测试类中实现的一.windows下配置环境变量下载文件并解压到C盘或者其他目录. 链接: ...

Hadoop 集群的基准测试

Hadoop 集群的基准测试相关推荐

最新文章

热门文章