测试hadoop集群的读写与计算能力

1、测试HDFS写性能

向HDFS集群写10个128M的文件

cd /data/hadoop/hadoop/
bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

参数代表含义：

Number of files: 10：文件数量为10
Total MBytes processed: 1280 ：总写入数据量为1280MB
Throughput mb/sec: 3.59 ：【总共需要写入的数据量】 /【每个map任务实际写入数据的执行时间之和】(这个时间会远小于Test exec time sec) 。这里也就是【1280】/【(map1写时间+map2写时间+…)】
Average IO rate mb/sec: 17.03 ：【每个map需要写入的数据量除以每个map任务实际写入数据的执行时间的和】/ 【任务数】，所以这个值跟上面一个值总是存在差异。这里就是：【(文件大小/map1写时间＋文件大小/map2写时间+…)】/ 【任务数】
IO rate std deviation: 19.67 ：上一个值的标准差，可以理解成方差；方差越小越稳定，有点像cpu的低压版和高压版
Test exec time sec: 112.25 ：整个job任务的执行时间

Throughput mb/sec ：衡量每个map task的平均吞吐量。
Average IO rate mb/sec ：衡量每个文件的平均IO速度。

2、测试HDFS读性能

读取HDFS集群10个128M的文件

bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

参数代表含义：同上

3、删除测试生成数据

bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -clean

4、使用Sort程序测试MapReduce

如果是学习测试就不要做了，笔记本可能会有点扛不住；可以在物理机或阿里云主机上测试。

使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数

bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar randomwriter random-data
执行Sort程序

bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar sort random-data sorted-data
验证数据是否真正排好序了

bin/hadoop jar /data/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar testmapredsort -sortInput random-data -sortOutput sorted-data

测试hadoop集群的读写与计算能力相关推荐

Ubuntu Server 12.04 搭建 hadoop 集群版环境——基于VirtualBox
1 . 下载和安装Oracle VM VitualBox http://www.oracle.com/technetwork/server-storage/virtualbox/downloads/i ...
VMware Workstation 9下基于Ubuntu 12.10服务器版本的Hadoop集群的配置
(主要参照http://os.51cto.com/art/201211/363116.htm) 一.概述其实,网上关于Hadoop集群的配置的资料不可谓不少,但是,细细找来,多半是在有图形桌面的环境 ...
[零基础]用docker搭建Hadoop集群
目录前言:为什么要用docker搭建Hadoop集群? 准备:下载VMware.VMwareTools(或Xftp.Xshell).Ubuntu或者CentOS映像文件.Hadoop和jdk压缩包 ...
Hadoop集群搭建教程（详细）
需要的安装包: 1.jdk压缩包 2.hadoop压缩包请前往百度云上上下载相关安装包(密码:8op1) 开始搭建hadoop集群一.使用VMvare创建两个虚拟机,我使用的是ubuntu16.0 ...
Hadoop-2.8.0集群搭建、hadoop源码编译和安装、host配置、ssh免密登录、hadoop配置文件中的参数配置参数总结、hadoop集群测试,安装过程中的常见错误
25. 集群搭建 25.1 HADOOP集群搭建 25.1.1集群简介 HADOOP集群具体来说包含两个集群:HDFS集群和YARN集群,两者逻辑上分离,但物理上常在一起 HDFS集群: 负责海量数据 ...
Hadoop集群中HDFS的API测试案例以及MapReduce的多种提交Job方式案例
这两个案例默认是hadoop集群环境已经搭建好以及IDEA环境也已经配置好 1.HDFS客户端测试案例 1.1.pom依赖 <?xml version="1.0" encod ...
ogg oracle 测试kafka_基于OGG的Oracle与Hadoop集群／kafka准实时同步
Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段.近期有场景需要做Oracle到Hadoop体系的实时导入,这里以此案例做以介绍. Oracle作为商业化的数据库解 ...
jar包在Hadoop集群上测试(MapReduce)
本片使用MapReduce--统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1.添加打包插件依赖 <build><plugins><plu ...
大数据：Hadoop集群测试
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 Hadoop集群测试通过UI界面查看Hadoop运行状态一.hadoop2和hadoop3端口区别表 2.查看HDFS集群状态查 ...

测试hadoop集群的读写与计算能力

1、测试HDFS写性能

2、测试HDFS读性能

3、删除测试生成数据

4、使用Sort程序测试MapReduce

测试hadoop集群的读写与计算能力相关推荐

最新文章

热门文章