Hadoop集群性能测试

前言

测试方法

临时的一个小测试，主要目的是测试一下集群的IO。现从两方面进行测试：系统级别和集群级别。

集群环境

10台物理机，64G内存，2T硬盘。
cdh5.x

工具

测试过程中使用到的工具。

dd
hdparm
iperf
hadoop benchmark

系统级别测试

通过对集群节点测试，块写40G耗时49秒，磁盘写IO 873MB/s，读IO 1022.49MB/s，点对点网络IO大概110MB/s

磁盘IO

磁盘写：

time dd if=/dev/zero of=/data/test.txt bs=1M count=40960
40960+0 records in
40960+0 records out
42949672960 bytes (43 GB) copied, 49.1891 s, 873 MB/sreal    0m49.201s
user    0m0.012s
sys    0m44.990s

磁盘读：

# hdparm -tT --direct /dev/vdb1/dev/vdb1:Timing O_DIRECT cached reads:   3286 MB in  2.00 seconds = 1613.15 MB/secTiming O_DIRECT disk reads: 3000MB in  3.01 seconds = 1022.49 MB/sec

网络IO

网络传输，点对点copy，传输速度平均101.6MB/s

iperf测的平均网络IO为110左右MB/s

Hadoop Benchmark

Benchmark工具

网上的benchmark工具挺多的，总结一下大致有下面几个：

hadoop自带的Test
intel的 HiBench
中科院的BigDataBench
berkeley的benchmark
ebay的benchmark（名字记不清了）

这是目前我找到的几个比较出名一些的hadoopbenchmark。缩小一下范围后，准备在前三个中选一个。其实这个各有特点，但是考虑到这次只测试io，而且集群的root权限也不在我这，就用个比较省事的，hadoop自带的了。

脚本

写了个小脚本。

jar_path=hadoop-test-mr1.jar
main_class=TestDFSIOecho "开始hadoop集群测试！"
echo "-------------------------------------------------------------"echo "清空测试目录！"hadoop jar $jar_path $main_class -cleanecho "开始极小文件测试!"
echo "-------------------------------------------------------------"echo "读写10000个10B的文件"
hadoop jar $jar_path $main_class -write -nrFiles 1000 -size "10B"
hadoop jar $jar_path $main_class -read -nrFiles 1000 -size "10B"......hadoop jar $jar_path $main_class -cleanecho "开始巨文件测试!"
echo "-------------------------------------------------------------"echo "读写5个100G的文件"
hadoop jar $jar_path $main_class -write -nrFiles 5 -size "100GB"
hadoop jar $jar_path $main_class -read -nrFiles 5 -size "100GB"

测试结果

每一次测试都会在当前目录的TestDFSIO_results.log中追加新的测试结果。

----- TestDFSIO ----- : writeDate & time: Tue Apr 12 12:20:18 CST 2016Number of files: 1000
Total MBytes processed: 0.009536743Throughput mb/sec: 9.813281434897923E-5
Average IO rate mb/sec: 9.844686428550631E-5IO rate std deviation: 5.294680350263851E-6Test exec time sec: 184.055----- TestDFSIO ----- : readDate & time: Tue Apr 12 12:23:37 CST 2016Number of files: 1000
Total MBytes processed: 0.009536743Throughput mb/sec: 0.0029361893978024937
Average IO rate mb/sec: 0.003687877906486392IO rate std deviation: 0.002046490931134166Test exec time sec: 184.024

图

出的测试结果图就不上了。

2016-04-12 15:13:00 hzct

来源：
http://blog.csdn.net/zhaodedong
http://zhaodedong.leanote.com
http://zhaodedong.com

Hadoop集群性能测试相关推荐

CDH6.0.1环境Hadoop集群性能测试
本次主要是对新集群的性能测试,测试环境: 系统环境台数 CPU 内存硬盘 Centos7.3 CDH6.0.1 3台 32 64G 16T Hadoop自带的测试工具:Hadoop基准测试首先 ...
[ hadoop ] 集群性能调优全面总结
[ hadoop ] 集群性能调优全面总结_bone_ds的博客-CSDN博客_hadoop集群优化引子文章涵盖了hadoop框架的三个组成架构各自的优化方法,涉及存储,计算,故障排除等多个方面的 ...
docker 安装oracle_阿里云使用Docker搭建Hadoop集群
摘要吐血整理,搭建了两遍,亲测可用!!! 我买的是阿里云2C4G的服务器,使用的是CentOS 7.7版本.在搭建过程中踩了不少坑,本篇文章希望对大家有用 CentOS 7.7安装Docker 查看 ...
hadoop集群_Ambari搭建hadoop集群
Ambari搭建hadoop集群 Ambari提供了对Hadoop更加方便快捷的管理功能,主要包含: 通过一步一步的安装向导简化了集群供应. 预先配置好关键的运维指标(metrics),可以直接查看H ...
【Big Data】HADOOP集群的配置（一）
Hadoop集群的配置(一) 摘要: hadoop集群配置系列文档,是笔者在实验室真机环境实验后整理而得.以便随后工作所需,做以知识整理,另则与博客园朋友分享实验成果,因为笔者在学习初期,也遇到不少问 ...
Java接口对Hadoop集群的操作
Java接口对Hadoop集群的操作首先要有一个配置好的Hadoop集群这里是我在SSM框架搭建的项目的测试类中实现的一.windows下配置环境变量下载文件并解压到C盘或者其他目录. 链接: ...
Ambari在离线环境中安装Hadoop集群
2019独角兽企业重金招聘Python工程师标准>>> http://www.hackbase.com/article-973-1.html (WJW)Ambari在离线环境中安装H ...
Hadoop集群的基本操作（五：Sqoop的基本操作）
实验目的要求目的: 掌握ETL工具Sqoop的使用: 掌握MySQL和HDFS之间的数据转换: 要求: 掌握ETL工具Sqoop的使用: 能够正常操作数据库.表.数据: 实验环境五台独立 ...
Hadoop集群的基本操作（四：Hive的基本操作）
实验目的要求目的: (1)掌握数据仓库工具Hive的使用: 要求: 掌握数据仓库Hive的使用: 能够正常操作数据库.表.数据: 实验环境五台独立PC式虚拟机: 主机之间有有效的网络连接 ...