一、磁盘IO测试

1. 测试读速度

方式一：使用hdparm测试

yum install -y hdparm    #下载hdparm
hdparm -tT --direct /dev/sda1   #测试

hdparm参数：
-t 评估硬盘的读取效率(不经过磁盘cache)。
-T 平估硬盘快取的读取效率。

方式二：使用time+dd测试

time dd if=/dev/sda1 of=/dev/null bs=8k

因为/dev/sdb1是一个物理分区，对它的读取会产生IO，/dev/null是伪设备，相当于黑洞，of到该设备不会产生IO，所以，这个命令的IO只发生在/dev/sdb1上，也相当于测试磁盘的读能力。

2. 测试写速度

使用time+dd测试

time dd if=/dev/zero of=test.dbf bs=8k count=300000

其中/dev/zero是一个伪设备，它只产生空字符流，对它不会产生IO，所以，IO都会集中在of文件中，of文件只用于写，所以这个命令相当于测试磁盘的写能力。

二、Hadoop性能测试（DFSIO）

TestDFSIO是Hadoop自带的性能基准评测工具，需要通过执行hadoop-mapreduce-client-jobclient-2.9.2-tests.jar。

cd /opt/hadoop/hadoop/share/hadoop/mapreduce #进入jar包所在路径

测试写性能：

hadoop jar hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -write -nrFiles 5 -fileSize 128MB

命令说明：向HDFS集群中写入5个128MB的文件

测试结果：

结果说明：

Total MBytes processed ：总共需要写入的数据量 100MB
Throughput mb/sec ：总共需要写入的数据量/（每个map任务实际写入数据的执行时间之和（这个时间会远小于Test exec timesec））＝＝>100/(map1写时间+map2写时间+…)
Average IO rate mb/sec ：（每个map需要写入的数据量/每个map任务实际写入数据的执行时间）之和/任务数＝＝>(20/map1写时间＋20/map2写时间+…)/1000，所以这个值跟上面一个值总是存在差异。
IO rate std deviation ：上一个值的标准差
Test exec time sec ：整个job的执行时间

测试读性能

hadoop jar hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -read -nrFiles 5 -fileSize 128MB

【执行测试读操作之前需要至少有一次写操作】

删除历史写操作数据

hadoop jar hadoop-mapreduce-client-jobclient-2.9.2-tests.jar TestDFSIO -clean

Hadoop性能测试工具相关推荐

linux命令 iperf-网络性能测试工具
iperf命令是一个网络性能测试工具.iperf可以测试TCP和UDP带宽质量.iperf可以测量最大TCP带宽,具有多种参数和UDP特性.iperf可以报告带宽,延迟抖动和数据包丢失.利用iperf ...
深入浅出开源性能测试工具 Locust (使用篇 1)
在<[LocustPlus序]漫谈服务端性能测试>中,我对服务端性能测试的基础概念和性能测试工具的基本原理进行了介绍,并且重点推荐了Locust这一款开源性能测试工具.然而,当前在网络上针 ...
apache性能测试工具ab使用详解
网站性能压力测试是服务器网站性能调优过程中必不可缺少的一环.只有让服务器处在高压情况下,才能真正体现出软件.硬件等各种设置不当所暴露出的问题. 性能测试工具目前最常见的有以下几种:ab.http_lo ...
python编写测试工具-python 写一个性能测试工具（一）
国庆重新学习了一下go的gin高性能测试框架. 用JMeter来测试gin与flask接口的性能,差别很大. 为什么我自己不尝试写一个性能工具,性能工具的核心就是并发和请求. 请求可以选择Pyt ...
史上最全的Web性能测试工具大全（下）
2019独角兽企业重金招聘Python工程师标准>>> 本文继续为大家介绍Web开发中常用的性能测试工具,如果你有其他性能测试产品推荐,欢迎交流! Opera Dragonfly O ...
MySQL性能测试工具sysbench的安装和使用
sysbench是一个开源的.模块化的.跨平台的多线程性能测试工具,可以用来进行CPU.内存.磁盘I/O.线程.数据库的性能测试.目前支持的数据库有MySQL.Oracle和PostgreSQL.当前 ...
Web网站的性能测试工具
随着Web 2.0技术的迅速发展,许多公司都开发了一些基于Web的网站服务,通常在设计开发Web应用系统的时候很难模拟出大量用户同时访问系统的实际情况,因此,当Web网站遇到访问高峰时,容易发生服务器 ...
如何ping端口_复刻smartbits的国产网络性能测试工具minismb-如何配置Ping报文
复刻smartbits的国产网络性能测试工具minismb,是一款专门用于测试智能路由器,网络交换机的性能和稳定性的软硬件相结合的工具.可以通过此以太网测试工具测试任何ip网络设备的端口吞吐率,带宽, ...
网络性能测试工具iperf的使用与参数解析
介绍网络性能评估主要是监测网络带宽的使用率,将网络带宽利用最大化是保证网络性能的基础,但是由于网络设计不合理.网络存在安全漏洞等原因,都会导致网络带宽利用率不高.要找到网络带宽利用率不高的原因, ...

Hadoop性能测试工具

一、磁盘IO测试

1. 测试读速度

方式一：使用hdparm测试

方式二：使用time+dd测试

2. 测试写速度

使用time+dd测试

二、Hadoop性能测试（DFSIO）

测试写性能：

测试读性能

删除历史写操作数据

Hadoop性能测试工具相关推荐

最新文章

热门文章