影响hdfs读写的因素：网络、磁盘读写速度

1.确定要写入的文件数=服务器cpu总核数-1=8*4-1=31

cat /proc/cpuinfo 看最后一个是几，因为是从0开始的，要+1

2.查看网速

ubuntu20查看网速度_胖胖学编程的博客-CSDN博客

speedometer -r ens3 #-r接收的字节

speedometer -t ens3 #传输(发送,不一定是写,也可能在控制台打印啥的)的字节

3.写速度

root@hadoop1:/data/cluster/hadoop-3.1.3/share/hadoop/mapreduce#
hadoop jar hadoop-mapreduce-client-jobclient-3.1.3-tests.jar
TestDFSIO -write -nrFiles 31 -fileSize 128MB

分析

实测速度=39.47*(31*1我的副本数为2,其中有1个副本本地有,另一个副本要写往别的节点)=1223m/s

三台服务器的带宽=387kib/s*4=1548kib/s

如果实测速度远远小于网络,并且实测速度不能满足工作需求，可以考虑采用固态硬盘或者增加硬盘个数。

4.读速度

root@hadoop1:/data/cluster/hadoop-3.1.3/share/hadoop/mapreduce#
hadoop jar hadoop-mapreduce-client-jobclient-3.1.3-tests.jar TestDFSIO
-read -nrFiles 31 -fileSize 128MB

分析

实测速度=309*31=9579m/s

三台服务器的带宽=224mib/s*4=896mib/s

读的话，是读一份就行了，可以本地读，所以比写快

ubuntu20查看是否是固态硬盘_胖胖学编程的博客-CSDN博客

[ubuntu20] hadoop3.1.2集群io测试相关推荐

Ubuntu18.04 安装搭建 hadoop-3.3.0 集群
Ubuntu18.04 安装搭建 hadoop-3.3.0 集群参考博文:https://blog.csdn.net/sunxiaoju/article/details/85222290?ops_r ...
Elasticsearch 集群压力测试
文章目录 1. 压力测试 2. 测试目标 & 测试数据 3. 测试脚本 4. ES Rally 简介 5. Rally 的安装以及入门 6. Rally 基本概念讲解 7. Benchmark ...
单机快速体验k8s集群的测试环境
快速指南以下为快速体验k8s集群的测试.开发环境–单节点部署(aio),国内环境下比官方的minikube方便.简单很多. 1.基础系统配置准备一台虚机配置内存2G/硬盘30G以上最小化安装Ub ...
AIX HACMP集群切换测试实际案例解析
为验证AIX HACMP集群系统的稳定性及保障其上应用的连续性和可靠性,决定周五晚进行集群切换测试.下面是当次过程的文档总结和记录,方便以后参考并备案. 系统环境:AIX 5.3 数据库: DB2 V ...
jar包在Hadoop集群上测试(MapReduce)
本片使用MapReduce--统计输出给定的文本文档每一个单词出现的总次数的案例进行,jar包在集群上测试 1.添加打包插件依赖 <build><plugins><plu ...
Redis 集群可用性测试
Redis 集群可用性测试脚本内容 #!/bin/bashredisHost=192.168.8.119 redisPorts="7001 7002 7003 7004 7005 7006 ...
Kubernetes-记录在容器云Galera集群中测试导入数据
Kubernetes-在Caicloud容器平台Galera集群中测试导入数据平台:Caicloud Compass(才云compass容器云管理平台) mysql版本:5.7.20 Galera集 ...
hadoop-3.0.0集群搭建
2019独角兽企业重金招聘Python工程师标准>>> hadoop-3.0.0集群搭建下载hadoop包 wget -c http://ftp.jaist.ac.jp/pub/a ...
apisix集群安装测试
apisix集群安装测试 apisix 是无状态服务,集群不用太复杂本次测试使用在集群外做负载均衡集群地址 172.21.41.240 172.21.41.241 172.21.41.242 版本 ...

[ubuntu20] hadoop3.1.2集群io测试

1.确定要写入的文件数=服务器cpu总核数-1=8*4-1=31

2.查看网速

3.写速度

分析

4.读速度

分析

[ubuntu20] hadoop3.1.2集群io测试相关推荐

最新文章

热门文章