大数据之-Hadoop3.x_生产调优手册_HDFS读写压测---大数据之hadoop3.x工作笔记0162

首先我们去测试HDFS的写性能,可以看到,我们向HDFS集群写入10个128M的文件

去测试

然后我们看,这里我们用到的是这个tests.jar这个命令的jar包来进行测试的,可以看到他会把多个文件,

通过多个maptask,进行上传,上传的过程中,他会记录,上传文件的大小以及,上传文件的时间,这样,就能得出

这个上传的速度了,大小除以时间对吧.

然后平均速度,这里有两种算法,一种是:

每个maptask记录,文件的大小,上传时间,然后会总到reducetask,

然后,这里reducetask会把所有的文件的大小,除以总的时间这样算出一个平均速度.

然后还有一种是:就是每个maptask的平均速度去除以所有的的maptask的个数...这样得出的一个平均速度

原则上这两种算法的结果应该是差不多,如果相差的多的话,可能是其中的某台服务器的性能,跟别的服务器差别挺大.

大数据之-Hadoop3.x_生产调优手册_HDFS读写压测---大数据之hadoop3.x工作笔记0162相关推荐

MySql查询优化性能调优，sql性能自测方法，及Mysql索引介绍
MySql查询优化性能调优,sql性能自测方法,及Mysql索引介绍前言一.普通优化加索引(适用于where条件后一个查询条件) 二.组合查询加索引(适用于where条件后多个查询条件) 三.My ...
重磅！谷歌发布《深度学习调优手册》！Hinton转发点赞！
点击下方卡片,关注"CVer"公众号 AI/CV重磅干货,第一时间送达点击进入->CV微信技术交流群丰色 Pine 发自凹非寺转载自:量子位(QbitAI) 各位炼丹 ...
经典！《MySQL性能调优手册》高清电子版，限时 3 天免费下载
点击上方"逆锋起笔",关注领取视频教程 ☞ 程序员进阶必备资源免费送「各种技术!」 ☜ 作为最流行的开源数据库软件之一,MySQL数据库软件已经是广为人知的了,性能调优是MySQL ...
大数据培训：Spark性能调优与参数配置
Spark性能调优-基础篇众所周知,正确的参数配置对提升Spark的使用效率具有极大助力,帮助相关数据开发.分析人员更高效地使用Spark进行离线批处理和SQL报表分析等作业. 推荐参数配置模板如下 ...
大数据培训：Spark 性能调优详解
调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题--数据倾斜,此时Spark作业的性能会比期望差很多.数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的 ...
Spark调优、DataFrame API使用、大表Join、动态分区
Spark DataFrame [scala版] 实践小结 Spark DataFrame 使用注意事项下面介绍的是使用Dataframe时 api 文档中没有写,但是需要注意的坑. DataFra ...
【杂谈】如何从数据准备，模型设计与调优，训练到部署完成整个深度学习算法流程...
文/编辑 | 言有三对于一个深度学习算法工程师来说,拥有丰富的项目经历当然是重要的,但是拥有完成整个从数据准备到模型上线的能力更加重要.这意味着可以独立承担项目,也是全栈工程师那么招人爱的原因了. ...
透明大页相关内核参数_Alibaba Cloud Linux 2系统中与透明大页THP相关的性能调优方法...
免责声明:本文档可能包含第三方产品信息,该信息仅供参考.阿里云对第三方产品的性能.可靠性以及操作可能带来的潜在影响,不做任何暗示或其他形式的承诺. 概述本文主要介绍在Alibaba Cloud Li ...
集群之间数据拷贝distcp性能的调优
百PB级数据拷贝distcp性能调优背景配合集群迁移,需要迁移3PB数据拷贝方式全量数据约3PB,全量拷贝一次,耗时近两个星期(业务每日高峰期需要停止拷贝作业) 这里主要测试每天的增量同步速度 ...

大数据之-Hadoop3.x_生产调优手册_HDFS读写压测---大数据之hadoop3.x工作笔记0162

大数据之-Hadoop3.x_生产调优手册_HDFS读写压测---大数据之hadoop3.x工作笔记0162相关推荐

最新文章

热门文章