hadoop基准测试总结_李孟

hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -write -nrFiles 100 -fileSize 100

100个文件，每个100M

----- TestDFSIO ----- : write

Date & time: Fri Nov 17 19:39:04 HKT 2017

Number of files: 100 文件数量

Total MBytes processed: 10000.0 总写入数据量

Throughput mb/sec: 75.77709409999545 总共需要写入的数据量/（每个map任务实际写入数据的执行时间之和（这个时间会远小于Test exec time sec））＝＝》10000/(map1写时间+map2写时间+...)

Average IO rate mb/sec: 82.62942504882812 每个map需要写入的数据量/每个map任务实际写入数据的执行时间）之和/任务数＝＝》(文件大小/map1写时间＋文件大小/map2写时间+...)/1000，所以这个值跟上面一个值总是存在差异。

IO rate std deviation: 17.816849548077943 上一个值的标准差

Test exec time sec: 450.367整个job的执行时间

Yarn memory 90%

Throughput mb/sec衡量每个map task的平均吞吐量，

Average IO rate mb/sec 衡量每个文件的平均IO速度。

阿里云：

----- TestDFSIO ----- : write

Date & time: Mon Nov 27 15:58:26 CST 2017

Number of files: 100

Total MBytes processed: 10000.0

Throughput mb/sec: 12.550185052478598

Average IO rate mb/sec: 21.50667953491211

IO rate std deviation: 18.03019124739804

Test exec time sec: 140.708

----- TestDFSIO ----- : read

Date & time: Mon Nov 27 16:04:11 CST 2017

Number of files: 100

Total MBytes processed: 10000.0

Throughput mb/sec: 70.17593105916532

Average IO rate mb/sec: 169.13583374023438

IO rate std deviation: 135.4413193785257

Test exec time sec: 86.042

TestDFSIO -clean 清理

读测试：

hadoop jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-2.7.1.2.4.0.0-169.jar TestDFSIO -read -nrFiles 100 -fileSize 100

read

Date & time: Sat Nov 18 12:08:07 CST 2017

Number of files: 100

Total MBytes processed: 10000.0

Throughput mb/sec: 139.80734547793142

Average IO rate mb/sec: 144.37628173828125

IO rate std deviation: 23.001677374779344

Test exec time sec: 360.126

总结：可以看出一些常见标准

hadoop基准测试总结_李孟_新浪博客相关推荐

2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客
2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客 2.2.2 胸腰差和胸臀差的应用_米人NOONE_新浪博客腰差和胸臀差的应用 (2009-06-16 19:24:57) 转载▼ 标签: ...
ArcGIS MPK的两种打包方式_陈焜浩Arain_新浪博客
最近发现用ArcGIS打包的MPK文件,如果数据的来源不一样:从shapefile源数据或者是从SDE源数据进行打包,能够引起打包文件的大小不一样已经在代码中引用文件的效率不一样的差异.开始发现这种差 ...
MODIS MOD11A2地温产品_江仔91_新浪博客
注意事项: 1.经MRT转换后的数据需要进一步处理,如:LST产品需经公式:NG*0.02-273.15运算后才可转换为设施温度.
动画说明李明杰新浪博客
http://blog.csdn.net/liuting5521826/article/details/51121957 http://www.cnblogs.com/mjios/archive/20 ...
邓文迪撑杆跳，甩开老公要独立？_富杂志_新浪博客
邓文迪撑杆跳,甩开老公要独立?_富杂志_新浪博客邓文迪撑杆跳,甩开老公要独立? (2010-01-11 10:55:22) 转载▼
cadence spb 16.5 破解过程实例和使用感受_赤松子耶_新浪博客
cadence spb 16.5 破解过程实例和使用感受_赤松子耶_新浪博客 Cadence Allegro16.5详细安装具体的步骤 1.下载SPB16.5下来后,点setup.exe,先安装第一项 ...
关于幂律分布的一个笔记_哈克_新浪博客
关于幂律分布的一个笔记_哈克_新浪博客关于幂律分布的一个笔记 (2011-03-02 18:12:27) 转载▼ 标签: 幂律二八法则杂谈 ...
vim高级技巧（split）_小花_新浪博客
vim高级技巧(split)_小花_新浪博客 :res(ize) +N 把当前窗口高度增加N个像素 :res(ize) -N 把当前窗口高度减少N个像素 :vertical res( ...
基于samba实现win7与linux之间共享文件_阳仔_新浪博客
基于samba实现win7与linux之间共享文件_阳仔_新浪博客然后启动samba执行如下指令: /dev/init.d/smb start 至此完成全部配置.
Linux 共享库：LD_LIBRARY_PATH 与ld.so.conf_爱过了就好_新浪博客
Linux 共享库:LD_LIBRARY_PATH 与ld.so.conf_爱过了就好_新浪博客 Linux 共享库:LD_LIBRARY_PATH 与ld.so.conf (2009-07- ...

hadoop基准测试总结_李孟_新浪博客

hadoop基准测试总结_李孟_新浪博客相关推荐

最新文章

热门文章