hdfs为什么要用block以及block大小的设置
1、在HDFS里面，文件存储为什么要以Block块的方式存储？
目的：减少磁盘寻道的时间。
(1)、不设置block：因为数据是分散的存放磁盘上的，读取数据时需要不停的进行磁盘寻道，开销比较大。
(2)、使用block: 一次可以读取一个block中的数据，减少磁盘寻道的次数和时间。
其他：block在磁盘上非连续存储的，读取数据时需要磁盘寻道。
2、为什么HDFS中块(block)不能设置太大，也不能设置太小？
(1)、block设置过大：从磁盘传输数据的时间明显大于寻址时间，导致处理该块数据时比较慢。
(2)、block设置过小：NameNode需要大量内存来存储元数据，不可取。
3、HDFS寻址时间
HDFS中找到目标文件块(block)所需要的时间。
4、DataNode上的块大小默认是128MB,为什么128MB是最优选择？
目的：减少HDFS寻址开销。
HDFS的平均寻址时间大概是10ms，寻址时间为传输时间的1%时，为最佳状态，所以最佳传输时间是10ms/0.01=1000ms=1s。
目前磁盘的传输速率普遍为100MB/s；
计算出最佳block大小：100MB/s x 1s = 100MB,
所以我们设定block大小为128MB。
如果磁盘传输速率很大，例如2000M/s时，block可以设置为 2000M/s * 1s = 2000M
hdfs为什么要用block以及block大小的设置相关推荐
- 【问题】HDFS中块（block）的大小为什么设置为128M？
一.为什么HDFS中块(block)不能设置太大,也不能设置太小? 如果块设置过大, 一方面,从磁盘传输数据的时间会明显大于寻址时间,导致程序在处理这块数据时,变得非常慢: 另一方面,mapreduc ...
- 服务器虚拟内存能否设置小,服务器虚拟内存大小的设置
服务器虚拟内存大小的设置 内容精选 换一换 根据裸金属服务器的规格ID,查询规格的详细信息,比如规格名称.CPU核数.内存大小等.GET /v2.1/{project_id}/flavors/{fla ...
- hadoop fs:du统计hdfs文件（目录下文件）大小的用法
hadoop fs:du统计hdfs文件(目录下文件)大小的用法 hadoop fs 更多用法,请参考官网:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_s ...
- Oracle Database_buffer_cache大小的设置及依据
这篇文章是参考甲骨论老相老师的教学视频: http://v.youku.com/v_show/id_XMzkyMjA5NTEy.html 所做的学习笔记 1.介绍DBWR写进程. 之前介绍过Datab ...
- javaee设置字体大小_eclipse中字体大小怎么设置 eclipse设置字体大小的方法
eclipse中字体大小怎么设置呢?本节内容中小编就为大家带来eclipse设置字体大小的方法,感兴趣的朋友可以了解一下哦! eclipse设置字体大小的方法 小伙伴1这样建议: 重装了系统,我一般都 ...
- Seaborn使用set_context函数调整绘图标签和线条的大小、设置不同的模式、例如notebook模式、PPT模式、海报模式等、set_context函数可以指定绘图上下文并自动调整标签和线条
Seaborn使用set_context函数调整绘图标签和线条的大小.设置不同的模式.例如notebook模式.PPT模式.海报模式等.set_context函数可以指定绘图上下文并自动调整标签和线条 ...
- R语言ggplot2可视化设置数据点的大小、设置数据点的颜色、设置数据点边缘线条的厚度（point border thickness）实战
R语言ggplot2可视化设置数据点的大小.设置数据点的颜色.设置数据点边缘线条的厚度(point border thickness)实战 目录
- 字体大小的设置_老年人用智能手机，怎样更改字体大小？3种方法，手把手教您学会...
分享生活小妙招,共享科技新生活!大家好,欢迎来到今天的知识分享!我是你们的好朋友小俊! 我们的老年朋友在使用手机时候都会觉得字体太小,导致使用起来非常不方便,那么今天我就教大家三种方法来设置字体大小, ...
- 字体大小的设置_ios 设置的字体大小与实际的字体大小不一致
问题缘由:做文章详情页的时候,文字多了一点字体就放大了,真的是奇了怪了. 如果你觉得本文对您有用,可以关注我的个人微信公众号 @前端爱好者社区 会为你带来更多的内容. 问题重现 一段文字的时候 两段文 ...
最新文章
- PyTorch里面的torch.nn.Parameter()
- Appium+python自动化3-启动淘宝app
- java 为什么有匿名类_全面了解Java中的内部类和匿名类
- java IO之 File类+字节流 （输入输出 缓冲流 异常处理）
- 《Linux内核设计的艺术：图解Linux操作系统架构设计与实现原理》——2.15 本章小结...
- 初试WebStorage之localstorage
- 区分 JSON 字符串与JSON对象
- vue：在router里面给页面加title
- 【es】Elasticsearch：inverted index，doc_values及source
- Linux镜像资源收集
- sca60c使用程序_第3部分：SCA应用程序的工作负载平衡的WebSphere MQ客户端连接
- 机器学习数学相关书籍推荐
- 业余草双因素认证（2FA）教程
- 【Python 骚操作】使用 Gitbook + Typora 打造一个属于自己的电子书网站
- ps虚拟服务器,电脑ps模拟器的安装方法
- 菜鸟与 cef 的邂逅之旅（三）：Cef3 中 C++ 与 JavaScript 的互相调用
- Google 百度 图标收藏(三)
- 进一步了解XPath（利用XPath爬取飞哥的博客）【python爬虫入门进阶】（04）
- VBA之正则表达式（19）-- 相对引用转绝对引用
- 生成PayPal沙盒账号clientID 和 密钥的过程