hadoop的限制/不足

Hadoop不足：

1.不适合低延迟数据访问

HDFS面向大规模数据批处理设计，采用流式数据处理，具有很高的数据吞吐率，但这也意味着有较高的延时。

2.不能够高效的存储小文件数据

Hadoop是基于HDFS文件存储系统，HDFS是采用块为基本单位存储数据，每个块大小为64KB（不确定现在多少），如果一个文件达不到64KB，也会存成一个独立的块。如果存在大量的小文件（假设都小于64KB）那么会造成每个块都无法存储满，造成大量的空间浪费。

HDFS是采用主从节点架构。集群中只设置一个主节点(可能有备份主节点)，可由很多个从节点。主节点负责集群管理，资源配置，作业调度等。从节点负责数据的存储与读取。HDFS采用主节点管理元数据，元数据被保存在内存中，从而使得客户端可以快速查询到数据块位置，数据块号。然后再在从节点读写数据。如果存在大量小文件，则会使得在主节点查询效率降低。导致主节点效率下降。

3.不支持用户写入并修改文件

Hadoop现在还不支持多人写入，任意修改的功能。只允许一个文件有一个写入者，不允许多个用户堆同一文件执行写操作，而且只允许对文件进行追加，也就是说每次写入都会添加在文件末尾（区分关系型数据库的特点）。

hadoop的限制/不足相关推荐

hadoop 添加删除机器以及设置免密登录
添加hadoop机器先在slaves中添加机器然后启动datanode $: ./usr/hadoop-0.20.2-cdh3u4/bin/hadoop-daemon.sh start datan ...
linux环境下快速配置hadoop集群免密登录
背景在hadoop的日常使用过程中经常需要登录某些机器,如何更好的免密登录呢?这将为我们节省大量的时间操作假设你需要在A机器上免密登录B机器,那么你首先要确定B机器下是有秘钥文件的.如何确定是否 ...
hadoop问题小结
20220322 https://blog.csdn.net/lt5227/article/details/119459827 hadoop控制台设置密码访问验证 20220314 进入hive 高 ...
hadoop,spark,scala,flink 大数据分布式系统汇总
20220314 https://shimo.im/docs/YcPW8YY3T6dT86dV/read 尚硅谷大数据文档资料 iceberg相当于对hive的读写,starrocks相当于对mysq ...
spark,hadoop区别
https://zhuanlan.zhihu.com/p/95016937 Spark和Hadoop的区别和比较: 1.原理比较: Hadoop和Spark都是并行计算,两者都是用MR模型进行计算 H ...
2021年大数据Hadoop（三十）：Hadoop3.x的介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Hadoop3.x的介绍介绍 Hadoop 3.0新特性 ...
2021年大数据Hadoop（二十九）：关于YARN常用参数设置
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言关于yarn常用参数设置设置container分配最小内 ...
2021年大数据Hadoop（二十七）：YARN运行流程
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn运行流程本系列历史文章 2021年大数据Hado ...
2021年大数据Hadoop（二十六）：YARN三大组件介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn三大组件介绍 ResourceManager No ...
2021年大数据Hadoop（二十五）：YARN通俗介绍和基本架构
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 YARN通俗介绍和基本架构 Yarn通俗介绍 Yarn基本 ...

hadoop的限制/不足

hadoop的限制/不足相关推荐

最新文章

热门文章