HDFS小文件的危害

一、black块
举例：
black块官方设置的是64m,现在多数用的是128m

举例：
一个文件130M % 128M=1…2m
结果是1个块128m，1个块2m
一碗水130ml 一个瓶子规格容量128ml
只能2个瓶子：第1个装满128ml 第二个装不满，实为2ml

二、小文件的危害
HDFS 适应场景: 大文件存储，小文件是致命的
举例说明

接上个例子130m的文件
10m的10个文件 10块
30m的1个文件 1块
共有11个文件： 11块
系统维护一般轻量级会比较好，本身可以2个块去维护，但现在需要11个块维护，如果数量级比较大有可能会把nn撑爆

为什么小文件会把NN撑爆？

例如
NN的大小是4G大概是42亿字节
1个小文件(阈值<=30m): nn节点维护的字节大约250字节
1亿个小文件 250b1亿=250亿字节
反而如果1亿个小文件合并100万个大文件：250b1百万=2亿字节则不会被撑爆

如果nn撑爆，在大数据中，大数据的结构基本上都是主从架构，主节点的nn起到非常重要的作用，nn挂了，所有对外的服务，读写的流程将不能运行。
生产上:，
1.对小文件阈值进行估算
2.合并小文件，数据未落地到hdfs之前合并或者数据已经落到hdfs，用spark service服务每天调度去合并 -15天
具体情况根据公司的业务周期进行合并，比如今天是15号则合并1号的文件，16号合并2号的
3.小文件危害: 一个是撑爆nn，另一个是hive或者spark计算的时候会影响它的速度

HDFS小文件的危害相关推荐

HDFS小文件治理总结
目录背景第一部分回本溯源第二部分 HDFS大量小文件的危害第三部分小文件治理方案总结第四部分总结参考文献及资料背景企业级Hadoop大数据平台在实际使用过程中,可能大部分会遭遇小 ...
HDFS小文件问题及解决方案
1. 概述小文件是指文件size小于HDFS上block大小的文件.这样的文件会给hadoop的扩展性和性能带来严重问题.首先,在HDFS中,任何block,文件或者目录在内存中均以对象的形式存储 ...
HDFS小文件优化方法
HDFS小文件弊端 HDFS上每个文件都要在NameNode上建立一个索引,这个索引的大小约为150byte,这样当小文件比较多的时候,就会产生很多的索引文件,一方面会大量占用NameNode的内存空 ...
Hadoop之Hadoop企业优化（HDFS小文件优化）
Hadoop之Hadoop企业优化目录 MapReduce 跑的慢的原因 MapReduce优化方法之数据输入 MapReduce优化方法之Map阶段 MapReduce优化方法之Reduce阶段 ...
HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝（TFS）
2019独角兽企业重金招聘Python工程师标准>>> HDFS小文件处理解决方案总结+facebook(HayStack) + 淘宝(TFS) 博客分类: 数据库 hbase 一. ...
HDFS小文件问题解决方案
一如果小文件过多带来的影响 1过多的小文件,意味着需要保存的元数据就更多,那么也就需要更多的NameNode内存了,从而给NameNode带来性能问题 2读取小文件数据的时候,带来集群资源更多开销. ...
Hadoop HDFS 小文件合并
HDFS的小文件合并由于Hadoop擅长存储大文件,因为大文件的元数据信息比较少,如果Hadoop集群当中有大量的小文件,那么每个小文件都需要维护一份元数据信息,会大大的增加集群管理元数据的内存压力 ...
spark 实现HDFS小文件合并
一.首先使用sparksql读取需要合并的数据.当然有两种情况, 一种是读取全部数据,即需要合并所有小文件. 第二种是合并部分数据,比如只查询某一天的数据,只合并某一个天分区下的小文件. val df ...
HIVE 生成过多小文件的问题
HIVE 生成大量小文件小文件的危害为什么会生成多个小文件不同的数据加载方式生成文件的区别解决小文件过多的问题今天运维人员突然发来了告警,有一张表生成的小文件太多,很疑惑,然后排查记录了下 ...

HDFS小文件的危害

HDFS小文件的危害相关推荐

最新文章

热门文章