Hive分区过多有何坏处以及分区时的注意事项

为什么80%的码农都做不了架构师？>>>

1.当分区过多且数据很大时，可以使用严格模式，避免出发一个大的mapreduce任务。当分区数量过多且数据量较大时，执行宽范围的数据扫描会触发一个很大的mapreduce任务。在严格模式下，当where中没有分区过滤条件时会禁止执行。

2.hive如果有过多的分区，由于底层是存储在HDFS上，HDFS上只用于存储大文件而非小文件，因为过多的分区会增加namenode的负担。

3.hive会转化为mapreduce，mapreduce会转化为多个task。过多小文件的话，每个文件一个task，每个task一个JVM实例，JVM的开启与销毁会降低系统效率。

注意：合理的分区不应该有过多的分区和文件目录，并且每个目录下的文件应该足够大。

转载于:https://my.oschina.net/134596/blog/1798994

Hive分区过多有何坏处以及分区时的注意事项相关推荐

hive学习（5）--- Partitions分区的使用（包括动态分区）
下面这个文章很好的讲解了Partitions的使用方法 http://www.aahyhaa.com/archives/316 其他参考文章: http://p-x1984.iteye.com/blo ...
oracle自动分区maxvalue,对Maxvalue上限范围分区进行spilt操作
Oracle分区表是对关键数据表,特别是海量数据表的一种普适性很好的技术方案.借助分区表,通常都可以有效的提升数据表访问性能,增强系统可管理能力.对分区表设计通常具有三个方面的决策点,分别为分区类型分 ...
电脑硬盘分区太多？如何合并分区？
电脑分区数量过多想减少分区数量?通过Windows磁盘管理器合并分区会导致数据丢失?有什么方法可以在不丢失数据的情况下,将电脑硬盘上的两个或多个分区合并成一个大的分区呢? 在这里,小编推荐您使用专业的 ...
动态分区分配及可重定位分区分配
动态分区分配及可重定位分区分配分区大小不固定分区分配的数据结构二维表格(连续存储结构) 空闲分区表记录空闲分区的大小,位置和状态已分配区表记录已占用分区的大小,位置和状态双向循环链表(离散存 ...
mysql分区和分表比较_MySQL分区和分表的区别与联系
一.分区和分表简介分表就是将一张大表分成N个小表. 分区将一张大表的数据分成N个区块,这些区块可以在同一个磁盘上,也可以在不同的磁盘上. 二.分区和分表的区别 1. 实现方式 1.1 分表 My ...
linux挂载home分区,Linux(CentOS6) 调整 /home 挂载分区大小
安装centos6.3使用自动推荐分区,发现一个问题/home 分区过大,超过了1.1T. [root@localhost ~]# df -h 文件系统容量已用可用 ...
linux分区_Linux系统 fdisk管理MBR分区
前言 fdisk是一条以交互的方式进行操作的命令,在菜单中选择相应的功能键即可. 目录一.添加新硬盘二.新建分区三.总结四.思维导图一.添加新硬盘 1.为了不影响正在运行的业务,需要在不关闭 ...
Linux学习(CentOS-7)---磁盘分区（概念、分区方法、分区方案）
2016-09-23 16:28 13512人阅读评论(0) 收藏举报分类: Linux学习(6) 版权声明:本文为博主原创文章,未经博主允许不得转载. 1磁盘分区相关的概念 1.1什么是磁盘 ...
改变linux分区后grub修复,更改磁盘分区后修复GRUB启动
上次为了通过硬盘引导安装Linux,专门分了一个1GB的FAT32分区.今天回到Win7中,用磁盘管理工具把这个分区撤销且合并后,重启后就进入了grub rescue终端,并且提示: error:un ...

Hive分区过多有何坏处以及分区时的注意事项

Hive分区过多有何坏处以及分区时的注意事项相关推荐

最新文章

热门文章