HIVE大数据出现倾斜怎么办

hive在跑数据时经常会出现数据倾斜的情况，使的作业经常reduce完成在99%后一直卡住，最后的１%花了几个小时都没跑完，通过YARN的管理界面配合日志，可以清楚其中的具体原因，这种情况就很可能是数据倾斜的原因，解决方法要根据具体情况来选择具体的方案

1.如果你知道某些字段造成的倾斜，可以把这些字段抽出来单独处理，这样的话，MR会多分配几个实例，提高执行速度。

set hive.exec.reducers.bytes.per.reducer = 1000000000

也就是每个节点的reduce 默认是处理1G大小的数据，如果你的join 操作也产生了数据倾斜，那么你可以在hive 中设定

set hive.optimize.skewjoin = true;
set hive.skewjoin.key = skew_key_threshold （default = 100000）

这个表示记录的行数，

hive 在运行的时候没有办法判断哪个key 会产生多大的倾斜，所以使用这个参数控制倾斜的阈值，如果超过这个值，新的值会发送给那些还没有达到的reduce, 一般可以设置成你（处理的总记录数/reduce个数）的2-4倍都可以接受.

3 reduce task数量太少，直接设置大它的数量试试

set mapred.reduce.tasks=xxx

默认是先设置hive.exec.reducers.bytes.per.reducer这个参数，设置了后hive会自动计算reduce的个数，因此两个参数一般不同时使用

转载于:https://www.cnblogs.com/huaxiaoyao/p/6275555.html

HIVE大数据出现倾斜怎么办相关推荐

Hive大数据-Hive的安装与启动---大数据之Hive工作笔记0005
然后我们再去看这个hive的安装,其实正确的学习路径应该是,首先去看一下hadoop,因为大数据中,很多知识都是基于hadoop的,然后再去看hive,然后再去看hbase,spark,flink ...
Hive 大数据表性能调优
大数据应用程序开发人员在从 Hadoop 文件系统或 Hive 表读取数据时遇到了挑战. 合并作业(一种用于将小文件合并为大文件的技术)有助于提高读取 Hadoop 数据的性能. 通过合并,文件的数量 ...
Hive大数据项目实践
在搭建了Hadoop和hive环境后,就可以使用hive来进行数据库相关操作了.Hive提供了hql(类sql)语句来操作,基本过程与mysql类似,区别的就是对于hive中的聚合操作,将使用hado ...
hive大数据倾斜总结
在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显.主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平 ...
管理博文Hive大数据-Mysql的安装和启动---大数据之Hive工作笔记0007
然后我们看,在给hive切换derby数据为,mysql数据库前,先去安装一下 mysql,这个已经安装了很多遍了找到连接器,mysql的,然后然后去看一下把这个mysql的驱动,copy到 hi ...
Hive大数据-Hive的架构---大数据之Hive工作笔记0003
然后我们再来看一下hive的架构可以看到hive,左边有个元数据存储,就是存了一些元数据,通过这些元数据我们可以,找到具体我们存的实际的数据. 然后右边hive提供了cli命令行的方式操作hive以 ...
hive 大数据除重问题研究
Hive 典型的中表内数据除重写法 insert overwrite table store select t.p_key,t.sort_word from ( select p_key, sort_ ...
Hive大数据-认识Hive知识结构_以及概念介绍---大数据之Hive工作笔记0001
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152 上面是关于Hive需要学习的东西然后我们来了解一下hive,hive可以理解成一个,可以把sql ...
Hive大数据-Hive的优缺点---大数据之Hive工作笔记0002
技术交流QQ群[JAVA,C++,Python,.NET,BigData,AI]:170933152

HIVE大数据出现倾斜怎么办

HIVE大数据出现倾斜怎么办相关推荐

最新文章

热门文章