[Hive优化]--常用参数优化汇总

致谢：https://blog.csdn.net/gogogogood

● 使用动态分区需要加配置：

SET hive.exec.dynamic.partition=true;

SET hive.exec.dynamic.partition.mode=nonstrict;

SET hive.exec.max.dynamic.partitions=1000;

SET hive.exec.max.dynamic.partitions.pernode=100;

为了防止一个reduce处理写入一个分区导致速度严重降低，加入如下参数

SET hive.optimize.sort.dynamic.partition=false;

● 使用自动优化：（mapjoin）

首先需要注意，这个有如下限制条件

1. Full outer joins are never converted to map-side joins.

2. A left-outer join are converted to a map join only if the right table that is to the right side of the join conditions, is lesser than 25 MB in size.

3. Similarly, a right-outer join is converted to a map join only if the left table size is lesser than 25 MB.

set hive.auto.convert.join=true;

SET hive.mapjoin.smalltable.filesize=25000000; -- 这个是设定放入内存的表的大小上限的

set hive.auto.convert.join.noconditionaltask=true; --设置多mapjoin同时执行（a left join small_b left join small_c），而不是起多次map任务

set hive.auto.convert.join.noconditionaltask.size=30000000;

● 使用负载均衡：

SET hive.groupby.skewindata=true;

从上面group by语句可以看出，这个变量是用于控制负载均衡的。当数据出现倾斜时，如果该变量设置为true，那么Hive会自动进行负载均衡

比如A日志表与B码表join，但是A中的关联字段id仅是B中id的一小部分，这时候很容易出现reduce阶段倾斜，大量的reduce空跑，因为这些空跑的reduce分到的B的id在A中不存在。

● 设置map和reduce的任务处理的字节数

SET mapreduce.input.fileinputformat.split.maxsize=67108864;

SET mapreduce.input.fileinputformat.split.minsize=67108864;

SET mapreduce.input.fileinputformat.split.minsize.per.node=67108864;

SET mapreduce.input.fileinputformat.split.minsize.per.rack=67108864;

SET hive.exec.reducers.bytes.per.reducer=268435456; （可以设置小一点，因为默认的是min(集群配置的，总数据量/本设置值)）

● 直接设置map和reduce任务数

SET mapred.map.tasks = 400;

SET mapred.reduce.tasks = 400;

● 设置最大reduce数限制

SET hive.exec.reducers.max=1024;

● 修改字段类型（注意跟presto集成会有问题）

ALTER TABLE name CHANGE column_name new_name new_type

● 设置运行内存，应对运行时报错：java 堆内存溢出

SET mapreduce.map.memory.mb=8000;

SET mapreduce.map.java.opts=-Xmx6000m;

SET mapreduce.reduce.memory.mb=8000;

SET mapreduce.reduce.java.opts=-Xmx6000m;

[Hive优化]--常用参数优化汇总相关推荐

JVM优化之优化常用参数和工具
JVM优化之优化常用参数和工具内容提要 jvm运行参数和参数设置 jvm 内存模型定位分析死锁和内存溢出其他工具使用为什么要优化JVM 1.生产环境需要承载更多的并发要求,对底层的优化能显著提 ...
mysql数据库前端缓存_MySQL数据库性能优化--缓存参数优化
在平时被问及最多的问题就是关于 MySQL 数据库性能优化方面的问题,所以最近打算写一个MySQL数据库性能优化方面的系列文章,希望对初中级 MySQL DBA 以及其他对 MySQL 性能优化感兴趣 ...
鲸鱼算法优化PID参数优化附matlab代码
第一章鲸鱼优化算法算法介绍参考文献:Seyedali Mirjalili,Andrew Lewis. The Whale Optimization Algorithm[J]. Advances ...
hive hive beeline常用参数
Hive 1参数如下: usage: hive -d,--define <key=value> Variable substitution to apply to Hive command ...
影像组学视频学习笔记(12)-支持向量机(SVM)参数优化(代码)、Li‘s have a solution and plan.
本笔记来源于B站Up主: 有Li 的影像组学系列教学视频本节(12)主要介绍: SVM参数优化(代码) 参数优化: 自动寻找最合适的γ和C组合. 原理:遍历所有给定的参数组合,对数据进行训练,找到最 ...
mysql参数优化51cto_超详细MySQL数据库优化
前言数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷. 1. 优 ...
使用TensorBoard进行超参数优化
在本文中,我们将介绍超参数优化,然后使用TensorBoard显示超参数优化的结果. 深度神经网络的超参数是什么? 深度学习神经网络的目标是找到节点的权重,这将帮助我们理解图像.文本或语音中的数据模式 ...
mysql优化要点_MySQL优化技巧总结
MySQL优化的几个大方向 ① 硬件优化 ② 对MySQL配置参数进行优化(my.cnf)此优化需要进行压力测试来进行参数调整 ③ SQL语句方面的优化 ④ 表方面的优化硬件优化 cpu,内存,硬盘 ...
table 条数过大优化_MySQL 数据库优化，看这篇就够了 | 不长不短，2000 字小结
前言数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷. 1. 优 ...

[Hive优化]--常用参数优化汇总

[Hive优化]--常用参数优化汇总相关推荐

最新文章

热门文章