一、谨慎使用API

大数据场景下，必然是有大量的数据，因此大数据场景下并不怕数据量大，不行可多开几个节点，用以存储。但是大数据场景下，害怕的是数据倾斜，如果使用不当API，很容易造成数据倾斜问题。

容易数据倾斜情况

group by 不和聚集函数搭配使用的时候
count(distinct)，在数据量大的情况下，容易数据倾斜，因为 count(distinct)是按 group by 字段分组，按 distinct 字段排序
小表关联超大表 join

产生数据倾斜的原因

key 分布不均匀
业务数据本身的特性
C：建表考虑不周全
D：某些 HQL 语句本身就存在数据倾斜

二、自定义UDAF函数优化

使用自定义UDAF，不怕数据倾斜问题，hadoop在map端汇总合并优化，避免数据倾斜问题。

三、设置合理的map reduce 的Task数量

map阶段的优化

通过调整最大分割和最小分割

## 调整最小分割单元的大小(默认值是1B)
mapred.min.split.size:
## 调整最大分割单元的大小(默认值是256MB)
mapred.max.split.size:# 无效设置
mapred.map.tasks

注:
- 通过调整max的大小可以起到调整map数量的作用,增加max的大小可以减少map的数量,减小map的数量可以增加map的数量
- 代码块中无效设置是因为map的数量不是通过命令设置的,map的数量是由切片的数量决定的,由逻辑块InputSplit决定的.

通过一下设置来减少map的数量,在文件大小过小的时候减少资源浪费

set mapred.max.split.size=100000000;
set mapred.min.split.size.per.node=100000000;
set mapred.min.split.size.per.rack=100000000;
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;解释:
100000000表示100M
最后一句表示执行前对小文件进行合并
前面三个参数确定合并文件块的大小，大于文件块大小128m的，按照128m来分隔，
小于128m,大于100m的，按照100m来分隔，把那些小于100m的进行合并.

通过查询表中数据,存入一个设置为10个reduce任务的表中,再用此表查询,此时这个表就会由10个数据切片,再去用新表查询就会有10个map启动.

set mapred.reduce.tasks=10;create table a_1 as select * from a distribute by rand(123);

Reduce阶段的优化

通过hive自己确定reduce数,需要的设置

##每个reduce任务处理的数据量，默认为1000^3=1G
hive.exec.reducers.bytes.per.reducer
##每个任务最大的reduce数，默认为999
hive.exec.reducers.max

通过调整每个reduce能够处理的文件大小来控制reduce值

官方默认是1G
hive> set hive.exec.reducers.bytes.per.reducer=500000000;(500M)

通过命令直接设置reduce的个数

set mapred.reduce.tasks=8;

map和reduce的个数并不是越多越好

如果在文件非常小的情况下,还要设置很多的map和reduce就会造成资源的浪费.可能会造成一个map或者reduce没有运行完,其他的也需要占着进程等待.
当然也不是越少越好,会导致一个文件很大,运行需要很长时间.

小文件合并优化方式

通过配置文件设置

## 是否合并Map输出文件：
hive.merge.mapfiles=true（默认值为true）
##是否合并Reduce端输出文件：
hive.merge.mapredfiles=false（默认值为false）
## 合并文件的大小：
hive.merge.size.per.task=256*1000*1000（默认值为256000000）

hive调优还有哪些方法

表连接优化

将大表放后头
Hive假定查询中最后的一个表是大表。它会将其它表缓存起来，然后扫描最后那个表。因此通常需要将小表放前面，或者标记哪张表是大表：/*streamtable(table_name) */
使用相同的连接键
当对3个或者更多个表进行join连接时，如果每个on子句都使用相同的连接键的话，那么只会产生一个MapReduce job。
尽量尽早地过滤数据
减少每个阶段的数据量，对于分区表要加分区，同时只选择需要使用到的字段.
尽量原子化操作
尽量避免一个SQL包含复杂逻辑，可以使用中间表来完成复杂的逻辑

用insert into替换union all

原因:因为如果union all的部分数量大于2 或者union部分数据量过大,运行时将会很慢,可以选择多个insert into语句去进行.

order by & sort by

order by : 对查询结果进行全局排序消耗时间长,需要set hive.mapred.mode=nostrict
sort by : 局部排序，并非全局有序，提高效率。

limit 语句快速出结果

一般情况下，Limit语句还是需要执行整个查询语句，然后再返回部分结果。
有一个配置属性可以开启，避免这种情况—对数据源进行抽样

hive.limit.optimize.enable=true --- 开启对数据源进行采样的功能
hive.limit.row.max.size --- 设置最小的采样容量
hive.limit.optimize.limit.file --- 设置最大的采样样本数

开启并行执行

set hive.exec.parallel=true,可以开启并发执行。
set hive.exec.parallel.thread.number=16; //同一个sql允许最大并行度，默认为8。

关闭严格模式

set hive.marped.mode=strict --防止用户执行那些可能意想不到的不好的影响的查询

Hive优化【提高效率，减少资源浪费等】相关推荐

Adnroid提高效率之资源移动
在做开发过程中,有时候,需要将某几个,或者某个资源从一个地方拷贝到另外一个地方: 如何处理呢? 1.最最不靠谱的方式就是一个个分开拷贝到android的drawable,drawable-xhbpi, ...
Adnroid提高效率之资源文件改名
在做开发过程中,经常会遇到UI设计提供得资源文件如下所示: 经常把相同的文件有个@2x,@3x放到同一个目录中. 但是这并不是我们想要的,通常在android开发过程中,都是需要分别放到drawabl ...
java客户端查询hive很慢_Hive面试，如何优化查询效率！
1,开启FetchTask 一个简单的查询语句,是指一个没有函数.排序等功能的语句,当开启一个Fetch Task功能,就执行一个简单的查询语句不会生成MapRreduce作业,而是直接使用Fetch ...
如何治理资源浪费？百度云原生成本优化最佳实践
[百度云原生导读]根据 Gartner 的调查数据,到 2022 年底,全球企业在云计算基础设施方面的支出约为 3330 亿美元. 麦肯锡在调查报告中指出,2020 年,由于缺乏成本优化手段,80% ...
数据中心该如何节省资源减少能源浪费
根据全球电子可持续性倡议(GeSI)的研究,数据中心已经消耗了世界总电力的3%以上,产生了地球二氧化碳排放量的2%.就环境而言,这两项数据可以与整个全球航空业或一个小城市相当.目前,包括苹果公司在内的 ...
RFID技术在物流行业中的应用：优化物流流程，提高效率
随着物流行业的不断发展,如何优化物流流程.提高效率成为了每个物流从业者关注的重点.RFID技术作为一种先进的自动识别技术,正逐渐被广泛应用于物流行业,帮助企业降低成本.提高运营效率.本文将重点介绍RF ...
python提高效率(优化)的心得总结
转载自:python提高效率(优化)的心得总结作者:Capricorn.python 用python也有小两年了,不是开发,所以代码应该没那么精湛.但是经常会写测试脚本和小工具.在积累了大量的库以后 ...
深入浅出学Hive：Hive优化
目录: 初始Hive Hive安装与配置 Hive内建操作符与函数开发 Hive JDBC Hive参数 Hive高级编程 Hive QL Hive Shell基本操作 Hive优化 Hive体系结构 ...
CC00027.hadoop——|HadoopHive.V27|——|Hive.v27|Hive优化策略|实战.v03|
一.SQL优化 ### --- SQL优化~~~ 列裁剪和分区裁剪 ~~~ 列裁剪是在查询时只读取需要的列:分区裁剪就是只读取需要的分区. ~~~ 简单的说:select 中不要有多余的列,坚决避免 ...

Hive优化【提高效率，减少资源浪费等】