hive的一些调优参数

set hive.exec.dynamic.partition.mode=nonstrict; 使用动态分区
set hive.exec.max.dynamic.partitions=100000;自动分区数最大值
set hive.exec.max.dynamic.partitions.pernode=100000;
set hive.hadoop.supports.splittable.combineinputformat=true;支持切分
set hive.input.format=org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;
set mapred.max.split.size=256000000;
set mapred.min.split.size.per.node=256000000;
set mapred.min.split.size.per.rack=256000000;
set hive.merge.mapfiles=true;
set hive.merge.mapredfiles=true;
set hive.merge.size.per.task=256000000;
set hive.merge.smallfiles.avgsize=160000000;
set hive.exec.compress.output=true;
set mapred.output.compress=true;
set mapred.output.compression.type=BLOCK;
set mapred.output.compression.codec=org.apache.hadoop.io.compress.GzipCodec;
set io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec;
set hive.map.aggr=true;
set hive.optimize.skewjoin=true;
set hive.groupby.skewindata=true; 解决数据倾斜，不适用多字段去重统计
set hive.auto.convert.join=false;

set hive.groupby.skewindata=false;
set hive.new.job.grouping.set.cardinality = 200;添加额外job

set hive.fetch.task.conversion=more;简单查询不用mapreduce
set hive.exec.mode.local.auto=true;  //开启本地mr
set hive.exec.mode.local.auto.inputbytes.max=50000000;小于时用local mr
set hive.exec.mode.local.auto.input.files.max=5;默认4文件个数用local mr
set hive.auto.convert.join = true;默认开启，map join
set hive.mapjoin.smalltable.filesize=25000000;小表
set hive.map.aggr = true;默认map聚合
set hive.groupby.mapaggr.checkinterval = 100000;map聚合条数
set hive.groupby.skewindata = true;数据倾斜的时候进行负载均衡（默认是false）
set hive.exec.reducers.bytes.per.reducer=32123456;reduce任务处理量默认256000000
set hive.exec.parallel=true;并行执行
set hive.exec.parallel.thread.number=16;同一SQL最大并行度
set hive.mapred.mode=nonstrict;非严格模式
set mapred.job.reuse.jvm.num.tasks=5;jvm重用个数
set hive.mapred.reduce.tasks.speculative.execution=true;推测执行
set hive.exec.compress.intermediate=true;压缩算法
set mapred.map.output.compression.codec= org.apache.hadoop.io.compress.SnappyCodec;#设置中间数据的压缩算法
set hive.input.format= org.apache.hadoop.hive.ql.io.CombineHiveInputFormat;小文件合并
set mapreduce.input.fileinputformat.split.maxsize=10485760;一个block块大小
set hive.exec.reducers.bytes.per.reducer=256000000;每个Reduce处理的数据量默认是256MB
set hive.exec.reducers.max=1009;每个任务最大的reduce数，默认为1009
set mapreduce.job.reduces=3;设置每一个job中reduce个数

hive的一些调优参数相关推荐

Hive ETL 任务调优（参数篇）
Hive 调优-参数篇图片来源网络,点赞工作中常用的 hive 参数调优,整理如下. 原则: 最少数据最少字段最少Job数最少读取次数避免数据倾斜整体最优而不是局部最优 JVM 内存文 ...
pyspark性能调优参数
20220311 参数调节把executor数量调小,其他参数值调大,不容易报错一.指定spark executor 数量的公式 executor 数量 = spark.cores.max/spa ...
Spring Cloud 各组件调优参数
Spring Cloud整合了各种组件,每个组件往往还有各种参数.本文来详细探讨Spring Cloud各组件的调优参数. Tomcat配置参数 1 server: 2 tomcat: 3 max-c ...
直通BAT必考题系列：JVM性能调优的6大步骤，及关键调优参数详解
JVM系列直通BAT必考题系列:7种JVM垃圾收集器特点,优劣势.及使用场景直通BAT必考题系列:JVM的4种垃圾回收算法.垃圾回收机制与总结直通BAT必考题系列:深入详解JVM内存模型与JVM ...
JVM优化系列-详解常用的虚拟机调优参数
导语需要对虚拟机进行诊断,首先需要了解如何进行虚拟机的配合和跟踪,这里就来说说有那些虚拟机配置参数,通过它们来对虚拟机进行跟踪和配置. 文章目录虚拟机跟踪调试参数如何读懂虚拟机日志 GC基本 ...
如何开启jvm日志_直通BAT必考题系列：JVM性能调优的6大步骤，及关键调优参数详解...
JVM系列直通BAT必考题系列:7种JVM垃圾收集器特点,优劣势.及使用场景直通BAT必考题系列:JVM的4种垃圾回收算法.垃圾回收机制与总结直通BAT必考题系列:深入详解JVM内存模型与JVM ...
JVM-常用内存调优参数总结
一.内存调整参数 -Xmx2g 设置堆内存最大值为2g -Xmx512m 设置堆内存最大值为512m -Xms1g 设置堆内存最小值1g(ps:-Xms和-Xmx实际上是 -XX:InitialHea ...
面试官：你会哪些JVM调优参数？
关注公众号"Java后端技术全栈" 回复"000"获取程序员必备电子书 <Java 面试辅导>来啦!田哥和你面对面,一对一规划如何准备面试.模拟真 ...
美团面试：熟悉哪些JVM调优参数，幸好我准备过！
关注公众号"Java后端技术全栈" 回复"000"获取程序员必备电子书大家好,我是田维常,江湖人称老田.田哥.田神,今天来和大家分享JVM调优参数. 之前,我 ...

hive的一些调优参数

hive的一些调优参数

hive的一些调优参数相关推荐

最新文章

热门文章