[Hive_add_8] Hive 常用参数配置

0. 说明

　　记录 Hive 常用参数的配置

1. 设置本地模式

　　让 Hive 自动使用 Hadoop 的本地模式运行作业，提升处理性能

　　适合小文件，一般用于测试

set hive.exec.mode.local.auto=true;

　　输入文件大小低于此值会进入本地模式

SET hive.exec.mode.local.auto.inputbytes.max=500000000;

　　输入文件个数低于此值会进入本地模式

SET hive.exec.mode.local.auto.input.files.max=5;

2. 在 Hive 中执行 Shell 语句和 HDFS 语句

　　在 Hive 命令行执行 Shell 语句

!sh ls -l /home/centos

　　在 Hive 命令行执行 HDFS 语句

dfs -ls / ;

3. 在命令行下设置 reduce 的个数

set mapreduce.job.reduces=2;

转载于:https://www.cnblogs.com/share23/p/10225417.html

[Hive_add_8] Hive 常用参数配置相关推荐

HIVE常用参数配置
HIVE参数配置 --查看参数使用:set 或者set -v; --设置参数使用:set key=value; --设置reduce个数(默认-1) mapreduce.job.reduces=- ...
hive常用参数配置设置
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto ...
soot基础 -- 常用参数配置
在soot的学习过程中会遇到大量的和配置相关的一些内容,这些内容设置的不正确会很让人感到苦恼,为此做出以下总结. 使用soot进行编程的流程基本的流程图如下: [类加载]在类加载阶段,可以设置加载哪 ...
CMS常用参数配置指令
参数配置说明 -XX:+UseConcMarkSweepGC 启用CMS -XX:ConcGCThreads 配置并发的GC线程数 -XX:+UseCMSCompactAtFullCollectio ...
hive优化参数配置
配置参数说明 --mapjoin set hive.auto.convert.join=true; set hive.auto.convert.join.noconditionaltask=true; ...
ansible playbook play常用参数配置
我们知道ansible playbook可由多个play组成,而每个play又可以由多个task组成,如果不熟悉playbook play概念的可参考ansible playbook基本概念下面是一 ...
Mysql性能调优常用参数配置
全文中一共有常用的(事实上你如果花1-2周阅读.理解.自己动手设一下后是需要这么多参数的)76个参数可能你从未看到过这样的一篇集中火力式的把mysql参数列了这么全的文章.因此这一篇是汇集了最精华和 ...
JVM调优常用参数配置
2019独角兽企业重金招聘Python工程师标准>>> 堆配置 -Xms:初始堆大小 -Xms:最大堆大小 -XX:NewSize=n:设置年轻代大小 -XX:NewRatio=n: ...
深入Nginx之《常用参数配置技巧》
常见参配置实战技巧下面会讲解实战中应该怎么配置更为合理. 1.user 默认是nobody,如果使用nobody,Nginx在运行过程中会出现很多操作没有权限,比如写硬盘.一般都是用低于root级别 ...