Hive设置参数-指定引擎-队列

文章转载：https://www.cnblogs.com/huangmr0811/p/5571001.html

Hive提供三种可以改变环境变量的方法，分别是：（1）、修改${HIVE_HOME}/conf/hive-site.xml配置文件；（2）、命令行参数；（3）、在已经进入cli时进行参数声明。下面分别来介绍这几种设定。

方法一：
　　在Hive中，所有的默认配置都在HIVEHOME/conf/hive−default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive−site.xml文件，放在{HIVE_HOME}/conf/hive-default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive-site.xml文件，放在HIVEHOME/conf/hive−default.xml文件中，如果需要对默认的配置进行修改，可以创建一个hive−site.xml文件，放在{HIVE_HOME}/conf目录下。里面可以对一些配置进行个性化设定。在hive-site.xml的格式如下：

<configuration><property><name>hive.metastore.warehouse.dir</name><value>/user/hive/warehouse</value><description>location ofdefault database for the warehouse</description></property>
</configuration>

所有的配置都是放在标签之间，一个configuration标签里面可以存在多个标签。标签里面就是我们想要设定属性的名称；标签里面是我们想要设定的值；<description;<标签是描述在这个属性的，可以不写。绝大多少配置都是在xml文件里面配置的，因为在这里做的配置都全局用户都生效，而且是永久的。用户自定义配置会覆盖默认配置。另外，Hive也会读入Hadoop的配置，因为Hive是作为Hadoop的客户端启动的，Hive的配置会覆盖Hadoop的配置。

方法二：
　　在启动Hive cli的时候进行配置，可以在命令行添加-hiveconf param=value来设定参数，例如：

[wyp@master ~]$ hive --hiveconf mapreduce.job.queuename=queue1

这样在Hive中所有MapReduce作业都提交到队列queue1中。这一设定对本次启动的会话有效，下次启动需要重新配置。

方法三：
　　在已经进入cli时进行参数声明，可以在HQL中使用SET关键字设定参数，例如：

hive> set mapreduce.job.queuename=queue1;

这样也能达到方法二的效果。这种配置也是对本次启动的会话有效，下次启动需要重新配置。在HQL中使用SET关键字还可以查看配置的值，如下：

hive> set mapreduce.job.queuename;mapreduce.job.queuename=queue1

我们可以得到mapreduce.job.queuename=queue1。如果set后面什么都不添加，这样可以查到Hive的所有属性配置，如下：

hive> set;
datanucleus.autoCreateSchema=true
datanucleus.autoStartMechanismMode=checked
datanucleus.cache.level2=false
datanucleus.cache.level2.type=none
datanucleus.connectionPoolingType=DBCP
datanucleus.identifierFactory=datanucleus
datanucleus.plugin.pluginRegistryBundleCheck=LOG
datanucleus.storeManagerType=rdbms
datanucleus.transactionIsolation=read-committed
datanucleus.validateColumns=false
datanucleus.validateConstraints=false
datanucleus.validateTables=false............................

上述三种设定方式的优先级依次递增。即参数声明覆盖命令行参数，命令行参数覆盖配置文件设定。

Hive设置参数-指定引擎-队列相关推荐

beeline执行sql语句_由“Beeline连接HiveServer2后如何使用指定的队列（Yarn）运行Hive SQL语句”引发的一系列思考...
背景我们使用的HiveServer2的版本为0.13.1-cdh5.3.2,目前的任务使用Hive SQL构建,分为两种类型:手动任务(临时分析需求).调度任务(常规分析需求),两者均通过我们的We ...
hive常用参数配置设置
hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive.exec.mode.local.auto ...
pandas使用drop_duplicates函数基于subset参数指定的数据列子集删除重复行、并设置keep参数保留重复行中的最后一个数据行
pandas使用drop_duplicates函数基于subset参数指定的数据列子集删除重复行.并设置keep参数保留重复行中的最后一个数据行目录
pandas使用pd.concat纵向合并多个dataframe实战：纵向合并(ignore_index参数)、为纵向合并的多个dataframe设置标识符指定数据来源(通过字典方式设置数据来源键)
pandas使用pd.concat纵向合并多个dataframe实战:多个dataframe的纵向合并(ignore_index参数).为纵向合并的多个dataframe设置标识符指定数据来源(通过字 ...
R语言使用wilcox.test函数执行wilcox符号秩检验获取总体中位数（median）的置信区间（设置conf.level参数指定置信水平、置信区间的大小）
R语言使用wilcox.test函数执行wilcox符号秩检验获取总体中位数(median)的置信区间(设置conf.level参数指定置信水平.置信区间的大小) 目录
格式工厂怎样压缩视频到指定大小，如何设置参数？
第一种方法格式工厂压缩: 压缩在参数主要设置值,中默认的设置参数.这个值可以质量越好,文件大小越大,一般取值为之间.压缩后的视频容量视原视频的编码格式会有差异,可以压缩到方便了传输. 第二种方法51视 ...
pandas使用merge函数将多个dataframe数据连接起来、设置how参数为outer指定全连接（outer join）、left_on参数指定左侧dataframe的连接字段
pandas使用merge函数将多个dataframe数据连接起来.设置how参数为outer指定全连接(outer join).left_on参数指定左侧dataframe的连接字段.right_o ...
R语言拟合ARIMA模型：使用forecast包中的auto.arima函数自动搜索最佳参数组合、模型阶数（p,d,q）、设置seasonal参数指定在模型中是否包含季节信息
R语言拟合ARIMA模型:使用forecast包中的auto.arima函数自动搜索最佳参数组合.模型阶数(p,d,q).设置seasonal参数指定在模型中是否包含季节信息目录
python基于pingouin包进行统计分析：使用corr函数进行皮尔逊相关性检验分析（method参数指定方法为pearson、设置alternative参数为greater执行单边检验）
python基于pingouin包进行统计分析:使用corr函数进行皮尔逊相关性检验分析(method参数指定方法为pearson.设置alternative参数为greater执行单边检验).以da ...

Hive设置参数-指定引擎-队列

Hive设置参数-指定引擎-队列相关推荐

最新文章

热门文章