Hive 05_hive变量、动态分区

hive 参数、变量
--hive当中的参数、变量，都是以命名空间开头

--通过${}方式进行引用，其中system、env下的变量必须以前缀开头
hive 参数设置方式

--1、修改配置文件 ${HIVE_HOME}/conf/hive-site.xml
   --2、启动hive cli时，通过--hiveconf key=value的方式进行设置
   --例：hive --hiveconf hive.cli.print.header=true
   --3、进入cli之后，通过使用set命令设置

hive set命令
   --在hive CLI控制台可以通过set对hive中的参数进行查询、设置
   --set设置：
       --set hive.cli.print.header=true;
   --set查看
       --set hive.cli.print.header
   --hive参数初始化配置
       --当前用户家目录下的.hiverc文件
       --如: ~/.hiverc
       --如果没有，可直接创建该文件，将需要设置的参数写到该文件中，hive启动运行时，会加载改文件中的配置。
   --hive历史操作命令集
       --~/.hivehistory

hive 动态分区
   --开启支持动态分区
       --set hive.exec.dynamic.partition=true;
           --默认：true
       --set hive.exec.dynamic.partition.mode=nostrict;
           --默认：strict（至少有一个分区列是静态分区）
       --相关参数
           --set hive.exec.max.dynamic.partitions.pernode;
               --每一个执行mr节点上，允许创建的动态分区的最大数量(100)
           --set hive.exec.max.dynamic.partitions;
               --所有执行mr节点上，允许创建的所有动态分区的最大数量(1000)
           --set hive.exec.max.created.files;
               --所有的mr job允许创建的文件的最大数量(100000)

加载数据
from psn21
insert overwrite table psn22 partition(age, sex)
select id, name, age, sex, likes, address distribute by age, sex

Hive 05_hive变量、动态分区相关推荐

hive静态与动态分区理解
需要建立一个备份带分区的数据表,拷贝时若采用静态分区方式需要写 N 行语句,因此可以使用动态分区,节省大量时间. Hive 的分区方式:由于 Hive 实际是存储在 HDFS 上的抽象,Hive 的一 ...
hive:默认允许动态分区个数为100，超出抛出异常：
hive:默认允许动态分区个数为100,超出抛出异常: 参考文章: (1)hive:默认允许动态分区个数为100,超出抛出异常: (2)https://www.cnblogs.com/yy3b2007 ...
mysql 分桶_使用hive脚本一键动态分区、分区又分桶以及脚本步骤详细详解（亲测成功）...
一.动态分区以及从linux本地文件映射到hive表中. partitioned.sql脚本中的创造数据: mkdir /mytemp cd mytemp vi stu_score.txt 1,zha ...
82.Hive SQL插入动态分区的异常分析
82.1 问题情况 INSERT - SELECT语句向Parquet或者ORC格式的表中插入数据时,启用了动态分区,无法正常执行 Hive客户端: Task with the most failur ...
hive实现全自动动态分区
我们在业务中往往会遇到一种情况就是: 现有的业务已经有很多的数据堆积,并且需要根据现有的数据以分区的形式来建立数据仓库,这样的话就需要将表中的一个字段作为分区字段,以这个字段的值作为分区的依据. 那么 ...
Hive动态分区导致的Jobtracker Hang
昨天下午有20多分钟Hadoop平台无法跑Hive,Jobtracker的页面也打不开,hadoop job –list也hang住没有响应,过了10分钟后恢复了,查看gc日志发现Jobtracker ...
hive动态分区shell_Hive动态分区参数配置及语法
Hive本身是不支持动态分区的.. 但动态分区是真的方便啊..不然手动维护要累死..按日期甚至小时来分区时动辄就好几千上万的分区..手动到哪一年去..? 想要用动态分区要先做一些设置来修改默认的配置. ...
hive 动态分区实现（hive-1.1.0）
hive 动态分区实现 (hive-1.1.0) 笔者使用的hive版本是hive-1.1.0 hive-1.1.0动态分区的默认实现是只有map没有reduce,通过执行计划就可以看出来.(执行计划 ...
Hive的分区（partition）-动态分区
Hive的分区声明:本文为博主参考网上资料整理的文章,未经博主允许不得转载,如有问题,欢迎指正. 一.概述分区是hive存放数据的一种方式.将列值作为目录来存放数据,就是一个分区.这样查询时使用分 ...

Hive 05_hive变量、动态分区

Hive 05_hive变量、动态分区相关推荐

最新文章

热门文章