批量给hive的表加分区

要实现如下需求：

批量给hive的表加分区，分区都是这样的格式 dt=“2012-07-01”

加分区的语句如下：

use test;ALTER TABLE another_sku_uv ADD IF NOT EXISTS PARTITION (dt='2012-07-12') LOCATION '/user/test/warehouse/mid.db/sku_uv/dt=2012-07-12';

现在在/user/test/warehouse/mid.db/sku_uv/ 下面有从2012-07-01 -- 2012-12-31 的分区数据.如何批量添加分区呢？

我想到了用shell。

#!/bin/bash
#set -e
for ((i=0;i<190;i++))
do
#d=`date -d " - 1 day" '+%Y-%m-%d'`
s=`date -d "2012-07-01" +%s`
#echo "$s"
let "t=$s+$i*86400"
m=`date -d "@$t"`
d=`date -d "$m" '+%Y-%m-%d'`
if [ "$d" = 2013-01-01 ]; then
exit 0;
else
hive -e "use default;ALTER TABLE another_sku_uv ADD IF NOT EXISTS PARTITION (dt='$d') LOCATION '/user/test/warehouse/mid.db/sku_uv/dt=$d'"
fi
done

转载于:https://www.cnblogs.com/qgxiaoguang/archive/2013/03/13/2957405.html

批量给hive的表加分区相关推荐

Hive 外部表关联分区数据
0. 说明已经安装好Hadoop和hive环境,hive把元数据存储在mysql数据库.这里仅讨论外部表和HDFS的关联,并且删掉外部表之后,对HDFS上的文件没有影响. 1. 在HDFS创建分区, ...
Hive查看表的分区字段
查询某个表的分区信息: SHOW PARTITIONS employee: 查看某个表是否存在某个特定分区键 SHOW PARTITIONS employee PARTITION(country='U ...
HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz 2.解压 mkdir -p /home/tuzq/software/hive/ tar -zxvf apach ...
MapReduce基础开发之七Hive外部表分区
MapReduce输出的数据在实际应用中会加载在不同子目录下,比如按照日期.地区等,然后统一到外部表,这就需要用到hive表的分区. 假设输出的数据放在/tmp/fjs/dpi父目录下,下面分别有三个 ...
hive 如果表不存在则创建_从零开始学习大数据系列(四十七) Hive中数据的加载与导出...
[本文大约1400字,阅读时间5~10分钟] 在<从零开始学习大数据系列(三十八) Hive中的数据库和表>和<从零开始学习大数据系列(四十二)Hive中的分区>文章中,我们已 ...
sql server2008 批量删除发生：查询处理器用尽了内部资源，无法生成查询计划。这种情况很少出现，只有在查询极其复杂或引用了大量表或分区时才会出现。请简化查询
昨晚跑了一个程序:批量删除一些数据,我sql语句写的有点烂,在where条件时候用的是 IN .所以最后发生异常:查询处理器用尽了内部资源,无法生成查询计划.这种情况很少出现,只有在查询极其复杂或 ...
hive查看一张表的分区字段_hive表分区查看
版权声明:本文为博主原创文章,未经博主允许不得转载.https://www.jianshu.com/u/c801d8028b0c Hive Partitions mysql> use metas ...
hive查看一张表的分区字段_Hive表的分区与分桶
1.Hive分区表 Hive使用select语句进行查询的时候一般会扫描整个表内容,会消耗很多时间做没必要的工作.Hive可以在创建表的时候指定分区空间,这样在做查询的时候就可以很好的提高查询的效率. ...
hive外部表改为内部表_3000字揭秘Greenplum的外部数据加载——外部表
外部表是greenplum的一种数据表,它与普通表不同的地方是:外部表是用来访问存储在greenplum数据库之外的数据.如普通表一样,可使用SQL对外部表进行查询和插入操作.外部表主要用于Green ...
hive 分区_代码 | Spark读取mongoDB数据写入Hive普通表和分区表
版本: 一.原始数据及Hive表 MongoDB数据格式 Hive普通表 Hive分区表二. IDEA+Maven+Java 依赖代码工具类三. 错误解决办法 1. IDEA会获取不到Hive ...

批量给hive的表加分区

批量给hive的表加分区相关推荐

最新文章

热门文章