hive分区表快速复制

1、快速建表

drop table if exists dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;
create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian like dwt.dwt_activity_auction_house_activity_sale_full_1d;

2、查看复制好的表结构

hive> show create table dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;
OK
CREATE TABLE `dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian`(`activity_sale_id` bigint COMMENT '拍卖会拍品信息主键id', `activityid` bigint COMMENT '拍卖会活动id', `userinfoid` bigint COMMENT '拍卖行id', `lot` int COMMENT 'lot号', `title` string COMMENT '标题', `bidbzj` bigint COMMENT '保证金', `increase` bigint COMMENT '加价幅度', `startprize` bigint COMMENT '起拍价', `min_referenceprice` bigint COMMENT '最小估值', `max_referenceprice` bigint COMMENT '最大估值', `category` int COMMENT '分类', `seccategory` int COMMENT '二级分类', `seccategory_template` string COMMENT '发拍模板', `content` string COMMENT '拍品详情', `illustration` string COMMENT '拍品说明', `state` int COMMENT '0：草稿；1-待审核；2-审核通过；3-审核驳回；4-已上拍；5-已隐藏；6-已下架', `upload_time` string COMMENT '上拍时间', `sale_id` bigint COMMENT '拍品id，sale表id', `end_time` string COMMENT '截拍时间', `open_time` string COMMENT '开拍时间', `sale_status` int COMMENT '拍品状态: -1:unsold 1:等待支付保证金 2:sale 3:deal', `enable_return` int COMMENT '是否包退 0-不包退；1-包退', `express_fee` int COMMENT '是否包邮 0-不包邮；1-包邮', `last_edit_username` string COMMENT '最后编辑人记录', `last_edit_time` string COMMENT '最后编辑时间', `reject_reason` string COMMENT '拒绝原因', `sort_num` bigint COMMENT '排序值', `is_del` int COMMENT '是否删除', `create_time` string COMMENT '创建时间', `update_time` string COMMENT '更新时间')
PARTITIONED BY ( `dt` string)
ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.orc.OrcSerde'
STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcInputFormat'
OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.orc.OrcOutputFormat'
LOCATION'/usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian'
TBLPROPERTIES ('orc.compress'='snappy')
Time taken: 0.903 seconds, Fetched: 44 row(s)

跟原始表一模一样，有分区，就是没有数据。

3、拷数据

hadoop fs -cp /usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d/* /usr/hive/warehouse/dwt.db/dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian/

4、修复分区元数据

MSCK REPAIR TABLE dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian;

5、查询和校验

select dt,count(*)
from dwt.dwt_activity_auction_house_activity_sale_full_1d_0805forliuqian
group by dt;select dt,count(*)
from dwt.dwt_activity_auction_house_activity_sale_full_1d
group by dt;

6、动态分区数据插入方式

以上步骤3、4也可以通过动态分区数据插入来做

set hive.exec.dynamic.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table ds_parttion partition(state='china',ct)
select id ,city from mytest_tmp2_p;

set hive.exec.dynamici.partition=true;
set hive.exec.dynamic.partition.mode=nonstrict;
insert overwrite table ds_parttion partition(state,ct)
select id ,country,city from  mytest_tmp2_p;

使用动态分区表必须配置的参数：

set hive.exec.dynamic.partition =true（默认false）,表示开启动态分区功能
set hive.exec.dynamic.partition.mode = nonstrict(默认strict),表示允许所有分区都是动态的，否则必须有静态分区字段

动态分区相关的调优参数：

set hive.exec.max.dynamic.partitions.pernode=100
set hive.exec.max.dynamic.partitions =1000
set hive.exec.max.created.files =10000 (默认) 全局可以创建的最大文件个数，超出报错。

hive分区表快速复制相关推荐

Spark源码之-CDH6下Spark2.4写Hive分区表异常
文章目录一.组件版本二.问题描述三.问题分析四.解决办法一.组件版本组件版本 Hadoop 3.0.0+cdh6.1.1 Hive 2.1.1+cdh6.1.1 spark 2.4.0+ ...
Hive分区表：静态分区、动态分区、多重分区介绍
01 分区表的引入.产生背景现有6份数据文件,分别记录了<王者荣耀>中6种位置的英雄相关信息.现要求通过建立一张表t_all_hero,把6份文件同时映射加载. create table ...
oracle复制表包括注释,oracle 快速复制表结构、表数据
oracle 快速复制一张表,并在此创建索引,日志及并行度复制表结构及其数据 create table table_name_new as select * from table_name_old ...
Hive 分区表数据加载
1. Hive表数据的导入方式 1.1 本地上传至hdfs 命令: hdfs dfs -put [文件名] [hdfs绝对路径] 例如:测试文件 test_001.txt 内容如下在 hdfs 绝对 ...
快速复制快捷键_复制粘贴额效率之王Ctrl+D都不掌握，那就真的Out了
在Excel中,如果要批量填充,大家会怎么做? 一般情况下,小编用到最多的就是快捷键Ctrl+Enter,其实还有一个批量填充的高效率快捷键就是Ctrl+D. 一.快捷键Ctrl+D:批量填充内容.目 ...
sqoop动态分区导入mysql,sqoop 导入数据到hive分区表（外表，内表）指定分区指定数据库指定表...
sqoop 导入数据到hive 1.1.导入数据到hive分区表(内表),指定分区创建hive分区表 –hive-database 指定数据库 –table 指定表 –hive-overwrite ...
sublime关于行操作的快捷键：如快速复制整行等
一.复制当前行 ctrl+shift+d 快速复制当前行代码并插入到下一行二.删除当前行 1.系统默认的是Ctrl+shift+k ,Sublime 删除一行快捷键 2.Shift+Delete 也 ...
excel 复制数据 sql server 粘贴_win32 实现 excel 快速复制粘贴
直接简明说:该方法可以直接将一张代码的区域内容直接 copy 到另一张表上,并且字体颜色.背景.格式都不变,另外还可以 copy 公式(相当于 excel 下拉公式) from win32com.cl ...
hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
java nio copy_使用NIO快速复制Java文件
package com.test.test; import java.io.File; import java.io.FileInputStream; import java.io.FileOutpu ...