hive数据备份方案

非分区表的备份

create table t_copy as select * from t_temp;

分区表的备份

第一种方式

创建表结构相同的备份表

create table tablepark_test like tablepark;

设置动态分区模式

set hive.exec.dynamic.partition.mode=nonstrict；

备份

insert overwrite table tablepark_test partition(year) select * from tablepark;

其中year是分区字段，这种方式因为要走mapreduce，所以效率比较低

第二种方式

msck修复分区
我们可以先复制出一张表结构和tablepark一样的表,然后将tablepark表目录下的数据拷贝到tablepark_test,然后使用分区表的msck指令去修复重新生成分区.

create table tablepark_test like tablepark;
hdfs dfs -cp /user/hive/warehouse/ods_ticket_data.db/tablepark/* /user/hive/warehouse/ods_ticket_data.db/tablepark_test/
show partitions tablepark_test; //这时候查看分区还没有值
msck repair table tablepark_test;   //修复分区，将存在于HDFS上但不在metastore上的分区元信息添加到metastore
show partitions tablepark_test; //这时候查看分区就有值了

注意：分区的目录结构必遵循 /partition_name=partition_value/结构，否则msck无法自动添加分区。

hive数据备份方案相关推荐

混合云存储组合拳：基于云存储网关与混合云备份的OSS数据备份方案
前言阿里云对象存储(OSS)用户众多.很多用户因为业务或者合规性需求,需要对OSS内的数据做备份,无论是线上备份,还是线下备份.用户可以选择使用OSS的开放API,按照业务需求,做数据的备份,也可以 ...
某电力企业数据备份方案解析
企业的大量信息包含在数据中,如何保护企业的数据,在现代企业管理中,已经越来越重要.本文主要讨论某电力企业业务管理系统中的数据备份实现技术和相关的方式.策略等,同时,对SmallWorld的备份做了一定 ...
文件服务器数据备份方案,BACKUPPC服务器数据备份方案.pdf
BackupPC 服务器数据备份方案作者:th 日期:2013-10-25 企业服务器的数据都是非常重要的,为了确保安全,我们会做数据库备份,还要考虑应用数据及补丁备份,仅仅是本机备份是不够的,我 ...
服务器维护简单的备份方案,几种常见的数据备份方案分享
原标题:几种常见的数据备份方案分享常见的数据备份系统主要有Host-Base.LAN-Base和基于SAN结构的LAN-Free.Server-Free等多种结构. Host-Based备份方式: ...
qnap备份文件服务器,完整的数据备份方案
◆ 完整的数据备份方案在数据安全方面Turbo NAS提供了完整的数据备份方案,包括本地备份.远程备份及云端备份. 本地备份方案包括 : ·QNAP独家备份软件NetBak Replicator · ...
几种常见的数据备份方案
最近一直在使用木浪科技的多备份进行网站的备份,这是一款全新的互联网产品,感觉在便捷性和有效性方面都好于传统的数据备份方案.向大家推荐. 今天,我们不了多备份,而是想和大家简单聊聊常见的数据备份方案. ...
企业数据备份方案-MxsDoc的自动备份的应用
一.简介企业数据包括各种文档资料.代码资料以及数据库的数据,对于一个企业来说至关重要. 计算机硬件和软件会因为各种原因(包括火灾.地震等自然灾害)导致数据的丢失或损坏,为了避免出现此类情况后,能够快 ...
mysql数据备份方案
三种常用mysql数据备份方案备份 MySQL 数据库有多种方案,以下是常见的几种备份方案及其操作步骤和相应的命令: 1.使用 mysqldump 命令进行逻辑备份: 操作步骤: 打开命令行或终端窗 ...
oracle dataguard详解,Oracle DataGuard数据备份方案详解
Oracle DataGuard是一种数据库级别的HA方案,最主要功能是冗灾.数据保护.故障恢复等. 在生产数据库的"事务一致性"时,使用生产库的物理全备份(或物理COPY)创建备 ...