Hive之import和export使用详解

在hive-0.8.0后引入了import/export命令。

Export命令可以导出一张表或分区的数据和元数据信息到一个输出位置，并且导出数据可以被移动到另一个hadoop集群或hive实例，并且可以通过import命令导入数据。

当导出一个分区表，原始数据可能在hdfs的不同位置，export/import命令也支持导出分区表的不同子分区。

导出的元数据存储在目标目录，并且数据文件是存储在不同的子目录下。

Export/import命令可以独立工作在使用存储元数据的rdbms中。

一、语法

Export语法：

EXPORT TABLE tablename [PARTITION (part_column="value"[, ...])]

TO 'export_target_path' [ FOR replication('eventid') ]

Import语法：

IMPORT [[EXTERNAL] TABLE new_or_original_tablename [PARTITION (part_column="value"[, ...])]]

FROM 'source_path'

[LOCATION 'import_target_path']

二、使用复制：

Export/import命令当在复制环境中使用时略有不同，并且确定使用该工具在两个数据仓库之间使用复制。在大多数情况下，用户不需要使用这个附加功能，除非手动引导仓库之间的复制，这样它可以作为一个增量复制工具。

他们使用一个特殊的表属性“repl.last.id”在一个表或分区对象中，确保export/import工具每次复制的数据时最近更新的数据。在导出完成后，会对export的dump文件使用一个id打一个复制标签，表示在源仓库集成商单调递增的。此外，为复制导出打印的标记不会导致错误如果试图导出一个对象但是标记列当前不存在。

在import方面，没有语法变化，但是import有一个一般性的标签对于复制的dump文件，他讲检查要复制的对象是否存在，如果对象已经存在，它检查对象的repl.last.id属性，确定是否导入当前对象的最新数据对于目标仓库，如果更新是最新的，那么它将复制最新的信息，如果更新已经是很旧的了对于已经存在的对象，那么更新将被忽略，并且不会产生错误。

对于那些使用export进行首次手动引导用例，用户推荐使用“引导”标签，

三、示例

1、简单导入和导出

export table department to 'hdfs_exports_location/department';

import from 'hdfs_exports_location/department';

2、在import时重命名表

export table department to 'hdfs_exports_location/department';

import table imported_dept from 'hdfs_exports_location/department';

3、导出分区并且导入

export table employee partition (emp_country="in", emp_state="ka") to 'hdfs_exports_location/employee';

import from 'hdfs_exports_location/employee';

4、导出表并且导入到分区表分区

export table employee to 'hdfs_exports_location/employee';

import table employee partition (emp_country="us", emp_state="tn") from 'hdfs_exports_location/employee';

5、指定导入位置

export table department to 'hdfs_exports_location/department';

import table department from 'hdfs_exports_location/department'

location 'import_target_location/department';

6、导入作为一个外部表

export table department to 'hdfs_exports_location/department';

import external table department from 'hdfs_exports_location/department';

转载于:https://www.cnblogs.com/wcwen1990/p/6845850.html

Hive之import和export使用详解相关推荐

python导入模块的变量_python 环境变量和import模块导入方法(详解)
1.定义模块:本质就是.py结尾的文件(逻辑上组织python代码)模块的本质就是实现一个功能文件名就是模块名称包: 一个有__init__.py的文件夹:用来存放模块文件 2.导入模块 for ...
合法的python变量名import_python 环境变量和import模块导入方法(详解)
1.定义模块:本质就是.py结尾的文件(逻辑上组织python代码)模块的本质就是实现一个功能文件名就是模块名称包: 一个有__init__.py的文件夹:用来存放模块文件 2.导入模块 imp ...
Hive Create Table和Load DATA详解
Hive Create Table和Load DATA详解一.Hive Create Table详细讲解二.LOAD DATA 测试使用三.内部表和外部表区别 Hive在使用创建表的时候,有有一 ...
Jupyter Notebook中numpy什么意思 import numpy as np详解
Jupyter Notebook中numpy什么意思 import numpy as np详解 1.Numpy是啥 Numpy是用C实现的数据计算库. 主要是用来处理相同类型.固定长度的元素,可以用来 ...
Hive近百个常规函数详解
背景 Apache Hive是一个建立在Apache Hadoop之上的数据仓库软件项目,用于提供数据查询和分析,现支持引擎有MapReduce.Tez.Spark等等. Hive像传统的关系型数据库 ...
export与export default详解
export和export default是做什么的呢? export和export default是用来导出常量.函数.文件.模块的.是ES6语言. export和export default都要如 ...
网页编程html link,Web--CSS控制页面（link与import方式区别）详解
先了解: [1] "Table"和"DIV"这两个网页元素诞生的目的不同,首先Table诞生的目的是为了存储数据,而DIV诞生的目的就是为了架设页面 ...
hive分区用2个字段有何限制_关于Hive使用动态分区插入数据详解
1.创建一个单一字段分区表 hive> create table dpartition(id int ,name string ) partitioned by(ct string ); 2 ...
mysql分片建表语句_Mysql元数据如何生成Hive建表语句注释脚本详解
前言本文主要给大家介绍了关于Mysql元数据生成Hive建表语句注释脚本的相关内容,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍: 最近在将数据从Mysql 等其他关系型数据库抽取 ...

Hive之import和export使用详解

Hive之import和export使用详解相关推荐

最新文章

热门文章