oracle导出到hive,从Oracle导出数据并导入到Hive

1、配置源和目标的数据连接

源(oracle)：

目标(Hive 2.1.1)，需要事先将hive的驱动程序导入HHDI的lib目录中。

Hive2.1.1需要的jar包如下：可根据自身情况更换hadoop和hive的jar包。

hadoop-common-2.6.0.jar

hive-common-2.1.0.jar

hive-jdbc-2.1.0.jar

hive-metastore-2.1.0.jar

hive-serde-2.1.0.jar

hive-service-2.1.0.jar

hive-service-rpc-2.1.0.jar

hive-shims-2.1.0.jar

2、创建一个导出文本任务，将Oracle的表数据导出到一个文本文件中

配置源表查询语句来抽取源表中的数据，可以增加Where条件缩小抽取的范围。

数据被导出为一个txt文件到HHDI服务所在机器的磁盘中，后缀名为批次号，例如：O_RECORD_BLOODGLUCOSE.20170301

3、将导出的文本文件上传到Hive所在主节点机器的目录中，如果该Hive节点的目录和HHDI服务器的目录做了路径映射，则可以省略这个步骤。

此处选择的是SFTP方式

Hive的主节点为192.168.1.195，SFTP服务已经启用

上传的源文件和目标文件的配置

4、创建一个执行SQL任务，在Hive服务器上执行建表和导入文本数据的命令

采用LOAD DATA命令将本地文件导入Hive

5、创建一个作业流程，将上面创建的几个转换任务编入流程，注意顺序

6、手工执行该作业流程，将oracle的数据导出并导入hive。

除此之外还可以通过CDATA的Hive驱动来从数据库直接导入数据到Hive，详情可查看另外一篇文章：

HHDI(www.haohedi.com)让ETL变得简单！

oracle导出到hive,从Oracle导出数据并导入到Hive相关推荐

spark sql读取hive底层_[大数据]spark sql读写Hive数据不一致
在大数据公司中,任何一家公司都不会只使用一个框架吧?! skr,skr~~ 那我们今天就来聊一段 Hive 与 Spark的爱恨情仇就像在一些场景中,需要将外部的数据导入到Hive表中,然后再对这 ...
Hadoop+hive+flask+echarts大数据可视化项目之hive环境搭建与系统数据的分析思路
Hadoop+hive+flask+echarts大数据可视化项目(四) --------------hive环境搭建与系统数据的分析思路---------------- 关注过Hadoop+hive ...
hive插入多条数据sql_30分钟入门 Hive SQL（HQL 入门篇）
Hive SQL 几乎是每一位互联网分析师的必备技能,相信每一位面试过大厂的童鞋都有被面试官问到 Hive 优化问题的经历.所以掌握扎实的 HQL 基础尤为重要,既能帮分析师在日常工作中"如 ...
存在的hive插入数据_往hive表中插入数据以及导出数据
转载:https://blog.csdn.net/qq_26442553/article/details/80380590 转载:https://blog.csdn.net/weixin_436817 ...
Sqoop安装部署和数据的导入导出案例详解
目录一.概述二.Sqoop的工作机制三.Sqoop1与Sqoop2架构对比四.Sqoop安装部署五.Sqoop的数据导入 1. 列举出所有的数据库 2. 准备表数据 3. 导入数据库表数据到 ...
如何在 MySQL / MariaDB 中导入导出数据，导入导出数据库文件、Excel、CSV
文章目录本教程将详细讲解 1. MySQL / MariaDB 数据库数据「导出」 2. MySQL / MariaDB 数据库数据「导入」 3. 使用「卡拉云」一键导入导出 MySQL / Mar ...
sqoop从mysql导入hdfs_sqoop 从mysql导入数据到hdfs、hive
1.上传sqoop安装包 2.安装和配置在添加sqoop到环境变量将数据库连接驱动拷贝到$SQOOP_HOME/lib里 3.使用第一类:数据库中的数据导入到HDFS上 sqoop import ...
HIVE的安装配置、mysql的安装、hive创建表、创建分区、修改表等内容、hive beeline使用、HIVE的四种数据导入方式、使用Java代码执行hive的sql命令
1.上传tar包这里我上传的是apache-hive-1.2.1-bin.tar.gz 2.解压 mkdir -p /home/tuzq/software/hive/ tar -zxvf apach ...
sqoop 导入到hive字段全是null_Sqoop 一点通
sqoop 是什么? sqoop 主要用于异构数据: 1. 将数据从hadoop,hive 导入.导出到关系型数据库mysql 等; 2. 将关系型数据库 mysql 中数据导入.导出到 hadoop ...

oracle导出到hive,从Oracle导出数据并导入到Hive

oracle导出到hive,从Oracle导出数据并导入到Hive相关推荐

最新文章

热门文章