利用sqoop将oracle 11g中的表迁移至hive表

[Prerequisite]

hadoop, hive, sqoop installed

ojdbc6.jar was in directory /usr/lib/sqoop/lib (ojdbc6.jar is for JDK 1.6)

[Steps]

1. Install oracle 11g for 32bit on a windows 32bit vm (windows server 2003)

see <在Windows Server 2003 32bit 中安装Oracle 11g 32bit>: http://blog.csdn.net/mozart_cai/article/details/8596352

2. Configure local listener(本地监听服务) in oracle Net Manager, add a listener

see <通过Net Manager 配置Oracle 11g本地监听服务(listener service)>: http://blog.csdn.net/mozart_cai/article/details/8596504

3. Load Oracle table to Hive table via Sqoop

In Oracle SQL Plus, check all tables owned by current user

SQL> select unique tname from col;

We choose table "DEPT" to migrate.

In cluster node

$ hive

$ show tables;

$ quit;

$ sqoop import --connect jdbc:oracle:thin:@IPAddressOfNodeInstallOracle:1521:orcl --username SCOTT --password 123456 --table DEPT -m 1 --hive-import --hive-table "HIVETEST"

NOTICE: IPAddressOfNodeInstallOracle is for windows run oracle(ex: 172.16.3.4); username and password are configured in oracle;tablename and username should be upper case

$ show tables;

$ select * from hivetest;

利用sqoop将oracle 11g中的表迁移至hive表相关推荐

Oracle 11g中关于数据定义的思考
之前一直没有关注过Oracle中数据的保存方式,因为大部分使用的还是Oracle的关系型数据库存储内容的元数据.今天偶然看到一篇关于Oracle 11g的数据定义的描述,收集如下: 1.Oracle的 ...
盘点 Oracle 11g 中新特性带来的10大性能影响
盘点 Oracle 11g 中新特性带来的10大性能影响原创 2017-08-02 盖国强数据和云 Oracle的任何一个新版本,总是会带来大量引人瞩目的新特性,但是往往在这些新特性引入之初,首先 ...
Oracle 11g 中告警日志的位置
Oracle 11g 中告警日志的位置首先介绍2个新名词 Automatic Diagnostic Repository (ADR)一个存放数据库诊断日志.跟踪文件的目录,称作ADR base,对应 ...
hive sqoop 分区导入_利用oozie，执行sqoop action将DB2中的数据导入到hive分区表中
测试:利用oozie,执行sqoop action将DB2中的数据导入到hive分区表中. 需要注意的地方: 1,要添加hive.metastore.uris这个参数.否则无法将数据加载到hive表中 ...
oracle异常日志在哪,Oracle 11g 中告警日志的位置
首先介绍2个新名词 Automatic Diagnostic Repository (ADR)一个存放数据库诊断日志.跟踪文件的目录,称作ADR base,对应初始化参数DIAGNOSTIC_DEST ...
ORACLE 11G中的ADR介绍：
直到今天,我才开始接触oracle 11g,先了解其新特性,以下这些是我的新特性读书笔记: 第一部分:(Automatic Diagnostic Repository)ADR 在oracle 11g中 ...
oracle 11g json 函数,在Oracle 11g中支持JSON(Support for JSON in Oracle 11g)
在Oracle 11g中支持JSON(Support for JSON in Oracle 11g) Oracle 11g是否支持JSON? 我的意思是像在PL / SQL查询中操纵JSON对象. 我 ...
oracle 11g中的自动维护任务管理
因为人员紧缺,最近又忙着去搞性能优化的事情,有时候真的是不想再搞这个事情,只是没办法,我当前的绩效几乎取决于这个项目的最终成绩,所以不管是人的事还是事的事,都得去让他顺利推进. 前段时间发生还有几台服 ...
Oracle 11g中的IO Calibrate（IO校准）
Oracle 11g中的IO Calibrate(IO校准).sql Oracle数据库发展到今天,"IO为王"已经是一种发展方向趋势.ExtraData一体机的重要特色之一就是最 ...

利用sqoop将oracle 11g中的表迁移至hive表

利用sqoop将oracle 11g中的表迁移至hive表相关推荐

最新文章

热门文章