hive与Oracle数据库的相互同步

1、Oracle数据同步到hive

1.1 不是分区表，覆盖数据

sqoop import --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名--password 密码 --table LTE_CELL_HIGHTRAFFIC_PRE --num-mappers 1  --fields-terminated-by "|" --hive-import --hive-table wxwy.lte_cell_hightraffic_pre --hive-overwrite  --hive-drop-import-delims

1.2 分区表同步

    sqoop import --connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名--password 密码--table LTE_CELL_HIGHTRAFFIC_PRE --num-mappers 1  --fields-terminated-by "|" --hive-import --hive-table wxwy.lte_cell_hightraffic_pre --target-dir /user/hive/warehouse/wxwy.db/lte_cell_hightraffic_pre/partitionday=20220213

同步完后会发现无法查询出数据，此时需要标记表的分区信息

alter table LTE_CELL_HIGHTRAFFIC_PRE add partition(partitionday='20220213') location '/user/hive/warehouse/wxwy.db/lte_cell_hightraffic_pre/partitionday=20220213'

数据验证
2、Oracle同步到hive

 sqoop export \--connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名 --password 密码\--table F_L_C_EUTRANCELLTDD_H \--columns \START_TIME,COLUMN1,COLUMN2,COLUMN3,EUTRANCELLTDD_UK ,COLUMN4,\COLUMN5,....COLUMNN \--fields-terminated-by "|" --update-key START_TIME,EUTRANCELLTDD_UK \--update-mode allowinsert --export-dir \/user/hive/warehouse/wxwy.db/f_l_c_eutrancelltdd_h/partitionday="20220213"/partitionhour="2022021310" \--num-mappers 8 --batch --input-null-string '\\N'  --input-null-non-string '\\N'\为实现定时同步数据，定时脚本的配置信息
partitionday="$CustFunc:getTime(yyyyMMdd,-H2,partitionday)$"
partitionhour="$CustFunc:getTime(yyyyMMddHH,-H2,start_time)$"

注意：
–table F_L_C_EUTRANCELLTDD_H \ 表名大写
–fields-terminated-by “|” --update-key START_TIME,EUTRANCELLTDD_UK \ START_TIME,EUTRANCELLTDD_UK 为Oracle表中约束字段

hive与Oracle数据库的相互同步相关推荐

浅谈Oracle 数据库之间数据同步方案
随着信息技术的飞速发展,企业信息化建设的不断深入,使得企业业务系统数量不断增加.这时,各业务系统之间数据交互,各子业务系统与核心业务系统之间数据交互,诸如此类场景的应用需求不断出现.因此,IT部门应对 ...
Oracle数据库之间数据同步 -- DBLink
这段时间负责某个项目开发的数据库管理工作,这个项目中开发库与测试数据库分离,其中某些系统表数据与基础资料数据经常需要进行同步,为方便完成指定数据表的同步操作,可以采用dblink与merge结合的方法 ...
oracle 数据库密码生产同步模拟环境，随记常用命令
1.查看当前open用户 select username,account_status,expiry_date,profile from dba_users; 2.查看目前的密码过期策略 select ...
两个oracle数据库外网同步,利用DBLink+JOB实现两个Oracle数据库之间的数据同步
该楼层疑似违规已被系统折叠隐藏此楼查看此楼第三步:建立JOB任务,定时同步数据在PL/SQL的command window输入以下语句: begin sys.dbms_job.submit(job ...
oracle数据库实时数据同步
1.查询当前用户是否有添加dblink的权利: select * from user_sys_privs where privilege like upper('%DATABASE LINK%'); ...
如何实现Oracle数据库之间的数据同步？
我们都知道,在Oracle数据库的管理与开发工作中,总会存在着一些表数据和基础资料数据,这时需要有效的将这些数据库进行同步合并,有没有什么简单的方法可以实现Oracle数据库之间的数据同步呢?在此诚恺 ...
oracle数据库常用操作
原文地址:http://www.cnblogs.com/muzifei/archive/2011/11/04/2235864.html 用户的权限问题: 1.使用create user语句创建用户,a ...
DSG-RealSync Oracle数据库同步复制及容灾技术简述
DSG-RealSync Oracle数据库同步复制及容灾技术简述 1 为什么需要数据复制 1.1 信息系统存在的问题及需求随着计算机应用系统的爆炸式发展,业务量迅速增加,业务种类日益复杂,企业必须 ...
oracle两个数据库之间,如何实现oracle两个数据库之间的同步
如何实现oracle两个数据库之间的同步关注:166 答案:2 手机版解决时间 2021-01-23 22:02 提问者美人如画皮 2021-01-23 13:26 如何实现oracle两个数 ...

hive与Oracle数据库的相互同步

1、Oracle数据同步到hive

hive与Oracle数据库的相互同步相关推荐

最新文章

热门文章