1、export 的参数

2、数据同步案例

 sqoop export \--connect jdbc:oracle:thin:@ip:1521/服务名--username 用户名 --password 密码\--table F_L_C_EUTRANCELLTDD_H \--columns \START_TIME,END_TIME,TIME_STAMP,DN,EUTRANCELLTDD_UK,EUTRANCELLTDD_NAME,ENBFUNCTION_UK,ENBFUNCTION_NAME,MANAGEDELEMENT_UK,MANAGEDELEMENT_NAME,OMC_UK,OMC_NAME,RRC_SETUPTIMEMEAN,RRC_SETUPTIMEMAX,\RRC_CONNMEAN,RRC_CONNMAX,RRC_ATTCONNESTAB,RRC_SUCCCONNESTAB,RRC_ATTCONNREESTAB,RRC_SUCCCONNREESTAB,RRC_CONNRELEASECSFB,ERAB_NBRMEANESTAB,ERAB_ESTABTIMEMEAN,ERAB_ESTABTIMEMAX,ERAB_NBRHOINC,\IRATHO_AVGTIMEOUT5G_EXEC,IRATHO_ATTINC5G,IRATHO_SUCCPREPINC5G,IRATHO_FAILPREPINC5G,IRATHO_SUCCINC5G \
--fields-terminated-by "|" --update-key START_TIME,EUTRANCELLTDD_UK \
--update-mode allowinsert --export-dir \
/user/hive/warehouse/wxwy.db/f_l_c_eutrancelltdd_h/partitionday="20220224"/partitionhour="2022022410" \
--num-mappers 8 --batch --input-null-string '\\N'  --input-null-non-string '\\N'\

table F_L_C_EUTRANCELLTDD_H Oracle的目标表
columns 列出字段
-fields-terminated-by "|" 字段建用|作为分隔符
--update-key START_TIME,EUTRANCELLTDD_UK 利用 –update-key 字段 ,表示主键重复时会进行更新,但是主键不重复的时候,数据不会插入进来
--update-mode allowinsert 表示主键重复时会进行更新,主键不重复的时候,数据也会插入进来
--export-dir HDFS 上导出时的路径
--num-mappers 8 启动8个mapTask,默认4个
--batch 指示使用批处理模式执行底层的SQL语句。在导出数据时,该参数能够将相关的SQL语句组合在一起批量执行,也可以使用有效的API在JDBC接口中配置批处理参数
--input-null-string '\\N' --input-null-non-string '\\N'\ Hive中的Null在底层是以“\N”来存储,为了保证数据两端的一致性在导出数据时采用–input-null-string和–input-null-non-string两个参数。

3、注意事项

注意1:Oracle的目标表大写,hive的源表小写。

注意2:若字段太多,可一行多写几个字段。

注意3:HDFS文件字段分割符需要与建表时的分割符保持一致

sqoop export hive数据同步到oracle的用法相关推荐

  1. SQOOP 导出Hive数据到MySQL

    基本知识: Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-exp ...

  2. 利用sqoop将hive数据导入导出数据到mysql

    http://niuzhenxin.iteye.com/blog/1726414 运行环境  centos 5.6   hadoop  hive sqoop是让hadoop技术支持的clouder公司 ...

  3. 基于debezium实时数据同步(Oracle为主)

    基于debezium实时数据同步 全部需要下载的内容链接 1.下载zookeeper-3.4.10 2.下载kafka_2.13-2.8.0 3.下载Kafka Connector:建议使用1.6以上 ...

  4. sqoop 导出hive数据到MySQL数据库当中

    常用命令: 查看hive中表的结构: desc table_name; 查看hive中表的详细结构:desc formatted table_name; 我们想要将hive表中的数据导出到MySQL当 ...

  5. Elasticsearch和Hive整合,将hive数据同步到ES中

    1 Elasticsearch整合Hive 1.1 软件环境 Hadoop软件环境 Hive软件环境 ES软件环境 1.2 ES-Hadoop介绍 1.2.1 官网 https://www.elast ...

  6. oracle11g同步,Oracle11g三种数据同步方式-Oracle

    DataGurd: 主要备库的方式,就是数据库对数据库的备份方式,主要是解决容灾的. 流复制: 主要是利用ORACLE的归档日志,进行增量备份来实现的,不仅可以配置只复制某些表,还可以配置仅复制某些表 ...

  7. Hive 数据同步ClickHouse

    需求:按条件筛选Hive表中的数据同步到ClickHouse中 方法一: 按照ClickHouse 官方文档提供的方法,在ClickHouse 中创建HDFS引擎表,读取Hive的数据,将读取的数据插 ...

  8. Oracle数据库数据同步方案,ORACLE数据库热备方案

    ORACLE数据库热备方案 相关指标 1.数据库秒级.事务级热备(可跨操作系统平台) 实时监控数据库,将数据库变化后的数据以秒级别的时间备份到备库,同时只备份主数据库已成功的事务. 2.备用数据库在线 ...

  9. 043 hive数据同步到mysql

    一:意义 1.意义 如果可以实现这个功能,就可以使用spark代替sqoop,功能程序就实现这个功能. 二:hive操作 1.准备数据 启动hive 否则报错,因为在hive与spark集成的时候,配 ...

最新文章

  1. 进程间通信IPC之--共享内存
  2. 微信公众号自定义菜单跳转小程序
  3. GDCM:重写ELSCINT1 / PMSCT_RGB1压缩图像的测试程序
  4. javascript/jquery获取图片的原始大小
  5. Java学习笔记——反射
  6. Docker自动构建开发测试平台
  7. qpython能使用json吗l_[python] 详解Python在使用JSON时需要注意的编码问题
  8. 万物皆可Graph | 当推荐系统遇上图神经网络(二)
  9. ZOJ-1010 奇偶剪枝
  10. Unix Vi命令基本用法
  11. 【csdn上使用MathType编写公式建议方法】【亲测有效!!!】
  12. November Matrix的算力革命之路
  13. Node.js meitulu图片批量下载爬虫1.04版
  14. 【渝粤题库】陕西师范大学164210 冲突与沟通管理 作业 (专升本)
  15. 无法启动计算机打印机服务程序,Windows10下使用打印机时提示打印后台处理程序服务没有运行怎么办...
  16. JavaScript 【99乘法表】【案例】
  17. 不同IP网段的PLC进行S7通信(PUT_GET)的具体步骤
  18. 写500字关于漫威英雄的论文
  19. 《深入浅出WPF》——XAML语法及基础知识
  20. harbor登录报错doesn‘t contain any IP SANs问题

热门文章

  1. ES 7.0.1安装head和sql插件报错处理
  2. html字体标签设计,36个重要的HTML标签
  3. 手机联系人分组名字都没了_这个你连名字都没听过的城市,深藏着江西美食的功与名...
  4. Android 换肤指南
  5. AndroidStudio项目配置第三方libray库
  6. Tsunami: A Learned Multi-dimensional Index for Correlated Data and SkewedWorkloads(VLDB21)
  7. Git与GitHub基础全套完整版教程(持续更新....)
  8. sqlserver 2012实施与管理学习笔记(一):选型和部署之单机部署、故障转移群集与日志传送
  9. 错误(mailed 59 bytes of output but got status 0x004b#012)
  10. 移动硬盘在mac上无法显示 读不出来