sqoop增量导出mysql_sqoop定时增量导入导出
sqoop使用hsql来存储job信息,开启metastor service将job信息共享,所有node上的sqoop都可以运行同一个job
一、sqoop的配置文件在sqoop.site.xml中:
1、sqoop.metastore.server.location
本地存储路径,默认在tmp下,改为其他路径
2、sqoop.metastore.server.port
metastore service端口号
3、sqoop.metastore.client.autoconnect.url
sqoop自动连接的metastore地址,默认是本地的metastore地址
4、sqoop.metastore.client.enable.autoconnect
开启自动连接。sqoop默认连接本地metastore。注释这个配置会开启自动连接。
二、开启metastore service
sqoop下,nohup bin/sqoop metastore
三、创建job
sqoop支持两种增量导入模式,
一种是 append,即通过指定一个递增的列,比如:
--incremental append --check-column num_iid --last-value 0
varchar类型的check字段也可以通过这种方式增量导入(ID为varchar类型的递增数字):
--incremental append --check-column ID --last-value 8
另种是可以根据时间戳,比如:
--incremental lastmodified --check-column created --last-value '2012-02-01 11:0:00'
就是只导入created 比'2012-02-01 11:0:00'更大的数据。
bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --create job_zyztest13 -- import --connect jdbc:oracle:thin:@10.106.1.236:1521:orcl --username SQOOP --password sqoop --table LXC_TEST_HBASE_TO_ORACLE --columns NAME,SEX,AGE,CSRQ -m 1 --hbase-table SQOOP_IMPORT_TEST3 --column-family info --hbase-row-key NAME --split-by NAME --incremental lastmodified --check-column CSRQ --last-value '2012-02-01 11:0:00' --verbose
nohup /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --exec job_zyztest13 > job_zyztest13.out 2>&1 &
此时,在10.106.1.234上创建了job_zyztest13这个job,通过bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --list可以查看所有job
四、定时执行
使用linux定时器:crontab -e
编辑定时器,添加*/4 * * * * /opt/hadoopcluster/sqoop-1.4.2.bin__hadoop-2.0.0-alpha/bin/sqoop job --meta-connect jdbc:hsqldb:hsql://10.106.1.234:16000/sqoop --exec job_zyztest13 > job_zyztest13.out 2>&1 & 任务将会每四分钟执行一次
sqoop增量导出mysql_sqoop定时增量导入导出相关推荐
- oracle数据库导出灰色_Oracle数据库导入导出命令总结
Oracle数据导入导出imp/exp就相当于oracle数据还原与备份.exp命令可以把数据从远程数据库服务器导出到本地的dmp文件,imp命令可以把dmp文件从本地导入到远处的数据库服务器中.利用 ...
- Sqoop安装部署和数据的导入导出案例详解
目录 一.概述 二.Sqoop的工作机制 三.Sqoop1与Sqoop2架构对比 四.Sqoop安装部署 五.Sqoop的数据导入 1. 列举出所有的数据库 2. 准备表数据 3. 导入数据库表数据到 ...
- mysql dump 导入导出_使用mysqldump导入导出数据
DRDS支持MySQL官方数据导出工具mysqldump.本文围绕DRDS数据导入导出的几种常见场景对操作步骤和注意事项进行说明.mysqldump命令的详细说明请参见MySQL官方文档. mysql ...
- mysql命令导出数据库_MYSQL 数据库导入导出命令
在不同操作系统或MySQL版本情况下,直接拷贝文件的方法可能会有不兼容的情况发生.所以一般推荐用SQL脚本形式导入.下面分别介绍两种方法. MySQL命令行导出数据库 1,进入MySQL目录下的bin ...
- mysq命令行导出sql_mysql 命令行导入导出 sql
命令行source 导入数据库: 代码如下复制代码 1,将要导入的.sql文件移至bin文件下,这样的路径比较方便 2,同上面导出的第1步 3,进入MySQL:mysql -u 用户名 -p 如我输入 ...
- oracle导出数据视频教程,Oracle导入导出数据的几种方式
oracle导入导出数据 1.导出dmp格式文件 --备份某几张表 !!!! exp smsc/smsc file=/data/oracle_bak/dmp/bakup0209_2.dmp table ...
- android导入导出txt通讯录,Android导入导出txt通讯录工具
最近刚换了一部android手机,由于触摸屏打字速度实在不敢恭维,导入几个常用的电话号码后就不想导了.为了一劳永逸,还是写一个tool来导入txt格式的联系人.(之前用山寨手机导出来的). andro ...
- mysql 导出bson格式_mongodb 导入导出GridFS【图片/文件/视频/音频等多媒体文件的导入导出】...
其实导入导出GridFS和其他集合一样,只是GridFS有files和chunks两个 1.进入bin目录: 2.导出GridFS数据: ./mongodump --db test-db --col ...
- mysql 导出所有函数_mysql 导入导出 包括函数或者存储过程
1.mysql导出整个数据库 mysqldump -h hostname -u username -p databasename > backupfile.sql 如果root用户没用密码可以 ...
最新文章
- 入门一班 20181024 io监控free ps 网络状态 抓包
- linux ctime 时间戳,Linux时间戳atime ctime mtime区别及相关命令
- Android帧缓冲区(Frame Buffer)硬件抽象层(HAL)模块Gralloc的实现原理分析(2)...
- MongoDB语法学习
- 流媒体视频质量评价(单刺激连续质量评价方法)
- 使用group by rollup和group by cube后的辅助函数
- oracle 输出入参怎么抛异常,oracle 存储过程入参 pids , varchar2 类型,where in 条件 会抛异常...
- Mysql的可视化工具整理
- com.mysql.jdbc.MysqlDataTruncation 报错
- U盘无法与计算机连接,连接电脑后为什么u盘不显示 连接电脑后u盘不显示原因【图文】...
- Photoshop设计精讲精练(读书笔记)
- 安装Linux虚拟机
- Java小农养成记第二十三天
- 性能测试指标及常用的监控工具
- AngularJS学习笔记1
- 一键部署开箱即用的代理服务器,解决 SAP UI5 应用开发过程中访问远端 OData 服务的跨域问题试读版
- 红外热成像仪测温模块简要介绍说明
- 博士年薪22-40万,重点大学博士给100㎡产权房,安家费30-40万,省会城市高校 | 留言送书...
- 怎么使用视频做动图?如何快速将视频转成gif图
- vue 中使用 marked + highlight.js 代码高亮
热门文章
- 大剑无锋之Java的深浅拷贝解释一下!
- 使用cloudera manager安装Hue服务【详细步骤】
- leetcode 767. Reorganize String | 767. 重构字符串(贪心+分桶+26路归并)
- leetcode 236. Lowest Common Ancestor of a Binary Tree | 236. 二叉树的最近公共祖先(Java)
- Redis实战(四):redis的消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU
- dart系列之:安全看我,dart中的安全特性null safety
- 在java中使用JMH(Java Microbenchmark Harness)做性能测试
- Windows Azure Storage论文解读
- python2.7与python3的区别_Python 2.7 与Python3的区别
- C++ string 使用详解(含C++20新特性)