数据同步工具—DataX部署使用
DataX 部署使用
上一节我们介绍了DataX 的架构原理,它的优缺点,这一节我们看一下DataX的使用
1 安装部署
环境要求
- JDK(1.8以上,推荐1.8)
- Python(推荐Python2.6.X)
- Apache Maven 3.x (Compile DataX)
下载可执行文件
直接下载DataX工具包:DataX下载地址
下载后解压至本地某个目录,进入bin目录,即可运行同步作业:
$ cd {YOUR_DATAX_HOME}/bin
$ python datax.py {YOUR_JOB.json}
下面是DataX 的目录结构
源码编译
下载DataX源码,自己编译:DataX源码
(1)、下载DataX源码:
git clone git@github.com:alibaba/DataX.git
(2)、通过maven打包:
数据同步工具—DataX部署使用相关推荐
- 高效数据同步工具DataX的使用
一.DataX 简介 DataX 是阿里云 DataWorks 数据集成 的开源版本,主要就是用于实现数据间的离线同步. DataX 致力于实现包括关系型数据库(MySQL.Oracle 等).HDF ...
- 开源oracle同步图形工具,阿里开源数据同步工具--DataX
阿里开源数据同步工具--DataX 是啥?: 是异构数据源离线同步工具 能干啥?: 能够将MySQL sqlServer Oracle Hive HBase FTP 之间进行稳定高效的数据同步. 设 ...
- 数据同步工具—DataX 初识
DataX 初识 DataX 是阿里云 DataWorks数据集成的开源版本,在阿里巴巴集团内被广泛使用的离线数据同步工具/平台.DataX 实现了包括 MySQL.Oracle.OceanBase. ...
- 异构数据库数据同步工具DataX教程,安装、数据同步、java执行
前言 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlServer.Postgre.HDFS.Hive.ADS.HBase.TableStor ...
- 数据同步工具—DataX—Web部署使用
DataX-Web 部署使用 Datax 的使用过程中,我们会发现,不管是利用 java 调用以及 python 命令启动的方式,我们都无法进行任务的管理,并且每次执行任务前,我们 都需要编辑 Jso ...
- DataX离线数据同步工具/平台
DataX离线数据同步工具/平台 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.SQL Server.Oracle.PostgreSQL.HDFS.Hive.O ...
- 数据同步工具Sqoop
大数据Hadoop之--数据同步工具Sqoop Sqoop基本原理及常用方法 1 概述 Apache Sqoop(SQL-to-Hadoop)项目旨在协助RDBMS(Relational Databa ...
- 【硬刚大数据】大数据同步工具之FlinkCDC/Canal/Debezium对比
欢迎关注博客主页:微信搜:import_bigdata,大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞.收藏.留言 ,欢迎留言交流! 本文由[王知无]原创,首发 ...
- ETL的数据同步工具调研(持续更新中)
扯白了,数据同步工具就是"导数据 "的 名称 社区响应 国内使用情况(以前程无忧为参考) SQOOP 更新缓慢,对于hbase2.x以上版本使用时需要老版本的jar包 9页 Dat ...
最新文章
- java统计_java统计当前在线数
- python多线程实现同步的方式_深入解析Python中的线程同步方法
- Memcache 分布式高可用集群介绍
- 编译成功,但引用之后报错undefined symbol: _ZN10tensorflow7strings6StrCatERKNS0_8AlphaNumE
- 二维分类教案_屈老师中班数学教案《有趣的笔》
- 如何将视频网站的视频下载为mp4格式
- 站长福音:网站实时监控
- 通过亚马逊云科技实现基于 Restful API 的 CloudFront Distribution 复制/克隆功能
- Python股票数据爬虫解读
- Hibernate 马士兵 学习笔记
- 区块链学习笔记23——ETH反思
- Springboot——mybatis配置
- 罗切斯特大学将研究未来执行军事任务的量子计算
- <学习笔记> VBA_Line list_01
- ORACLE日期函数大全!
- 多指标面板数据因子分析
- android 热点 连接电脑上网,电脑没有网络,用手机数据线,就能让电脑快速上网...
- 3D点云之PCL学习之路(二)
- plantuml样式_自定义PlantUML和C4 Model样式
- Android 12 应用兼容性适配指导