DataX 安装和使用

阿里云介绍：

1. 下载安装包。作为阿里主要的数据传输工具Datax，阿里已经完全开源到github上面了。下载地址（https://github.com/alibaba/DataX）。

2. 安装环境：

JDK(1.6以上，推荐1.6)
Python(推荐Python2.6.X)
Apache Maven 3.x (Compile DataX)

3. 解压到工作目录。/usr/local/datax

4. 编写源和目标表的json文件

{"job": {"setting": {"speed": {"channel": 3},"errorLimit": {"record": 0,"percentage": 0.02}},"content": [{"reader": {"name": "mysqlreader","parameter": {"writeMode": "insert","username": "root","password": "******","column": ["rec_id","column","etl_time"],"connection": [{"table": ["source_table"],"jdbcUrl": ["jdbc:mysql://11.278.80.200:34001/DW"]}]}},"writer": {"name": "mysqlwriter","parameter": {"username": "root","password": "*****","column": ["rec_id","column","etl_time"],"connection": [{"jdbcUrl": "jdbc:mysql://10.208.83.202:30001/DW","table": ["target_table"]}],              }}}],"setting": {"speed": {"channel": 1},"errorLimit": {         "record": 10}}}
}

5. 运行脚本

python /home/admin/datax3/bin/datax.py ./json/table_1.json

转载于:https://www.cnblogs.com/Jesse-Li/p/9983137.html

DataX 安装和使用相关推荐

大数据DataX（三）：DataX安装及使用
文章目录 DataX安装及使用一.安装及使用二.入门案例
DataX安装部署-Reader插件二次开发
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlServer.Postgre.HDFS.Hive.ADS.HBase.TableS ...
Datax安装及使用文档
Datax安装及使用文档 1.Datax介绍 DataX是一个在异构的数据库/文件系统之间高速交换数据的工具,实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem)之间的 ...
datax安装及 springboot整合 datax
换了新工作,Java出身的我,弄点大数据的活. datax安装环境要求 1.jdk1.8 2.python 源码地址:https://github.com/alibaba/DataX 这里我下载的是 ...
datax的工具配置oracle,完全小白级DataX安装配置过程详解
apt-get install openjdk-7-jdk Linux小白,创建和删除文件夹都现问度娘学会的小白,最近被勒令研究一下DataX,当时一脸蒙X,根本木有听过吖,但是领导吩咐了就得办吖,问 ...
datax安装记录备忘
1.下载datax 2.上传datax至数据库服务器 3.解压: tar -zxvf datax.tar.gz -C /home/soft/ 4.查看java,python 环境 Python –V ...
datax安装+配置+使用文档
1 DataX离线同步工具DataX3.0介绍 DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlServer.Postgre.HDFS.Hiv ...
datax 模板_dataX3.0安装使用手册.docx
DataX3.0使用手册目录一.dataX概述11dataX作用12DataX3.0框架设计23DataX3.0插件体系2二.dataX安装31创建用户组及用户32环境变量配置43安装python4三 ...
datax 持续数据同步_Datax 数据同步
官方Hello入门例子{ "job": { "content": [ { "reader": { "name": &qu ...

DataX 安装和使用

DataX 安装和使用相关推荐

最新文章

热门文章