datax 模板_dataX3.0安装使用手册.docx

DataX3.0使用手册目录一、dataX概述11dataX作用12DataX3.0框架设计23DataX3.0插件体系2二、dataX安装31创建用户组及用户32环境变量配置43安装python4三、dataX使用41生成配置文件模板42配置定时任务73常见问题及处理8四、dataX插件开发及安装81.Reader插件开发82.Writter插件开发93.插件部署10dataX概述dataX作用DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。DataX3.0框架设计DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。Reader：Reader为数据采集模块，负责采集数据源的数据，将数据发送给Framework。Writer： Writer为数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。Framework：Framework用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。DataX3.0插件体系类型数据源Reader(读)Writer(写)RDBMS 关系型数据库MySQL√√?Oracle√√?SQL Server√√?PostgreSQL√√?达梦√√?通用RDBMS(支持所有关系型数据库)√√阿里云数仓数据存储MaxCompute(原ODPS)√√?Analytic DB(原ADS)?√?OSS√√?云数据库Memcache版(原OCS)√√Hive√NoSQL数据存储Table Store(原OTS)√√?Hbase0.94√√?Hbase1.1√√?MongoDB√√无结构化数据存储TxtFile√√JsonFile√?FTP√√?HDFS√√dataX安装创建用户组及用户root@hmaster-hdfs:/home/ubuntu# groupadd dataxroot@hmaster-hdfs:/home/ubuntu# useradd -g datax datax -m -d /home/dataxroot@hmaster-hdfs:/home/ubuntu# passwd dataxEnter new UNIX password: Retype new UNIX password: passwd: password updated successfullyroot@hmaster-hdfs:/home/ubuntu# usermod -G adm -a dataxroot@hmaster-hdfs:/home/ubuntu# su - dataxdatax@hmaster-hdfs:~$ iduid=1004(datax) gid=1000(ubuntu) groups=1000(ubuntu),4(adm),1002(datax)环境变量配置export JAVA_HOME=/usr/java/jdk1.7.0_80export JRE_HOME=${JAVA_HOME}/jreexport CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/libexport PATH=$JAVA_HOME/binexport LANG=zh_CN.UTF-8安装pythondatax@hmaster-hdfs:/home/ubuntu$ pythonPython 2.7.6 (default, Jun 22 2015, 17:58:13) [GCC 4.8.2] on linux2Type "help", "copyright", "credits" or "license" for more information.dataX使用生成配置文件模板命令：bin/python datax.py -r {YOUR_READER} -w {YOUR_WRITER}案例1：mysqlreader-> mysqlwriterdatax@hmaster-hdfs:~/datax3/datax/bin$ python datax.py -r mysqlreader -w mysqlwriterDataX (DATAX-OPENSOURCE-1

datax 模板_dataX3.0安装使用手册.docx相关推荐

l麒麟安装oracle,中标麒麟5.8x64下64bitOracle11gR2安装配置手册.docx
中标麒麟5.8x64下64bitOracle11gR2安装配置手册.docx 中标麒麟V5.8 X64下64位Oracle 11g 安装配置手册安装准备中标麒麟V5.8 x64安装文件 linux ...
GAppProxy-2.0.0安装使用手册¶
GAppProxy-2.0.0安装使用手册 GAppProxy基于Google App Engine,所以首先需要准备一个google账号(即gmail账号). 申请GAE空间并创建新的的app_id ...
GAppProxy-2.0.0安装使用手册
GAppProxy-2.0.0安装使用手册 GAppProxy基于Google App Engine,所以首先需要准备一个google账号(即gmail账号). 申请GAE空间并创建新的的app_id ...
datax 高级_Datax3.0使用说明
一.datax3.0介绍 1.DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳 ...
hs8546v虚拟服务器端口,移动光猫(hs8546v)语音+上网安装操作手册.docx
移动光猫(hs8546v)语音上网安装操作手册登陆Wed页面请按下面步骤登陆HS8546V的Wed界面.(用户名为:CMCCAdmin,出厂默认密码为:aDm8H%MdA) 步骤1 设置个人计算机的 ...
Dynamic CRM9.0 环境安装部署手册步骤和遇到的一些问题解决方案（包含ADFS部署）
Dynamic CRM9.0 环境安装部署手册 Dynamic 365和ADFS配置安装过程踩了一些坑,拿出来和大家记录分享一下. 目录 Dynamic CRM9.0 环境安装部署手册一.Activ ...
Postgresql 12.2 + PostGIS 3.0.1 安装部署手册
Postgresql 12.2 + PostGIS 3.0.1 安装部署手册文章目录 Postgresql 12.2 + PostGIS 3.0.1 安装部署手册环境说明注意事项 Postgre ...
南大通用目录服务系统 GBase 8d v6.0 安装手册（Windows 版）
1. GBase 8d 简介南大通用目录服务系统GBase 8d v6.0,是天津南开创元目录服务系统的升级版,包括目录服务器GBase 8d v6.0 Server.客户端 GBase 8d v6 ...
Win7操作系统下安装Visual C++6.0详细操作手册（亲验有效）
Win7操作系统下安装Visual C++6.0详细操作手册(亲验有效) 一.所需软件及下载地址: Visual C++6.0(win7适用版) https://download.csdn.net/d ...

datax 模板_dataX3.0安装使用手册.docx

datax 模板_dataX3.0安装使用手册.docx相关推荐

最新文章

热门文章