datax 高级_GitHub - HeyTool/DataX
DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
Features
DataX本身作为数据同步框架,将不同数据源的同步抽象为从源头数据源读取数据的Reader插件,以及向目标端写入数据的Writer插件,理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。
DataX详细介绍
Quick Start
Support Data Channels
DataX目前已经有了比较全面的插件体系,主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入,目前支持数据如下图,详情请点击:DataX数据源参考指南
类型
数据源
Reader(读)
Writer(写)
文档
RDBMS 关系型数据库
MySQL
√
√
Oracle
√
√
SQLServer
√
√
PostgreSQL
√
√
DRDS
√
√
通用RDBMS(支持所有关系型数据库)
√
√
阿里云数仓数据存储
ODPS
√
√
ADS
√
OSS
√
√
OCS
√
√
NoSQL数据存储
OTS
√
√
Hbase0.94
√
√
Hbase1.1
√
√
Phoenix4.x
√
√
Phoenix5.x
√
√
MongoDB
√
√
Hive
√
√
Cassandra
√
√
无结构化数据存储
TxtFile
√
√
FTP
√
√
HDFS
√
√
Elasticsearch
√
时间序列数据库
OpenTSDB
√
TSDB
√
√
我要开发新的插件
项目成员
核心Contributions: 言柏 、枕水、秋奇、青砾、一斅、云时
感谢天烬、光戈、祁然、巴真、静行对DataX做出的贡献。
License
This software is free to use under the Apache License Apache license.
请及时提出issue给我们。请前往:DataxIssue
开源版DataX企业用户
长期招聘 联系邮箱:datax@alibabacloud.com
【JAVA开发职位】
职位名称:JAVA资深开发工程师/专家/高级专家
工作年限 : 2年以上
学历要求 : 本科(如果能力靠谱,这些都不是条件)
期望层级 : P6/P7/P8
岗位描述:
1. 负责阿里云大数据平台(数加)的开发设计。
2. 负责面向政企客户的大数据相关产品开发;
3. 利用大规模机器学习算法挖掘数据之间的联系,探索数据挖掘技术在实际场景中的产品应用 ;
4. 一站式大数据开发平台
5. 大数据任务调度引擎
6. 任务执行引擎
7. 任务监控告警
8. 海量异构数据同步
岗位要求:
1. 拥有3年以上JAVA Web开发经验;
2. 熟悉Java的基础技术体系。包括JVM、类装载、线程、并发、IO资源管理、网络;
3. 熟练使用常用Java技术框架、对新技术框架有敏锐感知能力;深刻理解面向对象、设计原则、封装抽象;
4. 熟悉HTML/HTML5和JavaScript;熟悉SQL语言;
5. 执行力强,具有优秀的团队合作精神、敬业精神;
6. 深刻理解设计模式及应用场景者加分;
7. 具有较强的问题分析和处理能力、比较强的动手能力,对技术有强烈追求者优先考虑;
8. 对高并发、高稳定可用性、高性能、大数据处理有过实际项目及产品经验者优先考虑;
9. 有大数据产品、云产品、中间件技术解决方案者优先考虑。
钉钉用户群:
DataX开源用户交流群
DataX开源用户交流群2
DataX开源用户交流群3
DataX开源用户交流群4
DataX开源用户交流群5
datax 高级_GitHub - HeyTool/DataX相关推荐
- datax 高级_GitHub - xhhx55/DataX
DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL.Oracle.SqlServer.Postgre.HDFS.Hive.ADS.HBase.TableS ...
- datax 高级_Datax3.0使用说明
一.datax3.0介绍 1.DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳 ...
- 大数据项目之电商数仓DataX、DataX简介、DataX支持的数据源、DataX架构原理、DataX部署
文章目录 1. DataX简介 1.1 DataX概述 1.2 DataX支持的数据源 2. DataX架构原理 2.1 DataX设计理念 2.2 DataX框架设计 2.3 DataX运行流程 2 ...
- 大数据技术之DataX (一)DataX插件开发
文章目录 一.背景 二.基于java的本地测试datax 2.1 github上下载datax的源代码 2.2 datax代码导入idea 三.docker安装南大通用数据库GBase和GBase 8 ...
- datax 高级_DATAx上海峰会-百格活动
DATAx上海峰会由英国领先的会议主办方Innovation Enterprise倾力打造.前身为大数据与分析创新峰会,该峰会已在欧美的多个国家和地区成功举办近10年.今年,通过重新对品牌的思考和定义 ...
- datax 高级_Datax-数据抽取同步利器
一 Datax概览 DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL.Oracle等).HDFS.Hive.ODPS.HBase.FTP等各种异构数据源之间稳定高效的数 ...
- datax 高级_datax日志
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- datax的启动文体datax.py解析
datax生产环境启动运行是通过datax.py启动的,如下: $ python datax.py job/{YOUR_JOB.json} 这篇文章就是打算解读下datax.py这个源码. 我们从ma ...
- DataX Transformer从入口到加载的源码分析及UDF扩展与使用
DataX GitHub DataX Transformer 目录 1 前言 2 需求说明 3 解决方案分析 4 解密算法 5 Hive UDF 5.1 测试数据 5.2 新建 Maven 项目 5. ...
最新文章
- 设置腾讯云linux服务器中 MySQL 允许远程访问
- 12岁上中科大,17岁哈佛博士,31岁成哈佛教授,学神认识一下?
- 什么是集电极开路(OC)?什么是漏极开路(OD)?为什么必须要在OC门输出的IO口上加上拉电阻?
- 【源码】基于粒子群算法的MPPT跟踪
- python 回归方程及回归系数的显著性检验_回归方程及回归系数的显著性检验演示教学...
- 系统架构设计师-考试大纲
- PDP附着和PDP激活的区别
- 单件模式(Singleton Pattern
- 使用regexp_extract、regexp_replace函数过滤特殊字符时,不同的执行情境下(hive -e;hive -f),正则表达式的内容有变化
- ITEXT处理pdf详解
- 如何使用AutoCAD Map 3D Object Data读模块
- 静态URL和动态URL有什么区别呢?
- CCF系列题解--2013年12月第四题 有趣的数字
- 苹果xr如何关机_iPhone X强制关机集合
- Python 的异步 IO:Aiohttp Client 代码分析
- 盛邦安全创始人权晓文入选IDC中国CSO名人堂十大人物
- cpu、内存、硬盘的关系
- 客户至上 服务至极 ——优维服务流程标准化体系
- PID介绍 PID调参 串级PID
- 测试显示屏用什么软件测试,怎么对显示器进行测试
热门文章
- 95-136-043-源码-Operator-LegacyKeyedCoProcessOperator
- Spring:自动装配模式
- linux句柄过大导致无法登陆
- jsp的include两种使用方法
- mysql 开发包 安装_mysql的zip包的安装方法
- 小妙招:如何防止你的 jar 包被反编译?
- SpringBoot默认日志配置输出级别
- 干掉Dubbo !这个后端开发框架就是王者!
- lisp语言100以内勾股数_三个视频搞定:函数的最值、对勾函数、分式函数性质与图像、分段函数最值...
- MySQL8 全部类型