internetreadfile读取数据长度为0_Datax3.0的安装和基本使用

今天安装了下datax,正好有一些心得,感觉可以记录下来,避免下一次在踩坑。

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、OTS、ODPS 等各种异构数据源之间高效的数据同步功能。

DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。

简单点来说的话：就是数据的转移,可以从一个库快速转移到另一个库中,并且是离线的。

首先先说安装datax:

先去下载:

DataX下载地址

然后放入自己的服务器中,

tar -xvf datax.tar.gz(解压)

chmod -R 775 ./datax（给这个文件夹增加最高权限((读、写、执行)）

python datax.py ../job/job.json(测试下安装成功没有)

成功

出现这个,蛋疼(内存不足)。。。。自己解决吧！

然后编写脚本就可以测试了。

模板： python datax.py -r {读的name} -w {写的name},会出现模板然后你可以根据模板更改。

datax 脚本的例子:

    {"job": {"content": [{"reader": {"name": "mysqlreader", "parameter": {"column": ["id","role","create_time","update_time","version"], "connection": [{"jdbcUrl": ["jdbc:mysql://********:3306/test"], "table": ["tb_role"]}], "username": "root","password": "****" }}, "writer": {"name": "mysqlwriter", "parameter": {"column": ["id","role","create_time","update_time","version"],  "connection": [{"jdbcUrl": ["jdbc:mysql://******:3306/test1"], "table": ["tb_role_test"]}], "username": "root","password": "****" }}}], "setting": {"speed": {"channel": "1"}}}
}

其中我说几个比较重要的

name: 表示哪一个数据库的写或者读,在plugin文件夹下面

column:需要读的字段或写的字段

connection:连接的url,注意reader中的url是数组,writer中的url是String类型的,

table：表名

username：数据库的名字

password：数据库的密码注意数据库的名字和密码不要写反了。

还有最后一个注意事项：

注意看你的数据库的版本,datax中默认的驱动是mysql-connector-java-5.1.34.jar,

如果你的版本是8.0的,记得新增加一个8.0的驱动

路径:/test/datax/plugin/writer/mysqlwriter/libs(这是我的路径,你的把test去掉就好了应该可以找到的)

如果不知何怎么查询版本的,select version();就可以查询了(还有其他的方法)。

新增的8.0的驱动

运行：python datax.py ./mysql2mysql.json(路径和脚本名字记得改。如果和上面出现的测试成功差不多,就说明成功了。)

internetreadfile读取数据长度为0_Datax3.0的安装和基本使用相关推荐

internetreadfile读取数据长度为0_Go发起HTTP2.0请求流程分析(后篇)——标头压缩
阅读建议这是HTTP2.0系列的最后一篇,笔者推荐阅读顺序如下: Go中的HTTP请求之--HTTP1.1请求流程分析 Go发起HTTP2.0请求流程分析(前篇) Go发起HTTP2.0请求流程分析 ...
internetreadfile读取数据长度为0_【完结】TensorFlow2.0 快速上手手册
大家好,这是专栏<TensorFlow2.0>的第五篇文章,我们对专栏<TensorFlow2.0>进行一个总结. 我们知道全新的TensorFlow2.0 Alpha已经于2 ...
internetreadfile读取数据长度为0_Hadoop 读取数据
MapReduce - 读取数据通过InputFormat决定读取的数据的类型,然后拆分成一个个InputSplit,每个InputSplit对应一个Map处理,RecordReader读取Inpu ...
internetreadfile读取数据长度为0_YOLOV3的TensorFlow2.0实现，支持在自己的数据集上训练...
GitHub链接: calmisential/YOLOv3_TensorFlow2github.com 我主要参考了yolov3的一个keras实现版本: qqwweee/keras-yolo3g ...
netty获取玩家chanel_netty源码解析(4.0)-14 Channel NIO实现:读取数据
本章分析Nio Channel的数据读取功能的实现. Channel读取数据需要Channel和ChannelHandler配合使用,netty设计数据读取功能包括三个要素:Channel, Even ...
read函数读取指定长度的数据
read方法: 1. 不定长参数,表示读取文件中的所有数据 2. 指定数据长度,读取指定长度的数据 2.1 如果文件的操作模式是r模式,read(5) 表示这一次最多读取5个字符串长度的数据 ...
Android 蓝牙4.0（BLE）开发实现对蓝牙的写入数据和读取数据
由于最近学校组织了一个移动APP(安卓)设计大赛,自己也学习安卓有一段时间了,就跟同学商量一起去参加试试,一拍即合,然后我们就开始想idea,因为最近可穿戴设备比较火,我们也就想试试.经过商量,我负责 ...
python提取excel前十行生成图_Python读取Excel数据生成图表 v2.0
Python读取Excel数据生成图表 v2.0 一.需求背景自己一直在做一个周基金定投模拟,每周需要添加一行数据,并生成图表.以前一直是用Excel实现的.但数据行多后,图表大小调整总是不太方便, ...
python读excel表格数据绘制图表_Python读取Excel数据生成图表 v2.0
原博文 2020-06-15 15:09 − ## Python读取Excel数据生成图表 v2.0 ## 一.需求背景自己一直在做一个周基金定投模拟,每周需要添加一行数据,并生成图表.以前一直是用 ...

internetreadfile读取数据长度为0_Datax3.0的安装和基本使用

internetreadfile读取数据长度为0_Datax3.0的安装和基本使用相关推荐

最新文章

热门文章