DataX性能优化点

性能优化示例

DataX为了安全起见速率限制。

{"core":{ #全局属性"transport":{"channel":{"speed":{"record":-1, ## 对数据条数不做限制"byte":-1, ## 对字节数不做现在"batchSize":2048 ## 批提交}}}},"job": {"setting": {  #对单个job有效"speed": {"channel": 6,  #并发量"record":-1,   ## 对数据条数不做限制"byte":-1      ## 对字节数不做现在}},"content": [{"reader": {"name": "mysqlreader","parameter": {"username": "root","password": "root","column": ["id","a"],"splitPk": "id", # 注意点  配置这个可实现单表多task，以及注意大小写"connection": [{"table": ["test","test_1","test_2"],"jdbcUrl": ["jdbc:mysql://localhost:3306/ws?useServerPrepStmts=true&cachePrepStmts=true"]}]}},"writer": {"name": "mysqlwriter","parameter": {"writeMode": "insert","username": "root","password": "root","column": ["id","a"],"session": ["set session sql_mode='ANSI'"],"connection": [{"jdbcUrl": "jdbc:mysql://localhost:3306/ws1?useUnicode=true&characterEncoding=utf8","table": ["test"]}]}}}]}
}

DataX性能优化点相关推荐

kali2020进入单模式_蚂蚁集团技术专家山丘：性能优化的常见模式及趋势
陈显铭(山丘) 读完需要 6分钟速读仅需 2 分钟陈显铭,花名山丘,就职于蚂蚁集团,对分布式应用架构.服务化.性能优化等有深入的理解.参与支付宝支付链路核心系统,设计.调优应用系统关键能力, 高效 ...
MegEngine推理性能优化
MegEngine推理性能优化 MegEngine「训练推理一体化」的独特范式,通过静态图优化保证模型精度与训练时一致,无缝导入推理侧,再借助工业验证的高效卷积优化技术,打造深度学习推理侧极致加速方案 ...
asp.net程序性能优化的七个方面
asp.net程序性能优化的七个方面一.数据库操作 1.用完马上关闭数据库连接访问数据库资源需要创建连接.打开连接和关闭连接几个操作.这些过程需要多次与数据库交换信息以通过身份验证,比较耗费服务器 ...
java criteria限制条数_java架构—Oracle SQL性能优化
(1) 选择最有效率的表名顺序(只在基于规则的优化器中有效): ORACLE的解析器按照从右到左的顺序处理FROM子句中的表名,FROM子句中写在最后的表(基础表 driving table)将被最先 ...
ab测试nginx Nginx性能优化
转自:https://www.cnblogs.com/nulige/p/9369700.html 1.性能优化概述在做性能优化前, 我们需要对如下进行考虑 1.当前系统结构瓶颈观察指标压力测试 ...
RHEL/CentOS通用性能优化、安全配置参考
RHEL/CentOS通用性能优化.安全配置参考本文的配置参数是笔者在实际生产环境中反复实践总结的结果,完全适用绝大多数通用的高负载.安全性要求的网络服务器环境.故可以放心使用. 若有异议,欢迎联系 ...
Android开发——布局性能优化的一些技巧（一）
0. 前言上一篇我们分析了为什么LinearLayout会比RelativeLayout性能更高,意义在于分析了这两种布局的实现源码,算是对一个小结论的证明过程,但是对布局性能的优化效果,对这两种布 ...
Web性能优化实践——应用层性能优化
随着公司项目的进一步推广,用户数量的增加,已经面临着单台服务器不能负载的问题. 这次的优化由于时间关系主要分两步走,首先优化应用层代码以提高单台服务器的负载和吞吐率.之后再进行分表,引入队列.MemC ...
嵌入式linux内存使用和性能优化
这本书有两个关切点:系统内存(用户层)和性能优化. 这本书和Brendan Gregg的<Systems Performance>相比,无论是技术层次还是更高的理论都有较大差距.但是这不影 ...

DataX性能优化点

性能优化示例

DataX性能优化点相关推荐

最新文章

热门文章