mysql 批量数据插入很慢（kettle 输入输出组件）性能优化办法

2024-06-06 00:05:00

背景
最近在做数仓重构项目，遇到一些性能瓶颈，这里记录一下解决办法。

随着业务数据每天都在增加，几年前开发的etl任务开始跑不动了。大表一般是通过增量的方式插入，但是修复bug 或者每月/季度跑一次的情况需要跑全量，原来的etl任务可能需要跑几个小时，甚至出现超时失败的情况。因此需要优化，下面介绍一些优化方法。（项目是用kettle做的，如果使用其他开发工具，也可以参考下面的思路）

1、配置数据库连接参数
2、去掉临时表 DDL的primary key
3、调整输出组件的数量
4、暂时关闭索引

优化方法

1、配置数据库连接参数
defaultFetchSize：5000
useCursorFetch : true 相当于告诉数据库，分批读取数据，每次打包5000条回来
rewriteBatchedStatements : true 插入数据的时候，批量插入
useServerPrepStmts : true 启动预编译
useCompression : true 客户端跟服务器之间的数据压缩传输

以kettle为例，配置方法如下：

测试结果：
配置参数前：
配置参数后：

性能提升了80倍！

2、去掉DDL中的 primary key
在 etl 的过程中会用中间表来存放一些临时数据，这些中间表可以去掉 ddl中的 primary key，通过逻辑来保证唯一性，只在结果表中使用primary key。primary key会检查相关字段是否重复，从而降低插入速度。（下面的案例读写字段多，且表输入sql很复杂，所以插入很慢）

测试结果如下：

去掉目标表primary key 后

性能提升了20倍！

3、调整输出组件数量
如果输出组件还是慢，可以复制多个输出。具体操作：输出组件右键-改变开始复制的数量

4、暂时关闭索引
维护索引数据需要大量额外的开销，因此全量数据插入前，可以先关掉索引，插入完毕再打开索引。
ALTER TABLE table_name DISABLE KEYS;
ALTER TABLE table_name ENABLE KEYS;
效果对比如下：

性能提高了4倍！

mysql 批量数据插入很慢（kettle 输入输出组件）性能优化办法相关推荐

excel 复制数据 sql server 粘贴_一个Excel妙招，一个SQL技巧，解决批量数据插入问题
#Excel技巧# #数据库# #MySQL# 业务背景不知道您在工作中有没有遇到过这样几种情况: 业务定期给你一批数据结构相同的名单或者数据,要求你插入到库里并进行处理. 机器学习指标加工时,一个 ...
mysql my.ini位置错误_解决mysql导入数据量很大导致失败及查找my.ini 位置（my.ini）在哪...
数据库数据量很大的数据库导入到本地时,会等很久,然而等很久之后还是显示失败: 这是就要看看自己本地的没mysql是否设置了超时等待,如果报相关time_out这些,可以把mysql.ini尾部添加ma ...
c mysql 插入大量数据_C++操作MySQL大量数据插入效率低下的解决方法
通常来说C++操作MySQL的时候,往Mysql中插入10000条简单数据,速度非常缓慢,居然要5分钟左右, 而打开事务的话,一秒不到就搞定了! 具体实现代码如下: #include #include ...
Mysql字符集数据插入问题（Incorrect string value ‘xE2x80xA2xE6xBCxAB...‘ for column ‘rname‘ at row 1）
Mysql字符集数据插入问题(Incorrect string value: '\xE2\x80\xA2\xE6\xBC\xAB-' for column 'rname' at row 1) 一.问题 ...
django框架——sweetalert前端插件、序列化组件、批量数据操作、分页器、Forms组件（上）
系列文章目录第一章 django安装与介绍第二章 django基础使用第三章路由层第四章虚拟环境.django版本区别.视图层第五章模板层第六章模型层(上) 第七章模型层(下) ...
Kettle使用_24 Kettle输入输出组件汇总
Kettle使用_24 kettle输入输出组件汇总需求:通过Kettle实现文本文件.固定宽度文件输入.表输入.XML数据输入.JSON数据输入.表输入等输入和相应的输出. 解决方法:通过文本文件 ...
MySQL高性能实战——part3——分析SQL,定位慢SQL(性能优化的前提)
前言: 此文借鉴<MySQL高性能>一书,还有MySQL官方文档,笔者将通过自身的一些实战经验和阅读习惯对本书进行一个总结,整理,归纳出企业级开发中常用的优化案列和部分概念!! 官方文 ...
干货 | 数据思维在携程商旅页面性能优化中的一次实践
作者简介 Graviton,携程研发总监,专注数据思维驱动团队效能与技术发展. 本文旨在通过一个实际的例子,说明如何通过数据思维来解决研发工作中的一些棘手问题.通过此文,希望能够清楚地阐述我对下面几个 ...
mysql大量数据插入探讨（量变引起质变）
2019独角兽企业重金招聘Python工程师标准>>> 分类:见Visio图关于大量数据导入是应注意以下几点: 分批导入,导入一批后最后提交(commit),可以使用jdbc的(e ...

最新文章

热门文章