每秒570000的写入,MySQL如何实现?
来源:吴炳锡
yq.aliyun.com/articles/278034
MySQL数据库如何实现每秒570000的写入,通过本文了解下。
一、需求
一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用。
二、实现再分析
对于单表20亿, 在MySQL运维,说真的这块目前涉及得比较少,也基本没什么经验,但对于InnoDB单表Insert 如果内存大于数据情况下,可以维持在10万-15万行写入。但很多时间我们接受的项目还是数据超过内存的。这里使用XeLabs TokuDB做一个测试。
三、XeLabs TokuDB 介绍
项目地址:
https://github.com/XeLabs/tokudb
相对官方TokuDB的优化:
内置了jemalloc 内存分配
引入更多的内置的TokuDB性能指标
支持Xtrabackup备份
引入ZSTD压缩算法
支持TokuDB的binlog_group_commit特性
四、测试表
TokuDB核心配置:
loose_tokudb_cache_size=4G
loose_tokudb_directio=ON
loose_tokudb_fsync_log_period=1000
tokudb_commit_sync=0
表结构
CREATE TABLE `user_summary` (`user_id` bigint(20) unsigned NOT NULL COMMENT '用户id/手机号',`weight` varchar(5) DEFAULT NULL COMMENT '和码体重(KG)',`level` varchar(20) DEFAULT NULL COMMENT '重量级',`beat_rate` varchar(12) DEFAULT NULL COMMENT '击败率',`level_num` int(10) DEFAULT NULL COMMENT '同吨位人数',UNIQUE KEY `u_user_id` (`user_id`)
) ENGINE=TokuDB DEFAULT CHARSET=utf8
利用load data写入数据
root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt'
INTO TABLE user_summary(user_id, weight, level, beat_rate,level_num);
Query OK, 200000000 rows affected (5 min 48.30 sec)
Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0
计算一下每秒写入速度:
root@localhost [zst]>select 200000000/(5*60+48.30);
+------------------------+
| 200000000/(5*60+48.30) |
+------------------------+
| 574217.6285 |
+------------------------+
1 row in set (0.00 sec)
文件大小:
-rw-r--r-- 1 root root 8.5G 11月 25 20:05 134-136.txt
-rw-r----- 1 mysql mysql 8.6K 11月 25 20:44 user_summary.frm
-rw-r----- 1 mysql mysql 3.5G 11月 25 20:51 user_summary_main_229_1_1d_B_0.tokudb
实际文件8.5G,写入TokuDB大小3.5G,只是接近于一半多点的压缩量。对于20亿数据写入,实际测试在58分钟多点就可以完成。可以满足实际需求,另外对于磁盘IO比较好的机器(SSD类盘,云上的云盘),如果内存和数据差不多情况,这量级数据量测试在Innodb里需要添加自增列,可以在3个小多一点完成。从最佳实战上来看,Innodb和TokuDB都写入同样的数据,InnoDB需要花大概是TokuDB3-4倍时间。文件大小区别,同样20亿数据:
-rw-r----- 1 mysql mysql 35G 11月 25 23:29 user2_main_26a_1_1d_B_0.tokudb
-rw-r----- 1 mysql mysql 176G 11月 26 03:32 user5.ibd
文件大小在5倍大小的区别。
测试结论:
利用TokuDB在某云环境中8核8G内存,500G高速云盘环境,多次测试可以轻松实现57万每秒的写入量。
另外测试几种场景也供大家参考:如果在TokuDB中使用带自增的主键,主键无值让MySQL内部产生写入速度,下降比较明显,同样写入2亿数据,带有自建主键:
root@localhost [zst]>CREATE TABLE `user3` (-> `user_id` bigint(20) unsigned NOT NULL COMMENT '用户id/手机号',-> `weight` varchar(5) DEFAULT NULL COMMENT '和码体重(KG)',-> `level` varchar(20) DEFAULT NULL COMMENT '重量级',-> `beat_rate` varchar(12) DEFAULT NULL COMMENT '击败率',-> `level_num` int(10) DEFAULT NULL COMMENT '同吨位人数',-> `id` bigint(20) NOT NULL AUTO_INCREMENT,-> PRIMARY KEY (`id`),-> UNIQUE KEY `u_user_id` (`user_id`)-> ) ENGINE=TokuDB;
Query OK, 0 rows affected (0.03 sec)root@localhost [zst]>LOAD DATA INFILE '/u01/work/134-136.txt' INTO TABLE user3(user_id, weight, level, beat_rate,level_num);
Query OK, 200000000 rows affected (22 min 43.62 sec)
Records: 200000000 Deleted: 0 Skipped: 0 Warnings: 0
同样的数据写入在主键自增无值产生时,不能使用TokuDB的 Bulk loader data特性,相当于转换为了单条的Insert实现,所以效果上慢太多。
关于TokuDB Bulk Loader前提要求,这个表是空表,对于自增列,如自增列有值的情况下,也可以使用。建议实际使用中,如果自增列有值的情况下,可以考虑去除自增属性,改成唯一索引,这样减少自增的一些处理逻辑,让TokuDB能跑地更快一点。另外在Bulk Loader处理中为了追求更快速的写入,压缩方面并不是很好。
关于TokuDB Bulk Loader :
https://github.com/percona/PerconaFT/wiki/TokuFT-Bulk-Loader
五、测试环境说明
测试使用CentOS7环境,编译的XeLabs TokuDB版本百度云地址:
https://pan.baidu.com/s/1qYRyH3I 。
每秒570000的写入,MySQL如何实现?相关推荐
- MySQL 每秒 570000 的写入,如何实现?
来源:吴炳锡 yq.aliyun.com/articles/278034 一.需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第二天业务展示使用. ...
- mysql varchar转bigint_MySQL 每秒 570000 的写入,如何实现?
一.需求 二.实现再分析 三.XeLabs TokuDB 介绍 四.测试表 五.测试环境说明 一.需求 一个朋友接到一个需求,从大数据平台收到一个数据写入在20亿+,需要快速地加载到MySQL中,供第 ...
- 关于log4net日志写入mysql数据库记录
网上关于log4net日志写入mysql数据库的博客感觉比较少,所以这边搞定之后先过来记录一下. 首先新建个项目,我命名是log4netDemo,然后需要引入两个dll,一个是mysql.dll,一个 ...
- 114.Spark大型电商项目-广告点击流量实时统计-使用高性能方式将实时计算结果写入MySQL中
目录 误区 Spark Streaming foreachRDD的正确使用方式 对于这种实时计算程序的mysql插入,有两种pattern(模式) 代码 AdUserClickCount.java I ...
- php 写入mysql 乱码,php写入mysql中文乱码的实例解决方法
php写入mysql中文乱码的实例解决方法 php写入mysql出现中文乱码的解决办法是:在建立数据库连接之后,将该连接的编码方式改为中文. 代码如下: $linkID=@mysql_connect( ...
- 【推荐收藏 】Python写入MySQL数据库的三种方式,最后一种方式方便又高效
大家好,Python 读取数据自动写入 MySQL 数据库,这个需求在工作中是非常普遍的,主要涉及到 python 操作数据库,读写更新等,数据库可能是 mongodb. es,他们的处理思路都是相似 ...
- pandas读取大文件(chunksize)并通过sqlalchemy写入MySQL数据库
pandas读取大文件(chunksize)并通过sqlalchemy写入MySQL数据库 在pandas中读取表类文件的时候有一个参数chunksize,只要指定了这个参数的数值,那么得到的结果就不 ...
- python爬取新闻并归数据库_Python爬取数据并写入MySQL数据库操作示例
Python爬取数据并写入MySQL数据库的实例 首先我们来爬取 http://html-color-codes.info/color-names/ 的一些数据. 按 F12 或 ctrl+u 审查元 ...
- python爬取mysql数据_Python爬取数据并写入MySQL数据库的实例
Python爬取数据并写入MySQL数据库的实例 来源:中文源码网 浏览: 次 日期:2018年9月2日 [下载文档: Python爬取数据并写入MySQL数据库的实例.txt ] (友 ...
最新文章
- Science:Knight组发表尸体降解过程中的微生物组
- P2924 [USACO08DEC]大栅栏Largest Fence
- 学习python需要什么基础-学习Python需要哪些基础知识?
- Repository模式(转载)
- [leetcode] 230.二叉搜索树中的最小树
- [转]常用Delphi开发资料网址
- setTimeout和setInterval的区别
- ospf 环回口的路由条目_路由策略之重分发示例分析
- Python爬虫案例演示:Python多线程、多进程、协程
- 使用CUDA遇到的坑
- java spring boot2 springMVC thymeleaf 整合案例
- [创翼]解除一机一号限制,并实现断电、断网后自动拨号(附:高校进阶个人组网方案)
- Java中定时任务的6种实现方式,你知道几种?
- mysql rpl_mysql5.5 半同步参数rpl_semi_sync_master_timeout 测试解决办法
- TimerFd使用心得
- 【目标检测】你想知道的手势识别都在这里 【YOLO】网络
- int **a[3][4]占多少字节?
- my.cnf的常规配置
- Python爬虫4.2 — ajax(动态网页数据抓取)用法教程
- 无线网络安全工具锦集
热门文章
- 克隆git文件_如何在Git中克隆,修改,添加和删除文件
- 某一年某一年_一年关于开放组织的对话
- 持续交付 devops_使用DevOps开始加速软件交付
- (32) css—opcity属性
- JavaScript_Object.assign(目标对象,源对象1,源对象2,...)
- CSS 背景 background属性
- c语言设置bufsiz大小,c语言缓冲区有关问题及c++中的this指针
- mysql变量赋值加冒号_C语言变量声明加冒号的用法(占位符)
- 1网络编程OSI协议
- React Native 开发豆瓣评分(六)添加字体图标