大数据之数据库mysql优化实战(一)
2019独角兽企业重金招聘Python工程师标准>>>
:facepunch:
大数据之数据库mysql优化实战(一)
首先你要有数据,不然怎么测试,几百条就算了,还没跑就完了。
- 本章主题如何向数据库插入10万条数据
创建数据库
CREATE TABLE `etcblacklist11` (`ID` int(24) NOT NULL AUTO_INCREMENT,`IssuerID` varchar(16) DEFAULT NULL,`NetNo` varchar(4) DEFAULT NULL,`CARDID` varchar(16) DEFAULT NULL,`ObuID` varchar(16) DEFAULT NULL,`License` varchar(25) DEFAULT NULL,`strID` varchar(2) DEFAULT NULL,`strTmp1` varchar(3) DEFAULT NULL,`strtime1` datetime DEFAULT NULL,`strTmp2` varchar(3) DEFAULT NULL,`strtime2` datetime DEFAULT NULL,`strTmp3` varchar(3) DEFAULT NULL,`strTmp4` varchar(3) DEFAULT NULL,`LicenseName` varchar(4) DEFAULT NULL,`LicenseNameA` varchar(4) DEFAULT NULL,`LicenseNameB` varchar(4) DEFAULT NULL,PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
书写存储过程(create procedure procefureName())
CREATE DEFINER=`root`@`localhost` PROCEDURE `test`()
BEGIN DECLARE IDs INT(11); DECLARE i INT; DECLARE CARDID VARCHAR(16); DECLARE IssuerID VARCHAR(16); DECLARE ObuID VARCHAR(16); DECLARE License VARCHAR(8); DECLARE strID VARCHAR(4); DECLARE strTmp1 VARCHAR(4); DECLARE strTmp2 VARCHAR(4); DECLARE strTmp3 VARCHAR(4); DECLARE NetNo VARCHAR(4); DECLARE LicenseName VARCHAR(2); DECLARE LicenseNameA VARCHAR(2); DECLARE LicenseNameB VARCHAR(2); SET IDs =11; SET LicenseName = '京'; SET strID = RIGHT(CONCAT('00',IDs),2); SET i=0; set strTmp1 = '1'; SET strTmp1 = CONCAT(strID,'1'); SET strTmp2 = CONCAT(strID,'2'); SET strTmp3 = CONCAT(strID,'3'); SET NetNo = CONCAT(strID,'01'); SET LicenseNameA = CONCAT(LicenseName,'A'); SET LicenseNameB= CONCAT(LicenseName,'B'); WHILE i<24315 DO SET CARDID = CONCAT(strTmp1,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13)); SET IssuerID = CONCAT(strTmp2,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13)); SET ObuID = CONCAT(strTmp3,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13)); SET License = CONCAT(LicenseNameA,RIGHT(CONCAT('00000',cast(i as char(16))),5)); #SET CARDID = CONCAT('0847',cast(i as char(12))); INSERT INTO `ETCBlackList11`(IssuerID, NetNo, CARDID, ObuID, License,strID,strTmp1,strtime1,strTmp2,strtime2,strTmp3,strTmp4,LicenseName,LicenseNameA,LicenseNameB) VALUES (IssuerID, NetNo, CARDID, ObuID, License, '0', '0', '2000-01-01 00:00:00', '1', '2000-01-01 00:00:00', '测试', '16019', '0', '0', '0'); SET i = i + 1; END WHILE; END
存储过程的优点
- 可编写逻辑比较复杂的数据库操作语句,并具有可重用性
- 存储过程是已经预编后的sql语句,速度更快
- 减轻网络的负载,客户计算机上调用该存储过程时,网络中传送的只是该调用语句
- 存储过程可被作为一种安全机制来充分利用
创建数据库注意事项
- 尽量保证字段的存储大小,不要设置的太大,带来内存消耗
- 存储过程的变量名的大小也是如此
插入10W条数据分析
1: 总容量13.5M ,插入1W条数据 300s(随着表数据量越大花费时间越长), 每条数据占1.7kb.
若有兴趣,加群交流:181666459
转载于:https://my.oschina.net/budaoniu/blog/647361
大数据之数据库mysql优化实战(一)相关推荐
- 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构
015-08-09 杨尚刚 高可用架构 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...
- [转]单表60亿记录等大数据场景的MySQL优化和运维之道
本文作者: 杨尚刚 ,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计.前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存储选型设计. 前言 MySQ ...
- 知识点:Mysql 数据库索引优化实战(4)
知识点:Mysql 索引原理完全手册(1) 知识点:Mysql 索引原理完全手册(2) 知识点:Mysql 索引优化实战(3) 知识点:Mysql 数据库索引优化实战(4) 一:插入订单 业务逻辑:插 ...
- mysql 序列自增长 恢复到1_大数据教程分享MySQL数据库约束条件和自增长序列
大数据教程分享MySQL数据库约束条件和自增长序列,一.约束(constraint) 约束就是在表上强制执行的一种校验规则,当执行DML操作时,数据必须符合这些规则,如果不符合,将无法执行. 约束的全 ...
- python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...
本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...
- Hadoop大数据零基础高端实战培训系列配文本挖掘项目
<Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉 ...
- 大数据时代数据库-云HBase架构生态实践
2019独角兽企业重金招聘Python工程师标准>>> 摘要: 2018第九届中国数据库技术大会,阿里云高级技术专家.架构师封神(曹龙)带来题为大数据时代数据库-云HBase架构&a ...
- 数字营销行业大数据平台云原生升级实战
简介: 加和科技CTO 王可攀:技术是为业务价值而服务 王可攀 加和科技CTO 本文将基于加和科技大数据平台升级过程中面临的问题和挑战.如何调整数据平台架构以及调整后的变化,为大家介绍数字营销行业大数 ...
- Hadoop大数据零基础高端实战培训
Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:330课时 用到技术:部署Hadoop集群 涉及项目:京东商城 ...
最新文章
- 《C++标准程序库》读书笔记(三)
- Windows Server 2012 R2/2016 此工作站和主域间的信任关系失败
- php中怎样表示组合框,php – 如何实现动态组合框选择系统
- Opencv一维直方图的绘制
- 面试题:如何设计一个高并发的系统?
- java 扫描类_Java扫描指定包中所有类
- 5、扩展骨架文件内容
- java睡眠后继续执行_Java高级编程基础:如何使用线程的休眠,中断和连接
- Qt ::Warning: The name 'layoutWidget' (QWidget)...
- php中的三元运算符
- 【学术分享】推荐一个免费下载外文文献的网站
- SwitchHosts-一款实用的host地址切换工具
- 如何备份光猫html文件夹,华为光猫备份jffs2及HG8321R-RMS切换HG8321版本教程
- 计算机now函数,玩转NOW函数 日期时间随心变
- Task异步编程,刨根到底
- python 广告联盟_谷歌广告月入10000美金的一些经验谈
- 自带的richedit控件显示图片文字(仿QQ聊天内容文字图片)
- 服务器装虚拟机要做阵列吗,vm虚拟机做磁盘阵列
- RISC-V向量扩展指令(一)
- 零跑汽车股价再创数据新高