2019独角兽企业重金招聘Python工程师标准>>>

:facepunch:

大数据之数据库mysql优化实战(一)

首先你要有数据,不然怎么测试,几百条就算了,还没跑就完了。

  • 本章主题如何向数据库插入10万条数据

创建数据库

CREATE TABLE `etcblacklist11` (`ID` int(24) NOT NULL AUTO_INCREMENT,`IssuerID` varchar(16) DEFAULT NULL,`NetNo` varchar(4) DEFAULT NULL,`CARDID` varchar(16) DEFAULT NULL,`ObuID` varchar(16) DEFAULT NULL,`License` varchar(25) DEFAULT NULL,`strID` varchar(2) DEFAULT NULL,`strTmp1` varchar(3) DEFAULT NULL,`strtime1` datetime DEFAULT NULL,`strTmp2` varchar(3) DEFAULT NULL,`strtime2` datetime DEFAULT NULL,`strTmp3` varchar(3) DEFAULT NULL,`strTmp4` varchar(3) DEFAULT NULL,`LicenseName` varchar(4) DEFAULT NULL,`LicenseNameA` varchar(4) DEFAULT NULL,`LicenseNameB` varchar(4) DEFAULT NULL,PRIMARY KEY (`ID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

书写存储过程(create procedure procefureName())

CREATE DEFINER=`root`@`localhost` PROCEDURE `test`()
BEGIN   DECLARE IDs INT(11);   DECLARE i INT;   DECLARE CARDID VARCHAR(16);  DECLARE IssuerID VARCHAR(16);  DECLARE ObuID VARCHAR(16);  DECLARE License VARCHAR(8);  DECLARE strID VARCHAR(4);  DECLARE strTmp1 VARCHAR(4);  DECLARE strTmp2 VARCHAR(4);  DECLARE strTmp3 VARCHAR(4);  DECLARE NetNo VARCHAR(4);  DECLARE LicenseName VARCHAR(2);  DECLARE LicenseNameA VARCHAR(2);  DECLARE LicenseNameB VARCHAR(2);  SET IDs =11;  SET LicenseName = '京';  SET strID = RIGHT(CONCAT('00',IDs),2);  SET i=0;   set strTmp1 = '1';  SET strTmp1 = CONCAT(strID,'1');  SET strTmp2 = CONCAT(strID,'2');  SET strTmp3 = CONCAT(strID,'3');  SET NetNo = CONCAT(strID,'01');  SET LicenseNameA = CONCAT(LicenseName,'A');  SET LicenseNameB= CONCAT(LicenseName,'B');  WHILE i<24315 DO   SET CARDID  = CONCAT(strTmp1,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13));  SET IssuerID    = CONCAT(strTmp2,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13));  SET ObuID   = CONCAT(strTmp3,RIGHT(CONCAT('0000000000000',cast(i as char(16))),13));  SET License = CONCAT(LicenseNameA,RIGHT(CONCAT('00000',cast(i as char(16))),5));  #SET CARDID = CONCAT('0847',cast(i as char(12)));  INSERT INTO `ETCBlackList11`(IssuerID, NetNo, CARDID, ObuID, License,strID,strTmp1,strtime1,strTmp2,strtime2,strTmp3,strTmp4,LicenseName,LicenseNameA,LicenseNameB) VALUES (IssuerID, NetNo, CARDID, ObuID, License, '0', '0', '2000-01-01 00:00:00', '1', '2000-01-01 00:00:00', '测试', '16019', '0', '0', '0');  SET i = i + 1;   END WHILE;   END

存储过程的优点

  • 可编写逻辑比较复杂的数据库操作语句,并具有可重用性
  • 存储过程是已经预编后的sql语句,速度更快
  • 减轻网络的负载,客户计算机上调用该存储过程时,网络中传送的只是该调用语句
  • 存储过程可被作为一种安全机制来充分利用

创建数据库注意事项

  • 尽量保证字段的存储大小,不要设置的太大,带来内存消耗
  • 存储过程的变量名的大小也是如此

插入10W条数据分析

1: 总容量13.5M ,插入1W条数据 300s(随着表数据量越大花费时间越长), 每条数据占1.7kb.

若有兴趣,加群交流:181666459

转载于:https://my.oschina.net/budaoniu/blog/647361

大数据之数据库mysql优化实战(一)相关推荐

  1. 单表60亿记录等大数据场景的MySQL优化和运维之道 | 高可用架构

    015-08-09 杨尚刚 高可用架构 此文是根据杨尚刚在[QCON高可用架构群]中,针对MySQL在单表海量记录等场景下,业界广泛关注的MySQL问题的经验分享整理而成,转发请注明出处. 杨尚刚,美 ...

  2. [转]单表60亿记录等大数据场景的MySQL优化和运维之道

    本文作者: 杨尚刚 ,美图公司数据库高级DBA,负责美图后端数据存储平台建设和架构设计.前新浪高级数据库工程师,负责新浪微博核心数据库架构改造优化,以及数据库相关的服务器存储选型设计. 前言 MySQ ...

  3. 知识点:Mysql 数据库索引优化实战(4)

    知识点:Mysql 索引原理完全手册(1) 知识点:Mysql 索引原理完全手册(2) 知识点:Mysql 索引优化实战(3) 知识点:Mysql 数据库索引优化实战(4) 一:插入订单 业务逻辑:插 ...

  4. mysql 序列自增长 恢复到1_大数据教程分享MySQL数据库约束条件和自增长序列

    大数据教程分享MySQL数据库约束条件和自增长序列,一.约束(constraint) 约束就是在表上强制执行的一种校验规则,当执行DML操作时,数据必须符合这些规则,如果不符合,将无法执行. 约束的全 ...

  5. python解析json文件写入数据库_Python3实现将本地JSON大数据文件写入MySQL数据库的方法...

    本文实例讲述了Python3实现将本地JSON大数据文件写入MySQL数据库的方法.分享给大家供大家参考,具体如下: 最近导师给了一个yelp上的评论数据,数据量达到3.55个G,如果进行分析时直接使 ...

  6. Hadoop大数据零基础高端实战培训系列配文本挖掘项目

    <Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标)> 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:230课时 用到技术:部署Hadoop集群 涉 ...

  7. 大数据时代数据库-云HBase架构生态实践

    2019独角兽企业重金招聘Python工程师标准>>> 摘要: 2018第九届中国数据库技术大会,阿里云高级技术专家.架构师封神(曹龙)带来题为大数据时代数据库-云HBase架构&a ...

  8. 数字营销行业大数据平台云原生升级实战

    简介: 加和科技CTO 王可攀:技术是为业务价值而服务 王可攀 加和科技CTO 本文将基于加和科技大数据平台升级过程中面临的问题和挑战.如何调整数据平台架构以及调整后的变化,为大家介绍数字营销行业大数 ...

  9. Hadoop大数据零基础高端实战培训

    Hadoop大数据零基础高端实战培训系列配文本挖掘项目(七大亮点.十大目标) 课程讲师:迪伦 课程分类:大数据 适合人群:初级 课时数量:330课时 用到技术:部署Hadoop集群 涉及项目:京东商城 ...

最新文章

  1. 《C++标准程序库》读书笔记(三)
  2. Windows Server 2012 R2/2016 此工作站和主域间的信任关系失败
  3. php中怎样表示组合框,php – 如何实现动态组合框选择系统
  4. Opencv一维直方图的绘制
  5. 面试题:如何设计一个高并发的系统?
  6. java 扫描类_Java扫描指定包中所有类
  7. 5、扩展骨架文件内容
  8. java睡眠后继续执行_Java高级编程基础:如何使用线程的休眠,中断和连接
  9. Qt ::Warning: The name 'layoutWidget' (QWidget)...
  10. php中的三元运算符
  11. 【学术分享】推荐一个免费下载外文文献的网站
  12. SwitchHosts-一款实用的host地址切换工具
  13. 如何备份光猫html文件夹,华为光猫备份jffs2及HG8321R-RMS切换HG8321版本教程
  14. 计算机now函数,玩转NOW函数 日期时间随心变
  15. Task异步编程,刨根到底
  16. python 广告联盟_谷歌广告月入10000美金的一些经验谈
  17. 自带的richedit控件显示图片文字(仿QQ聊天内容文字图片)
  18. 服务器装虚拟机要做阵列吗,vm虚拟机做磁盘阵列
  19. RISC-V向量扩展指令(一)
  20. 零跑汽车股价再创数据新高

热门文章

  1. 第四次实验 恶意代码技术
  2. node创建web静态服务
  3. hibernate插入数据测试无异常,但数据库没有数据
  4. 教程:给初学的几个小例子(待补充)
  5. 程序员保值的5个秘密
  6. u-boot分析——struct gd_t与struct bd_t
  7. 复盘 | 听全民K歌体验设计师聊聊歌房项目完整设计历程
  8. 长文 | 从发展轨迹、社会变迁和人口数据变化来看工具类产品的发展出路有哪些(1)
  9. 聊天机器人突然火了,能解决那方面的需求吗?
  10. 【运营】如何有效率的进行“用户访谈”