第一优化你的sql和索引;

第二加缓存,memcached,redis;

第三以上都做了后,还是慢,就做主从复制或主主复制,读写分离,可以在应用层做,效率高,也可以用三方工具,第三方工具推荐360的atlas,其它的要么效率不高,要么没人维护;

第四如果以上都做了还是慢,不要想着去做切分,mysql自带分区表,先试试这个,对你的应用是透明的,无需更改代码,但是sql语句是需要针对分区表做优化的,sql条件中要带上分区条件的列,从而使查询定位到少量的分区上,否则就会扫描全部分区,另外分区表还有一些坑,在这里就不多说了;

第五如果以上都做了,那就先做垂直拆分,其实就是根据你模块的耦合度,将一个大的系统分为多个小的系统,也就是分布式系统;

第六才是水平切分,针对数据量大的表,这一步最麻烦,最能考验技术水平,要选择一个合理的sharding key,为了有好的查询效率,表结构也要改动,做一定的冗余,应用也要改,sql中尽量带sharding key,将数据定位到限定的表上去查,而不是扫描全部的表;

mysql数据库一般都是按照这个步骤去演化的,成本也是由低到高;

有人也许要说第一步优化sql和索引这还用说吗?的确,大家都知道,但是很多情况下,这一步做的并不到位,甚至有的只做了根据sql去建索引,根本没对sql优化(中枪了没?),除了最简单的增删改查外,想实现一个查询,可以写出很多种查询语句,不同的语句,根据你选择的引擎、表中数据的分布情况、索引情况、数据库优化策略、查询中的锁策略等因素,最终查询的效率相差很大;优化要从整体去考虑,有时你优化一条语句后,其它查询反而效率被降低了,所以要取一个平衡点;即使精通mysql的话,除了纯技术面优化,还要根据业务面去优化sql语句,这样才能达到最优效果;你敢说你的sql和索引已经是最优了吗?

再说一下不同引擎的优化,myisam读的效果好,写的效率差,这和它数据存储格式,索引的指针和锁的策略有关的,它的数据是顺序存储的(innodb数据存储方式是聚簇索引),他的索引btree上的节点是一个指向数据物理位置的指针,所以查找起来很快,(innodb索引节点存的则是数据的主键,所以需要根据主键二次查找);myisam锁是表锁,只有读读之间是并发的,写写之间和读写之间(读和插入之间是可以并发的,去设置concurrent_insert参数,定期执行表优化操作,更新操作就没有办法了)是串行的,所以写起来慢,并且默认的写优先级比读优先级高,高到写操作来了后,可以马上插入到读操作前面去,如果批量写,会导致读请求饿死,所以要设置读写优先级或设置多少写操作后执行读操作的策略;myisam不要使用查询时间太长的sql,如果策略使用不当,也会导致写饿死,所以尽量去拆分查询效率低的sql,

innodb一般都是行锁,这个一般指的是sql用到索引的时候,行锁是加在索引上的,不是加在数据记录上的,如果sql没有用到索引,仍然会锁定表,mysql的读写之间是可以并发的,普通的select是不需要锁的,当查询的记录遇到锁时,用的是一致性的非锁定快照读,也就是根据数据库隔离级别策略,会去读被锁定行的快照,其它更新或加锁读语句用的是当前读,读取原始行;因为普通读与写不冲突,所以innodb不会出现读写饿死的情况,又因为在使用索引的时候用的是行锁,锁的粒度小,竞争相同锁的情况就少,就增加了并发处理,所以并发读写的效率还是很优秀的,问题在于索引查询后的根据主键的二次查找导致效率低;

ps:很奇怪,为什innodb的索引叶子节点存的是主键而不是像mysism一样存数据的物理地址指针吗?如果存的是物理地址指针不就不需要二次查找了吗,这也是我开始的疑惑,根据mysism和innodb数据存储方式的差异去想,你就会明白了,我就不费口舌了!

所以innodb为了避免二次查找可以使用索引覆盖技术,无法使用索引覆盖的,再延伸一下就是基于索引覆盖实现延迟关联;不知道什么是索引覆盖的,建议你无论如何都要弄清楚它是怎么回事!

尽你所能去优化你的sql吧!说它成本低,却又是一项费时费力的活,需要在技术与业务都熟悉的情况下,用心去优化才能做到最优,优化后的效果也是立竿见影的!

海量url mysql_海量数据mysql优化步骤相关推荐

  1. mysql数据库优化课程---15、mysql优化步骤(mysql中最常用最立竿见影的优化是什么)...

    mysql数据库优化课程---15.mysql优化步骤(mysql中最常用最立竿见影的优化是什么) 一.总结 一句话总结:索引优化最立竿见影 索引优化:不然有多少行要扫描多少次,1亿行大概是5到10分 ...

  2. mysql缓存优化,MySQL优化步骤及my.cnf缓存优化

    MySQL优化步骤及my.cnf缓存优化 1.看机器配置,指三大件:cpu.内存.硬盘 2.看mysql配置参数 3.查系mysql行状态,可以用mysqlreport工具来查看 4.查看mysql的 ...

  3. mysql优化步骤及方法

    1.优化步骤 1.开启慢查询日志,设置阈值,比如超过五秒的就是慢sql,并将它抓取出来 慢查询日志,是mysql提供的一种日志记录,它用来记录mysql中响应超过阈值的语句,具体指运行时间超过long ...

  4. mysql优化 博客园_MySQL优化

    MySQL优化步骤 首先学会如何定位到SQL语句 1.1查看SQL语句的执行次数 在MySQL中可以通过命令查看服务器该表状态信息 show status like 'Com_______'; 如果想 ...

  5. MYSQL的深入学习--优化步骤

    MySql优化的一般步骤 1.通过show status 命令了解各种sql的执行效率 SHOW STATUS提供msyql服务器的状态信息 一般情况下,我们只需要了解以"Com" ...

  6. MySql的优化步骤

    MySql优化的一般步骤: 1.通过show status 命令了解各种sql的执行效率 SHOW STATUS提供msyql服务器的状态信息 一般情况下,我们只需要了解以"Com" ...

  7. mysql参数优化步骤_MySQL架构优化实战系列4:SQL优化步骤与常用管理命令2(转)

    MySQL架构优化实战系列4:SQL优化步骤与常用管理命令 原文:http://dbaplus.cn/news-11-649-1.html 一.SQL语句优化步骤 1.查看MySQL状态及配置 sho ...

  8. 【MySQL】MySQL开发注意事项与SQL性能优化步骤

    MySQL简介 地表最流行数据库 名副其实 什么是MySQL? 世界上应用最广泛且灵活的开源关系数据库 MySQL 是应用最广泛的开源关系数据库,是许多常见网站,应用程序和商业产品使用的主要关系数据存 ...

  9. 规模大的优化mysql_十大MySQL优化技巧

    1.优化你的MySQL查询缓存 在MySQL服务器上进行查询,可以启用高速查询缓存.让数据库引擎在后台悄悄的处理是提高性能的最有效方法之一.当同一个查询被执行多次时,如果结果是从缓存中提取,那是相当快 ...

最新文章

  1. qt 单元格加上边框_Excel如何自动添加边框?学会这个方法效率加倍!
  2. matlab单元数组与结构体的区别,MATLAB中的结构体和单元数组
  3. 一个简单的Java web服务器实现
  4. Numpy的基本用法
  5. Java 并发编程—核心理论
  6. jenkins+sonar+ios 基于object C(object-c-plugin-snapshot免费版)搭建
  7. [JavaWeb-HTML]HTML标签_语义化标签
  8. 消息中间件系列(三):主流的消息队列中间件有哪些?
  9. 使用spring-data-mongodb操作mongodb
  10. java+poodle漏洞修复_SSL3.0 POODLE漏洞修复方案
  11. Ubuntu 16 安装JDK1.8
  12. 《计算机网络基础与应用》笔记
  13. 溯源:通过qq电话获取对方位置
  14. 去掉桌面计算机快捷方式,电脑小技巧!去掉桌面快捷方式小箭头图标
  15. PPT怎么修改母版背景
  16. html5的技术串讲,Web前端开发职业标准串讲(初级).pdf
  17. 我喜欢的画家傅志伟先生的油画作品发几张来给大家一起欣赏
  18. 菜鸟的AI安全乱谈(2)—通过模型再训练留后门
  19. spring security+thymeleaf登录失败以及验证码错误提示
  20. linux桌面 高分屏,Linux系统在高分屏非正常分辨率显示

热门文章

  1. HTML5学习笔记(一):初步印象
  2. python rowcount_PyQt(Python+Qt)学习随笔:QTableWidget的currentItem、rowCount、columnCount等部件状态属性访问方法...
  3. windows商店_Windows记事本应用现在可以从Microsoft Store中获得
  4. Python 框架 之 Scrapy 爬虫(一)
  5. android按钮响应事件吗,Android 按钮响应事件的几种方式
  6. smtplib python教程_Python使用poplib模块和smtplib模块收发电子邮件的教程
  7. SSM框架的搭建学习(1)---MyBatis的环境搭建
  8. 进阶攻略|前端最全的框架总结
  9. linux这样去掉文件里高亮字体
  10. JavaScript (If...Else和Switch和循环遍历) 语句以及常用消息框