一.数据库优化查询的方法

1.使用索引:

应尽量避免全表扫描,首先考虑在where 以及 order by  ,group  by 涉及的列上建立索引

2.优化SQL语句:

1>通过explain(查询优化神器)用来查看SQL语句的执行效果,可以帮助选择更好的索引和优化查询语句,写出更好的优化语句。通常我们可以对比较复杂的尤其是涉及到多表的SELECT语句,把关键字explain加到前面,查看执行计划,例如:

explain select * from news;

2>任何地方都不要使用select * from  ,用具体的字段列表代替“*”,不要返回用不到的任何字段。

3>不在索引列做运算或者使用函数。

4>查询尽可能使用limit 减少返回的行数,减少数据传输时间和带宽浪费。

3.优化数据库对象

1>.优化表的数据库类型

使用procedure  analyse()函数对表进行分析,该函数可以对表中列的数据类型提出优化建议。能小就用小。表数据类型第一个原则是:使用能正确的表示和储存数据的最短类型。这样可以减少对磁盘空间,内存,cpu缓存的使用。

使用方法:select * from  表名  procedure  analyse();

2>.对表进行拆分

第一种:垂直拆分

把主键和一些列放在一个表中,然后把主键和另外的列放到另一个表中。如果一个表中某些列常用,而另外一些列不常用,则可以用垂直拆分。

第二种:水平拆分

根据一列或者多列数据的值把数据行放到第二个独立的表中

3>.使用中间表来提高查询速度

创建中间表,表结构和原表结构完全相同,转移要统计的数据到中间表,然后在中间表上进行统计,得出想要的结果。

4.硬件优化:

1>CUP的优化

选择多核和主频高的CPU。

2>内存的优化

使用更大的内存。将尽量多的内存分配给MySQl做缓存

3>磁盘I/O的优化

RAID没有数据冗余,没有数据校验的磁盘陈列。实现RAID0至少需要两块以上的磁盘,它将两块以上的硬盘合并成一块,数据连续地分割在每一块盘上。

RAID1是将一个两块硬盘所构成RAID磁盘阵列,其容量仅等于一块硬盘的容量,因为另一块只是当作数据“镜像”。

使用RAID-0+1磁盘阵列,RAID 0+1 是RAID0  和RAID 1的组合形式。它在提供与RAID 1一样的数据安全保障时,也提供了与RAID 0近似的储存性能。

4>调整磁盘调度算法

选择合适的磁盘调度算法,可以减少磁盘的寻道时间。

5.MySQl自身的优化

对MySQl自身的优化主要是对其配置文件my.cnf中的各项参数进行优化调整。如指定MySQL查询缓冲区的大小,指定MySQl允许的最大连接进程数等。

6.应用优化

1>使用数据库连接池

2>使用查询缓存

它的作用是存储select查询的文本及其相应结果。如果随后收到一个相同的查询,服务器会从查询缓存中直接查询结果。查询缓存适用于的对象是更新不频繁的表,当表中数据更改后,查询缓存中相关条目就会被清空。

二.如果有一个特别大的访问量到数据库上,如何优化?

1.使用优化查询的方法(如上面)

2.主从复制,读写分离,负载均衡

目前,大部分主流关系型数据库都提供了主从复制的功能,通过配置两台(或者多台)数据库的主从关系,可以将一台数据库服务器的数据跟新到另一台服务器上。网站可以利用数据库的这一功能,实现数据库的读写分离,从而改善数据库的负载压力。一个系统的读操作远远多于写操作,因此写操作发向master(主库),读操作发向于slaves(从库)进行操作(简单的轮询算法来决定使用哪个slave)。

利用数据库的读写分离,Web服务器在写数据的时候,访问主数据库(master),主数据库通过主从复制机制将数据更新同步到从数据库(slave),这样当Web服务器读数据的时候,就可以通过从数据库获取到数据。这一方案使得在大量读操作的Web应用可以轻松的读取数据,二主数据库也只会承受少量的写入操作,还可以实现数据的热备份,可谓是一举两得的方案。

1>主从复制原理:

  1,影响MySQL-A数据库的操作,在数据库执行后,都会写入本地的日志系统A中。假设,实时的将变化了的日志系统中的数据库事件操作,通过网络发给MYSQL-B。
MYSQL-B收到后,写入本地日志系统B ,然后一条条的将数据库事件在数据库中完成。那么,MYSQL A的变化, MYSQL-B也会变化,这样就是所谓的MYSQL的复制。
  在上面的模型中, MYSQL-A就是主服务器,即master , MYSQL-B就是从服务器,即slave。
  日志系统A ,其实它是MYSQL的日志类型中的二进制日志,也就是专用来保存修改数据库表的所有动作,即bin log。 [注意 MYSQL会在执行语句之后,释放锁之前,写入二进制日志,确保事务安全]
  日志系统B,并不是二进制日志,由于它是从MYSQL-A的二进制日志复制过来的,并不是自己的数据库变化产生的,有点接力的感觉,称为中继日志,即relay log。
  可以发现,通过上面的机制,可以保证MYSQL-A和MYSQL-B的数据库数据一致,但是时间上肯定有延迟,即MYSQL-B的数据是滞后的。
  2,简化版:
mysql主(称master)从(称slave)复制的原理:
  (1).master将数据改变记录到二进制8志(binary log)中,也即是配置文件log-bin指定的文件(这些记录叫做二进制日志事件,binary log events)
  PS:从图中可以看出,Slave服务器中有一个l/O线程(I/O Thread)在不停地监听Master的二进制日志(Binary Log)是否有更新;如果没有它会睡眠等待Master产生新的日志事件;如果有新的日志事件(Log Events);则会将其拷贝至Slave服务器中的中继日志(RelayLoal)。
  (2).slave将master的二进制日志事件(binary log events)拷贝到它的中继日志(relay log)。
  (3).slave重做中继日志中的事件,将Master上的改变反映到它自己的数据库中。所以两端的数据是完全-样的。
  PS:从图中可以看出,Slave 服务器中有一个SQL线程(SQL Thread)从中维日志读取事件,并重做其中的事件,从而更新Slave的数据,使其与Master中的数据致。只要该线程与10线程保持一致, 中继日志通常会位于OS的缓存中,所以中继日志的开销很小,附简要原理图:

2>主从复制的几种方式:

1.同步复制

主服务器在将更新的数据写入它的二进制日志(Bin log)文件中后,必须等待验证所有的从服务器的更新数据是否已经复制到其中,之后才可以自由处理其他进入的事务处理请求。

2.异步复制

主服务器在将更新的数据写入它的二进制日志(Bin log)文件中后,无需等待验证更新数据是否已经复制到从服务器中,就可以自由处理其他进入的事务处理请求。

3.半同步复制

主服务器在将更新的数据写入它的二进制日志文件中后,只需要等待验证其中一台服务器的更新数据是否已经复制到其中,就可以自由处理其他进入的事务处理请求,其他从服务器不用管。

3.数据库分表,分区,分库

1>分表见上面描述

2>分区:

就是把一张表的数据分成多个区块,这些区块可以在一个磁盘上,也可以在不同的磁盘上,分区后,表面上还是一张表,但数据散列在多个位置,这样一来,多块硬盘同时处理不同的请求,从而提高磁盘I/O读写性能,实现比较简单,包括水平分区和垂直分区。

3>分库是根据业务不同把相关的表切分到不同的数据库中,比如web ,bbs ,blog等库。

转载于:https://www.cnblogs.com/Tom-shushu/p/10595548.html

数据库优化查询的方法以及大访问量到数据库时的优化相关推荐

  1. MySQL,优化查询的方法

    对于数据库,优化查询的方法 1.使用索引 使用索引时,应尽量避免全表扫描,首先应考虑在 where 及 order by ,group by 涉及的列上建立索引. 2.优化SQL语句 1)分析查询语句 ...

  2. mysql 随机记录 newid(),order by newid() 各种数据库随机查询的方法

    这篇文章主要为大家详细介绍了order by newid() 各种数据库随机查询的方法,具有一定的参考价值,可以用来参考一下. 感兴趣的小伙伴,下面一起跟随512笔记的小编两巴掌来看看吧! SQL S ...

  3. oracle单表数据量上亿_MySQL数据库中,数据量越来越大,有什么具体的优化方案么?...

    个人的观点,这种大表的优化,不一定上来就要分库分表,因为表一旦被拆分,开发.运维的复杂度会直线上升,而大多数公司和开发人员是欠缺这种能力的. 所以MySQL中几百万甚至小几千万的表,先考虑做单表的优化 ...

  4. Linux下MySQL数据库的备份与还原,mysql快速导入导出数据库实例演示,解决mysql大数据量数据库导出慢的问题

    MySQL 数据库的备份与还原 第一章:数据库的导入与导出 ① 数据库的导出 ② 大数据量下 mysqldump 的导出优化 ③ 数据库的导出 第一章:数据库的导入与导出 ① 数据库的导出 需要用到 ...

  5. Mysql简介和Mysql优化查询的方法

    MySQL 是瑞典的MySQL AB公司开发的一个可用于各种流行操作系统平台的关系数据库系统,它具有客户机/服务器体系结构的分布式数据库管理系统.MySQL 完全适用于网络,用其建造的数据库可在因特网 ...

  6. MySQL 处理海量数据时的一些优化查询速度方法

    在参与实际项目中,当 MySQL 表的数据量达到百万级时,普通的 SQL 查询效率呈直线下降,而且如果 where 中的查询条件较多时,其查询速度无法容忍.想想可知,假如我们查询淘宝的一个订单详情,如 ...

  7. Mysql处理海量数据时的一些优化查询速度方法

    由于在参与的实际项目中发现当mysql表的数据量达到百万级时,普通SQL查询效率呈直线下降,而且如果where中的查询条件较多时,其查询速度简直无法容忍.曾经测试对一个包含400多万条记录(有索引)的 ...

  8. MySQL 处理海量数据时一些优化查询速度方法

    1.应尽量避免在where子句中使用!=或<>操作符,否则将引擎放弃使用索引而进行全表扫描. 2.对查询进行优化,应尽量避免全表扫描,首先应考虑在where及order by设计的列上建立 ...

  9. 运用计算机优化教学的方法,浅谈计算机教学中多种教学方法优化运用.doc

    浅谈计算机教学中多种教学方法优化运用 浅谈计算机教学中多种教学方法优化运用 摘 要:每一种教学方法各有其优越性,也各有其局限性,正如一把钥匙不能打开所有的锁一样,所以对于不同特点的学生群体,不同特点的 ...

最新文章

  1. 成功要养成的习惯和改掉的习惯
  2. 盛大创新院赞助首届.NET技术交流会即将召开
  3. 读书笔记 - 《吉卜力的伙伴们》
  4. not receive messages for the subscriptions setting
  5. placement new--《C++必知必会》 条款35
  6. Error:Could not resolve all files for configuration ':app:preDebugCompileClasspath'. Could not fin
  7. view工作原理-计算视图大小的过程(onMeasure)
  8. MySQL与MariaDB概述 (二)
  9. php curl如何解决分页,一段PHP的分页程序,报错,该如何解决
  10. 【git】git 使用 Submodule 管理子模块 报错 pathspec did not match any files
  11. php接收post写入文件,PHP中Post和Get获取数据写入文件中
  12. 熟悉的指标,多重的应用
  13. nts包如何下周 php_【Composer】PHP开发者必须了解!(life)
  14. mysql时间10位数字_mysql—MySQL数据库中10位时间戳转换为标准时间后,如何对标准时间进行加减X天处理...
  15. BZOJ 1146 网络管理Network(树链剖分+BST)
  16. control reaches end of non-void function
  17. 回顾2018,生活与代码已无法分离
  18. MIT6.828 Part B: Copy-on-Write Fork
  19. CTFshou wed命令执行29~50
  20. 上班需要打卡吗?(开通微信公众号--乘着风筝去火星)

热门文章

  1. .rpt文件内容读取java_Java快速入门(26) 文件和IO操作
  2. HTML标记也可以乘坐标签,XHTML标签都有一个结束标记
  3. ubuntu中mysql怎么退出命令_Ubuntu中mysql启动和关闭
  4. miniui 样式第一次加载不出来_matplotlib--修改样式
  5. php 原生 redis,php redis_php redis扩展_php redis使用 - Lane Blog
  6. mysql 8.0空间索引_牛逼!MySQL 8.0 中的索引可以隐藏了…
  7. build vue3 后压缩的文件在哪_Vue 3学习:4. 集成vuex
  8. python画相关性可视化图_Python可视化16matplotlibseborn-相关性热图(correlation heatmap)...
  9. python图例重复显示_python – 具有两个标记的多行的自定义图例,用于相同的文本...
  10. python简单例子lof_Python的净值数据接口调用示例分享