mysql 优化步骤

正如上图所示，数据库优化可以从架构优化，硬件优化，DB优化，SQL优化四个维度入手。

此上而下，位置越靠前优化越明显，对数据库的性能提升越高。我们常说的SQL优化反而是对性能提高最小的优化。

接下来我们再看看每种优化该如何实施。

架构优化

一般来说在高并发的场景下对架构层进行优化其效果最为明显，常见的优化手段有：分布式缓存，读写分离，分库分表等，每种优化手段又适用于不同的应用场景。

要点：

1. 读写分离
1. 读多写少，加分布式缓存（redis）
1. 写多、海量数据：分库分表
1. 复杂查询，es 全文索引

硬件优化

我们使用数据库，不管是读操作还是写操作，最终都是要访问磁盘，所以说磁盘的性能决定了数据库的性能。一块PCIE固态硬盘的性能是普通机械硬盘的几十倍不止。这里我们可以从吞吐率、IOPS两个维度看一下机械硬盘、普通固态硬盘、PCIE固态硬盘之间的性能指标。

吞吐率：单位时间内读写的数据量

机械硬盘：约100MB/s ～ 200MB/s
普通固态硬盘：200MB/s ～ 500MB/s
PCIE固态硬盘：900MB/s ～ 3GB/s

IOPS：每秒IO操作的次数

机械硬盘：100 ～200
普通固态硬盘：30000 ～ 50000
PCIE固态硬盘：数十万

通过上面的数据可以很直观的看到不同规格的硬盘之间的性能差距非常大。

不仅仅只有硬盘要优化，还有CPU，内存，网络等，具体看哪个是瓶颈。

DB优化

SQL执行慢有时候不一定完全是SQL问题，手动安装一台数据库而不做任何参数调整，再怎么优化SQL都无法让其性能最大化。要让一台数据库实例完全发挥其性能，首先我们就得先优化数据库的实例参数。

数据库实例参数优化遵循三句口诀：日志不能小、缓存足够大、连接要够用。

数据库事务提交后需要将事务对数据页的修改刷（ fsync）到磁盘上，才能保证数据的持久性。这个刷盘，是一个随机写，性能较低，如果每次事务提交都要刷盘，会极大影响数据库的性能。数据库在架构设计中都会采用如下两个优化手法：

先将事务写到日志文件RedoLog（WAL），将随机写优化成顺序写
加一层缓存结构Buffer，将单次写优化成顺序写

所以日志跟缓存对数据库实例尤其重要。而连接如果不够用，数据库会直接抛出异常，系统无法访问。

接下来我们以Oracle、MySQL（InnoDB）、POSTGRES、达梦为例，看看每种数据库的参数该如何配置。

Oracle

参数分类	参数名	参数值	备注
数据缓存	SGA_TAGET、MEMORY_TARGET	物理内存70-80%	越大越好
数据缓存	DB_CACHE_SIZE	物理内存70-80%	越大越好
SQL解析	SHARED_POOL_SIZE	4-16G	不建议设置过大
监听及连接	PROCESSES、SESSIONS、OPEN_CURSORS	根据业务需求设置	一般为业务预估连接数的120%
其他	SESSION_CACHED_CURSORS	大于200	软软解析

MySQL

参数分类	参数名	参数值	备注
数据缓存	INNODB_BUFFER_POOL_SIZE	物理内存50-80%	一般来说越大性能越好
日志相关	Innodb_log_buffer_size	16-32M	根据运行情况调整
日志相关	sync_binlog	1、100、0	1安全性最好
监听及连接	max_connections	根据业务情况调整	可以预留一部分值
文件读写性能	innodb_flush_log_at_trx_commit	2	安全和性能的折中考虑
其他	wait_timeout，interactive_timeout	28800	避免应用连接定时中断

POSTGRES

参数分类	参数名	参数值	备注
数据缓存	SHARED_BUFFERS	物理内存10-25%
数据缓存	CACHE_BUFFER_SIZE	物理内存50-60%
日志相关	wal_buffer	8-64M	不建议设置过大过小
监听及连接	max_connections	根据业务情况调整	一般为业务预估连接数的120%
其他	maintenance_work_mem	512M或更大
其他	work_mem	8-16M	原始配置1M过小
其他	checkpoint_segments	32或者更大

达梦数据库

参数分类	参数名	参数值	备注
数据缓存	MEMROY_TARGET、MEMROY_POOL	物理内存90%
数据缓存	BUFFER	物理内存60%	数据缓存
数据缓存	MAX_BUFFER	物理内存70%	最大数据缓存
监听及连接	max_sessions	根据业务需求设置	一般为业务预估连接数的120%

SQL优化

SQL优化很容易理解，就是通过给查询字段添加索引或者改写SQL提高其执行效率，一般而言，SQL编写有以下几个通用的技巧：

1. 查询慢SQL 日志

mysql> SHOW VARIABLES LIKE 'slow_query%';
+---------------------+---------------------------------------------------------------------+
| Variable_name       | Value                                                               |
+---------------------+---------------------------------------------------------------------+
| slow_query_log      | OFF                                                                 |
| slow_query_log_file | C:\ProgramData\MySQL\MySQL Server 5.7\Data\LAPTOP-UHQ6V8KP-slow.log |
+---------------------+---------------------------------------------------------------------+
2 rows in set, 1 warning (0.02 sec)mysql> SHOW VARIABLES LIKE 'long_query_time';
+-----------------+-----------+
| Variable_name   | Value     |
+-----------------+-----------+
| long_query_time | 10.000000 |
+-----------------+-----------+
1 row in set, 1 warning (0.01 sec)

参数说明如下：

slow_query_log：慢查询开启状态
slow_query_log_file：慢查询日志存放的位置（一般设置为 MySQL 的数据存放目录）
long_query_time：查询超过多少秒才记录

启动和设置慢查询日志

配置文件

[mysqld]
log-slow-queries=dir\filename
long_query_time=n

SET GLOBAL slow_query_log=ON/OFF;
SET GLOBAL long_query_time=n;
set global log_queries_not_using_indexes=on; 默认值为off 表示没有使用索引的sql查询也会记录下来

2.得到慢SQL进行慢sql分析

使用 explain 分析SQL的执行计划，是否索引失效
- https://andyoung.blog.csdn.net/article/details/122412683
- sql 优化 5大步骤+10个案例，堪称SQL优化万能公式
- 聊聊sql优化的15个小技巧
以小表驱动大表
- 详解 Mysql LEFT JOIN和JOIN查询区别及原理
- MySQL IN、Exist关联查询时，我们为什么建议小表驱动大表？
使用UNION ALL替代UNION
避免使用NOT、!=、<>、!<、!>、NOT EXISTS、NOT IN、NOT LIKE。可以是话用UNION代替
减少数据回表

生动的解释下什么是 MySQL 的“回表”？

主键 id 优先自增，分布式使用雪花ID，或者redis自增，自增步长

小结

我们今天分别从架构优化、硬件优化、DB优化、SQL优化四个角度探讨了如何实施优化，提升数据库性能。但是大家还是要记住一句话，数据库系统没有银弹，要让适合的系统，做合适的事情。

聊聊数据库优化的4大手段相关推荐

mysql数据文件有10g_百万行mysql数据库优化和10G大文件上传方案
最近这几天正在忙这个优化的方案,一直没时间耍,忙碌了一段时间终于还是拿下了这个项目?项目中不要每次都把程序上的问题,让mysql数据库来承担,它只是个mysql而已. 问题1:针对MySQL Comm ...
无法从套接字读取更多的数据 oracle_小伙面试时被追问数据库优化，面试前如何埋点反杀？
前言周五的早高峰, 各地软件园地铁站里中出现了不少穿着长袖加绒格子衫, 背双肩电脑包的年轻码农, 现在节气正值 [ 小雪 ] , 11月的全国性突然降温 , 让经历过996摧残的猿们一出地铁站就冻的 ...
Android 性能优化（三）布局优化秒变大神
Android 性能优化 (一)APK高效瘦身 http://blog.csdn.net/whb20081815/article/details/70140063 Android 性能优化 (二)数据 ...
大数据量高并发的数据库优化（转载）
对其进行处理是一项艰巨而复杂的任务.原因有以下几个方面: 一.数据量过大,数据中什么情况都可能存在.如果说有10条数据,那么大不了每条去逐一检查,人为处理,如果有上百条数据,也可以考虑,如果数据上到千 ...
mysql入门优化_MySQL数据库：MySQL十大优化技巧详解
本文主要向大家介绍了MySQL数据库的MySQL十大优化技巧详解,通过具体的内容向大家展现,希望对大家学习MySQL数据库有所帮助. WEB开发者不光要解决程序的效率问题,对数据库的快速访问和相应也是 ...
数据库优化查询的方法以及大访问量到数据库时的优化
一.数据库优化查询的方法 1.使用索引: 应尽量避免全表扫描,首先考虑在where 以及 order by ,group by 涉及的列上建立索引 2.优化SQL语句: 1>通过explai ...
table 条数过大优化_MySQL 数据库优化，看这篇就够了 | 不长不短，2000 字小结
前言数据库优化一方面是找出系统的瓶颈,提高MySQL数据库的整体性能,而另一方面需要合理的结构设计和参数调整,以提高用户的相应速度,同时还要尽可能的节约系统资源,以便让系统提供更大的负荷. 1. 优 ...
1万条数据大概占多大空间_mysql亿级数据数据库优化方案测试-银行交易流水记录的查询...
对MySQL的性能和亿级数据的处理方法思考,以及分库分表到底该如何做,在什么场景比较合适? 比如银行交易流水记录的查询限盐少许,上实际实验过程,以下是在实验的过程中做一些操作,以及踩过的一些坑,我觉 ...
系统性能优化的十大策略（强烈推荐，建议收藏）
点击关注公众号,实用技术文章及时了解上篇提升系统性能,榨干计算机资源是程序员的极致追求,今天跟大家聊聊性能优化.分为上中下三篇,由浅及深的写了关于性能优化的方方面面,并不仅仅局限于代码层面,希望小 ...

聊聊数据库优化的4大手段