定期存款单的mysql编写程序_MySQL 调优和使用必读
MYSQL 应该是最流行了 WEB 后端数据库。WEB 开发语言最近发展很快,PHP, Ruby, Python, Java 各有特点,虽然 NOSQL 最近越來越多的被提到,但是相信大部分架构师还是会选择 MYSQL 来做数据存储。
MYSQL 如此方便和稳定,以至于我们在开发 WEB 程序的时候很少想到它。即使想到优化也是程序级别的,比如,不要写过于消耗资源的 SQL 语句。但是除此之外,在整个系统上仍然有很多可以优化的地方。
1.选择合适的存储引擎: INNODB
除非你的数据表使用来做只读或者全文检索 (相信现在提到全文检索,没人会用 MYSQL 了),你应该默认选择 INNODB 。
你自己在测试的时候可能会发现 MYISAM 比 INNODB 速度快,这是因为: MYISAM 只缓存索引,而 INNODB 缓存数据和索引,MYISAM 不支持事务。但是 如果你使用 innodb_flush_log_at_trx_commit = 2 可以获得接近的读取性能 (相差百倍) 。
1.1 如何将现有的 MYISAM 数据库转换为 INNODB:
mysql -u [USER_NAME] -p -e "SHOW TABLES IN [DATABASE_NAME];" | tail -n +2 | xargs -I '{}' echo "ALTER TABLE {} ENGINE=INNODB;" > alter_table.sql
perl -p -i -e 's/(search_[a-z_]+ ENGINE=)INNODB/\1MYISAM/g' alter_table.sql
mysql -u [USER_NAME] -p [DATABASE_NAME] < alter_table.sql
1.2 为每个表分别创建 INNODB FILE:
innodb_file_per_table=1
这样可以保证 ibdata1 文件不会过大,失去控制。尤其是在执行 mysqlcheck -o –all-databases 的时候。
2.保证从内存中读取数据,讲数据保存在内存中
2.1 足够大的 innodb_buffer_pool_size
推荐将数据完全保存在 innodb_buffer_pool_size ,即按存储量规划 innodb_buffer_pool_size 的容量。这样你可以完全从内存中读取数据,最大限度减少磁盘操作。
2.1.1 如何确定 innodb_buffer_pool_size 足够大,数据是从内存读取而不是硬盘?
方法 1
mysql> SHOW GLOBAL STATUS LIKE 'innodb_buffer_pool_pages_%';
+----------------------------------+--------+
| Variable_name | Value |
+----------------------------------+--------+
| Innodb_buffer_pool_pages_data | 129037 |
| Innodb_buffer_pool_pages_dirty | 362 |
| Innodb_buffer_pool_pages_flushed | 9998 |
| Innodb_buffer_pool_pages_free | 0 | !!!!!!!!
| Innodb_buffer_pool_pages_misc | 2035 |
| Innodb_buffer_pool_pages_total | 131072 |
+----------------------------------+--------+
6 rows in set (0.00 sec)
发现Innodb_buffer_pool_pages_free 为 0,则说明 buffer pool 已经被用光,需要增大innodb_buffer_pool_size
INNODB 的其他几个参数
innodb_additional_mem_pool_size = 1/200 of buffer_pool
innodb_max_dirty_pages_pct 80%
方法 2
或者用 iostat -d -x -k 1 命令,查看硬盘的操作。
2.1.2 服务器上是否有足够内存用来规划
执行 echo 1 > /proc/sys/vm/drop_caches 清除操作系统的文件缓存,可以看到真正的内存使用量。
2.2 数据预热
默认情况,只有某条数据被读取一次,才会缓存在 innodb_buffer_pool。所以,数据库刚刚启动,需要进行数据预热,将磁盘上的所有数据缓存到内存中。数据预热可以提高读取速度。
对于 InnoDB 数据库,可以用以下方法,进行数据预热:
将以下脚本保存为 MakeSelectQueriesToLoad.sql
SELECT DISTINCT
CONCAT('SELECT ',ndxcollist,' FROM ',db,'.',tb,
' ORDER BY ',ndxcollist,';') SelectQueryToLoadCache
FROM
(
SELECT
engine,table_schema db,table_name tb,
index_name,GROUP_CONCAT(column_name ORDER BY seq_in_index) ndxcollist
FROM
(
SELECT
B.engine,A.table_schema,A.table_name,
A.index_name,A.column_name,A.seq_in_index
FROM
information_schema.statistics A INNER JOIN
(
SELECT engine,table_schema,table_name
FROM information_schema.tables WHERE
engine='InnoDB'
) B USING (table_schema,table_name)
WHERE B.table_schema NOT IN ('information_schema','mysql')
ORDER BY table_schema,table_name,index_name,seq_in_index
) A
GROUP BY table_schema,table_name,index_name
) AA
ORDER BY db,tb
;
2.执行
mysql -uroot -AN < /root/MakeSelectQueriesToLoad.sql > /root/SelectQueriesToLoad.sql
3.每次重启数据库,或者整库备份前需要预热的时候执行:
mysql -uroot < /root/SelectQueriesToLoad.sql > /dev/null 2>&1
2.3不要让数据存到 SWAP 中
如果是专用 MYSQL 服务器,可以禁用 SWAP,如果是共享服务器,确定 innodb_buffer_pool_size 足够大。或者使用固定的内存空间做缓存,使用 memlock 指令。
3.定期优化重建数据库
mysqlcheck -o –all-databases 会让 ibdata1 不断增大,真正的优化只有重建数据表结构:
CREATE TABLE mydb.mytablenew LIKE mydb.mytable;
INSERT INTO mydb.mytablenew SELECT * FROM mydb.mytable;
ALTER TABLE mydb.mytable RENAME mydb.mytablezap;
ALTER TABLE mydb.mytablenew RENAME mydb.mytable;
DROP TABLE mydb.mytablezap;
4.减少磁盘写入操作
4.1使用足够大的写入缓存
innodb_log_file_size
但是需要注意如果用 1G 的 innodb_log_file_size ,假如服务器当机,需要 10 分钟来恢复。
推荐innodb_log_file_size = 0.25 innodb_buffer_pool_size
4.2 innodb_flush_log_at_trx_commit
这个选项和写磁盘操作密切相关:
innodb_flush_log_at_trx_commit = 1 则每次修改写入磁盘
innodb_flush_log_at_trx_commit = 0/2 每秒写入磁盘
如果你的应用不涉及很高的安全性 (金融系统),或者基础架构足够安全,或者事务都很小,都可以用 0 或者 2 来降低磁盘操作。
4.3 避免双写入缓冲
innodb_flush_method=O_DIRECT
5.提高磁盘读写速度
RAID0 尤其是在使用 EC2 这种虚拟磁盘 (EBS) 的时候,使用软 RAID0 非常重要。
6.充分使用索引
6.1 查看现有表结构和索引
SHOW CREATE TABLE db1.tb1\G
6.2 添加必要的索引
索引是提高查询速度的唯一方法,比如搜索引擎用的倒排索引是一样的原理。
索引的添加需要根据查询来确定,比如通过慢查询日志或者查询日志,或者通过 EXPLAIN 命令分析查询。
ADD UNIQUE INDEX
ADD INDEX
6.2.1 比如,优化用户验证表:
添加索引
ALTER TABLE users ADD UNIQUE INDEX username_ndx (username);`
ALTER TABLE users ADD UNIQUE INDEX username_password_ndx (username,password);`
每次重启服务器进行数据预热
echo “select username,password from users;” > /var/lib/mysql/upcache.sql
添加启动脚本到 my.cnf
[mysqld]
init-file=/var/lib/mysql/upcache.sql
6.2.2 使用自动加索引的框架或者自动拆分表结构的框架
比如,Rails 这样的框架,会自动添加索引,Drupal 这样的框架会自动拆分表结构。会在你开发的初期指明正确的方向。所以,经验不太丰富的人一开始就追求从 0 开始构建,实际是不好的做法。
7.分析查询日志和慢查询日志
记录所有查询,这在用 ORM 系统或者生成查询语句的系统很有用。
log=/var/log/mysql.log
注意不要在生产环境用,否则会占满你的磁盘空间。
记录执行时间超过 1 秒的查询
long_query_time=1
log-slow-queries=/var/log/mysql/log-slow-queries.log
8.激进的方法,使用内存磁盘
现在基础设施的可靠性已经非常高了,比如 EC2 几乎不用担心服务器硬件当机。而且内存实在是便宜,很容易买到几十G内存的服务器,可以用内存磁盘,定期备份到磁盘。
将 MYSQL 目录迁移到 4G 的内存磁盘
mkdir -p /mnt/ramdisk
sudo mount -t tmpfs -o size=4000M tmpfs /mnt/ramdisk/
mv /var/lib/mysql /mnt/ramdisk/mysql
ln -s /tmp/ramdisk/mysql /var/lib/mysql
chown mysql:mysql mysql
9.用 NOSQL 的方式使用 MYSQL
B-TREE 仍然是最高效的索引之一,所有 MYSQL 仍然不会过时。
用 HandlerSocket 跳过 MYSQL 的 SQL 解析层,MYSQL 就真正变成了 NOSQL。
10.其他
单条查询最后增加 LIMIT 1,停止全表扫描。
将非”索引”数据分离,比如将大篇文章分离存储,不影响其他自动查询。
不用 MYSQL 内置的函数,因为内置函数不会建立查询缓存。
PHP 的建立连接速度非常快,所有可以不用连接池,否则可能会造成超过连接数。当然不用连接池 PHP 程序也可能将连接数占满比如用了@ignore_user_abort(TRUE);
使用 IP 而不是域名做数据库路径,避免 DNS 解析问题
结束
你会发现优化后,数据库的性能提高几倍到几百倍。所以 MYSQL 基本还是可以适用大部分场景的应用的。优化现有系统的成本比系统重构或者迁移到 NOSQL 低很多。
注:跟sqlercn老师学习MySQL优化,就在今天。一起来吧!传送门——>>>
定期存款单的mysql编写程序_MySQL 调优和使用必读相关推荐
- mysql 必读_MYSQL 调优和使用必读
转载自:http://blog.eood.cn/mysql#rd?sukey=fc78a68049a14bb29c60f21c5254b15a1a9234459cf25ff467de14129ca11 ...
- 大数据技术之_19_Spark学习_07_Spark 性能调优 + 数据倾斜调优 + 运行资源调优 + 程序开发调优 + Shuffle 调优 + GC 调优 + Spark 企业应用案例
大数据技术之_19_Spark学习_07 第1章 Spark 性能优化 1.1 调优基本原则 1.1.1 基本概念和原则 1.1.2 性能监控方式 1.1.3 调优要点 1.2 数据倾斜优化 1.2. ...
- spark算子_Spark 性能优化(四)——程序开发调优
1.4 程序开发调优 Spark 性能优化的第一步,就是要在开发 Spark 作业的过程中注意和应用一些性能优化的基本原则.开发调优,就是要让大家了解以下一些 Spark 基本开发原则,包括:RDD ...
- mysql监控、性能调优及三范式理解
@酷勤网-程序员的那点事 <mysql监控.性能调优及三范式理解>下文介绍了关于mysql监控.性能调优及三范式理解的内容.mysql监控.性能调优及三范式理解(来自: 博客园 ) @酷勤 ...
- CUDA程序性能调优
目录 1.kernel function parameters 2. local variables 3.shared memory with __syncthreads__ call 4.devic ...
- mysql memory=off_MySQL内存调优
原文链接: MySQL Memory Allocation -- by Rick James 原文日期: Created 2010; Refreshed Oct, 2012, Jan, 2014 翻译 ...
- java多线程程序性能调优 优化过程
我, 一多年c++开发,由于项目原因需要对一个性能底下的多线程java程序进行调优,百度google了几把,妈蛋,没有发现指导如何java线程调优的文章啊,都是一些java使用规范,我去,那我大jav ...
- mysql的where字句调优_mysql中select和where子句优化的总结
本篇文章给大家带来的内容是关于mysql中select和where子句优化的总结,有一定的参考价值,有需要的朋友可以参考一下,希望对你有所帮助. 数据库优化: 1.可以在单个SQL语句,整个应用程序, ...
- MySQL优化调优有没有做过_MySQL 调优/优化的 100 个建议
MySQL是一个强大的开源数据库.随着MySQL上的应用越来越多,MySQL逐渐遇到了瓶颈.这里提供 101 条优化 MySQL 的建议.有些技巧适合特定的安装环境,但是思路是相通的.我已经将它们分成 ...
最新文章
- javascript promise编程
- android onLayout死循环
- 线程为什么调用start()而不是直接调用run()
- 安装慢_Origin平台安装更新慢的解决办法
- fiddler设置中文版本_教你下载iOS老版本应用
- ES6基础2(块级作用域、数组对象解构)-学习笔记
- linux内核设计与实现 中文第三版 pdf_大牛推荐的5本 Linux 经典必读书
- 直接请求接口_http类型的post和get接口测试
- Java四种引用包括强引用,软引用,弱引用,虚引用。
- 136_Power BI 自定义矩阵热力图
- java疯狂讲义笔记整理(第二版第一部分)
- 解决域用户安装软件权限问题
- 微信小程序模板全行整理合集
- perl novel可变剪接识别(3)
- 字符间距加宽5磅怎么设置_word的字符间距加宽1period;2磅
- BI相关的内容---BI是什么,主要工作的内容有哪些?
- spring boot(banner在线生成)
- 网页Windows Media Player播放器参数含义(转)
- QQzone 项目 (SSM)
- 阿里云服务器1Mbps带宽到底能够达到什么效果
热门文章
- 77所教育部直属高校公布2020年预算,清华超300亿!
- 我,斯坦福AI读博,李飞飞是师娘,5年5篇顶会论文,依然一度抑郁怀疑人生
- 只因接了一个电话,程序员被骗 30 万!
- 68位高考状元真实身份曝光:最好的教育,是拼爹!
- 递归解决八皇后问题-小昝
- 分布式事务篇——第二章:分布式事务解决之2PC剖析
- 美多商城之支付(评价订单商品)
- 英语模板末尾【希望可以记着】
- 为什么电脑磁盘从C盘开始,之前的A盘和B盘呢?
- ACMNO.14一球从M米高度自由下落,每次落地后返回原高度的一半,再落下。 它在第N次落地时反弹多高?共经过多少米? 保留两位小数 输入 M N 输出 它在第N次落地时反弹多高?共经过多少米