mysql large_【转】mysql对large page的支持
昨天同事问我关于大页内存的事,我也只是有个模糊的概念,从别的博客转过来的,先记录下
在 Linux 操作系统上运行内存需求量较大的应用程序时,由于其采用的默认页面大小为 4KB,因而将会产生较多 TLB Miss 和缺页中断,从而大大影响应用程序的性能。当操作系统以 2MB 甚至更大作为分页的单位时,将会大大减少 TLB Miss 和缺页中断的数量,显著提高应用程序的性能。这也正是 Linux 内核引入大页面支持的直接原因。好处是很明显的,假设应用程序需要 2MB 的内存,如果操作系统以 4KB 作为分页的单位,则需要 512 个页面,进而在 TLB 中需要 512 个表项,同时也需要 512 个页表项,操作系统需要经历至少 512 次 TLB Miss 和 512 次缺页中断才能将 2MB 应用程序空间全部映射到物理内存;然而,当操作系统采用 2MB 作为分页的基本单位时,只需要一次 TLB Miss 和一次缺页中断,就可以为 2MB 的应用程序空间建立虚实映射,并在运行过程中无需再经历 TLB Miss 和缺页中断(假设未发生 TLB 项替换和 Swap)。
为了能以最小的代价实现大页面支持,Linux 操作系统采用了基于 hugetlbfs 特殊文件系统 2M 字节大页面支持。这种采用特殊文件系统形式支持大页面的方式,使得应用程序可以根据需要灵活地选择虚存页面大小,而不会被强制使用 2MB 大页面。
在mysql中,innodb可以使用large pages来分配buffer pool跟additional memory pool.
下面来看下mysql使用large pages具体的实现方法
1:查看系统是否支持huge-pages
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 47708160 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
[root@localhost ~]#
Hugepagesize有值,说明系统支持large pages(如不支持,系统需要重新编译来支持)
2.修改预分配的hugepages大小
[root@localhost ~]# sysctl -w vm.nr_hugepages=512
vm.nr_hugepages = 512
[root@localhost ~]#
[root@localhost ~]# cat /proc/meminfo | grep -i huge
AnonHugePages: 79872 kB
HugePages_Total: 512
HugePages_Free: 505
HugePages_Rsvd: 229
HugePages_Surp: 0
Hugepagesize: 2048 kB
[root@localhost ~]#
3.查看mysql用户的组信息
[root@localhost ~]# id mysql
uid=500(mysql) gid=501(mysql) groups=501(mysql)
[root@localhost ~]#
4.配置使用大页内存的用户组
[root@localhost ~]# sysctl -w vm.hugetlb_shm_group=501
vm.hugetlb_shm_group = 501
[root@localhost ~]#
5.修改ulimit
vim /etc/security/limits.conf
@mysql soft memlock unlimited
@mysql hard memlock unlimited
6.修改/etc/sysconfig.conf
# Increase the amount of shmem allowed per segment
# This depends upon your memory, remember your
kernel.shmmax = 68719476736
# Increase total amount of shared memory.
kernel.shmall = 4294967296
shmmax 是最大的共享内存段的大小,单位是字节,默认32M,肯定是不够的,这个应该比innodb_buffer_pool要大。shmall是共享内存的总大小,单位是页,默认2097152(8G)。可以使用sysctl -w或者在/etc/sysctl.conf中设置。
sysctl -p使其设置生效。
7.修改my.cnf
[mysqld]
large-pages
8.重启mysql
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL.... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown
140320 15:18:12 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:18:12 InnoDB: Starting shutdown...
140320 15:18:12 InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:18:12 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete
140320 15:18:12 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:18:13 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:18:13 InnoDB: The InnoDB memory heap is disabled
140320 15:18:13 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:18:13 InnoDB: Compressed tables use zlib 1.2.3
140320 15:18:13 InnoDB: Initializing buffer pool, size = 256.0M
140320 15:18:13 InnoDB: Completed initialization of buffer pool
140320 15:18:13 InnoDB: highest supported file format is Barracuda.
140320 15:18:15 InnoDB: Waiting for the background threads to start
140320 15:18:16 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:18:16 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:18:16 [Note] - '0.0.0.0' resolves to '0.0.0.0';
140320 15:18:16 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:18:16 [Note] Event Scheduler: Loaded 0 events
140320 15:18:16 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: 3306 Source distribution
可以看见没有报错,假如我们调小nr_hugepages为200看看
[root@localhost mysql]# sysctl -w vm.nr_hugepages=200
vm.nr_hugepages = 200
[root@localhost mysql]# /etc/init.d/mysqld restart
Shutting down MySQL. [ OK ]
Starting MySQL... [ OK ]
[root@localhost mysql]# cat localhost.localdomain.err
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Normal shutdown
140320 15:20:08 [Note] Event Scheduler: Purging the queue. 0 events
140320 15:20:08 InnoDB: Starting shutdown...
140320 15:20:08 InnoDB: Shutdown completed; log sequence number 3629001490
140320 15:20:08 [Note] /usr/local/mysql/bin/mysqld: Shutdown complete
140320 15:20:08 mysqld_safe mysqld from pid file /data/mysql/localhost.localdomain.pid ended
140320 15:20:09 mysqld_safe Starting mysqld daemon with databases from /data/mysql
140320 15:20:09 InnoDB: The InnoDB memory heap is disabled
140320 15:20:09 InnoDB: Mutexes and rw_locks use GCC atomic builtins
140320 15:20:09 InnoDB: Compressed tables use zlib 1.2.3
140320 15:20:09 InnoDB: Initializing buffer pool, size = 256.0M
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
140320 15:20:09 InnoDB: Completed initialization of buffer pool
140320 15:20:09 InnoDB: highest supported file format is Barracuda.
140320 15:20:11 InnoDB: Waiting for the background threads to start
140320 15:20:12 InnoDB: 1.1.8 started; log sequence number 3629001490
140320 15:20:12 [Note] Server hostname (bind-address): '0.0.0.0'; port: 3306
140320 15:20:12 [Note] - '0.0.0.0' resolves to '0.0.0.0';
140320 15:20:12 [Note] Server socket created on IP: '0.0.0.0'.
140320 15:20:12 [Note] Event Scheduler: Loaded 0 events
140320 15:20:12 [Note] /usr/local/mysql/bin/mysqld: ready for connections.
Version: '5.5.25a-log' socket: '/tmp/mysqld.sock' port: 3306 Source distribution
[root@localhost mysql]#
上面出现了如下警告:
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
因为hugepage分配内存的时候,是一次性、且独占的, 一次性指在mysqld起来的时候,所有buffer pool需要的内存总和一次性的被分配,而且这些分配的内存不能被其他进程占用。所以就是一次性且独占。而当buffer pool所需要的内存被一次性的分配了之后,那么必然就不会使用swap了。
using conventional memory pool是什么意思呢?因为你的hugepage内存不够你的buffer pool大小,所以就用常规内存了。
开启大页内存的好处:
1.减少内存置换
2.减少TLB miss次数
3.减少swap
在启动mysql的时候,最容易报的错误是:
InnoDB: HugeTLB: Warning: Failed to allocate 274726912 bytes. errno 12
InnoDB HugeTLB: Warning: Using conventional memory pool
这是由于上面配置的两点所致。
1)nr_hugepages 的值*2M应大于(innodb_buffer_pool_size+innodb_additional_mem_pool_size)因为以上谈到 innodb可以使用large pages来分配buffer pool跟additional memory pool.
2)memlock 的设置,在启动mysql时,一定要先查看用ulimit -a 来查看max locked memory 设置是否合理,可以尝试用以上两种方法来设置该值。还有一点,/etc/security/limits.conf配置文件的修改.
参考资料:
http://www.cyberciti.biz/tips/linux-hugetlbfs-and-mysql-performance.html
https://dev.mysql.com/doc/refman/5.0/en/large-page-support.html
转自:
mysql large_【转】mysql对large page的支持相关推荐
- 解决 mysql>com.mysql.jdbc.PacketTooBigException: Packet for query is too large (12073681 > 4194304)
com.mysql.jdbc.PacketTooBigException: Packet for query is too large 异常解决办法: 原因: 查询出的数据包过大,默认情况下mysql ...
- mysql key_block_size_Mysql入门mysql Key_buffer_size参数的优化设置
<Mysql入门mysql Key_buffer_size参数的优化设置>要点: 本文介绍了Mysql入门mysql Key_buffer_size参数的优化设置,希望对您有用.如果有疑问 ...
- Mtop,Mysql Top,一个Mysql的监控工具
mtop 实时监控 MySQL Requires the following perl modules: Module Available At ----------- ...
- mysql异常恢复工具_[MySQL异常恢复]mysql ibd文件恢复
在mysql中由于某种原因保存有ibd文件,但是表已经被删除或者frm文件损坏亦或者ibdata文件损坏/丢失等.本文模拟在这种情况下,通过mysql自身技术即可完成ibd文件恢复. 测试环境mysq ...
- mysql multi innobackupex,mysql之 Innobackupex(全备+增量)备份恢复
MySQL的热备(物理备份)可以采取全备加增量备份的方式来减轻数据库I/O压力及系统资源的占用.增量备份主要是以全备或增量备份为基础,备份那些变更过的页面.其备份的原理是基于一个不断增长的LSN序列, ...
- MYSQL之错误代码----mysql错误代码与JAVA实现
原文地址:MYSQL之错误代码----mysql错误代码与JAVA实现作者:戒定慧 his chapter lists the errors that may appear when you call ...
- MySQL数据库教程天花板,mysql安装到mysql高级,强|硬
MySQL数据库笔记 第一部分 MySQL基础篇 第01章 数据库概述 1. 为什么要使用数据库 持久化(persistence):把数据保存到可掉电式存储设备中以供之后使用.大多数情况下,特别是企业 ...
- 【Mysql】认识Mysql重要架构(一)
1.Mysql 体系架构 MySQL Server架构自顶向下大致可以分网络连接层.核心服务层.存储引擎层和系统文件层 网络连接层: 主要负责连接处理.身份验证.安全性等,一般 C/S 架构都会有这一 ...
- MySQL数据库教程天花板,mysql安装到mysql高级,强|硬 宋红康版(自用不可外传)
文章目录 MySQL数据库笔记 第一部分 MySQL基础篇 第01章 数据库概述 1. 为什么要使用数据库 2. 数据库与数据库管理系统 2.1 数据库的相关概念 3. RDBMS与非RDBMS 3. ...
最新文章
- python两台电脑文件传输_python实现简单socket程序在两台电脑之间传输消息的方法...
- raid卡的结构示意图
- Java程序设计基础笔记 • 【目录】
- DBImport v3.0 中文版发布:支持各大数据库数据互导(IT人员必备工具)
- 白盒测试常用工具介绍
- AI语音技术的架构(学习心得)
- 姓氏头像制作生成头像组合微信小程序源码
- 女诗经,男楚辞
- 计量经济学及Stata应用 陈强 第九章模型设定与数据问题习题9.3
- 快递规模持续扩大,丰网加盟迎发展新机遇
- 2022最新 Emlog新版导航源码 带用户中心
- MSP430之仿真器驱动安装问题
- linux下打包C++ Qt可执行程序出现的问题总结
- IAR更改更改字体的办法,完美解决!
- android 字体大小换算,Android单位换算与UI适配
- python 月球上物体的体重,1.重量计算。月球上物体体重是在地球上的16.5%,假如你在地球上每年增长0.5KG,输出未来十年你在地球和月球上的体重状况...
- 怎么破解wifi密码?如何破解无线路由器密码?
- 第一颗国产 两端口 LVDS至HDMI2.0 (3Gbps)发射器 ,数字音频输入 芯片LT2611UXC
- Tomcat启动闪退或者端口占用
- Aerospike-介绍
热门文章
- FreeEIM 是班级的学习委员
- 2013年,6月20日,今天非常无聊啊。
- 【转载】c++之类的基本操作(c++ primer 的读书笔记 ,类对象, 类用户, 类成员的含义)
- 媒体没谈到的企业即时通讯软件
- after you've written your business model
- 什么叫企业级即时通讯软件
- 千万不要成为这样一个程序员!
- img 固定在父容器底部_容器苗容器怎么选?六种容器特点详解!
- 深入理解Hadoop之HDFS架构
- mysql found row_mysql found_row()使用详解