mongodb 对内存的占用监控 ——mongostat,linux系统可用的内存是free + buffers + cached...
刚开始使用mongodb的时候,不太注意mongodb的内存使用,但通过查资料发现mongodb对内存的占用是巨大的,在本地测试服务器中,8G的内存居然被占用了45%。汗呀。
本文就来剖析一下mongodb对内存的具体使用方法,以及生产环境针对mongodb占大量内存的问题的解决。
先看一个MongoDB服务器的top命令结果
shell> top -p $(pidof mongod)
Mem: 32872124k total, 30065320k used, 2806804k free, 245020k buffers
Swap: 2097144k total, 100k used, 2097044k free, 26482048k cached
VIRT RES SHR %MEM
1892g 21g 21g 69.6
或者 先top后,然后 shift+m 把当前进场按占用内存的多少排序。看看你的mongodb能占用多少内存。
先了解一下linux对内存的管理方式:
在Linux里(别的系统也差不多),内存有物理内存和虚拟内存之说,物理内存是什么自然无需解释,虚拟内存实际是物理内存的抽象,多数情况下,出于方便性的考虑,程序访问的都是虚拟内存地址,然后操作系统会把它翻译成物理内存地址。
很 多人会把虚拟内存和Swap混为一谈,实际上Swap只是虚拟内存引申出的一种技术而已:操作系统一旦物理内存不足,为了腾出内存空间存放新内容,就会把 当前物理内存中的内容放到交换分区里,稍后用到的时候再取回来,需要注意的是,Swap的使用可能会带来性能问题,偶尔为之无需紧张,糟糕的是物理内存和 交换分区频繁的发生数据交换,这被称之为Swap颠簸,一旦发生这种情况,先要明确是什么原因造成的,如果是内存不足就好办了,加内存就可以解决,不过有 的时候即使内存充足也可能会出现这种问题,比如MySQL就有可能出现这样的情况,解决方法是限制使用Swap:
shell> sysctl -w vm.swappiness=0
查看内存情况最常用的是free命令:
shell> free -m
total used free shared buffers cached
Mem: 32101 29377 2723 0 239 25880
-/+ buffers/cache: 3258 28842
Swap: 2047 0 2047
新 手看到used一栏数值偏大,free一栏数值偏小,往往会认为内存要用光了。其实并非如此,之所以这样是因为每当我们操作文件的时候,Linux都会尽 可能的把文件缓存到内存里,这样下次访问的时候,就可以直接从内存中取结果,所以cached一栏的数值非常的大,不过不用担心,这部分内存是可回收的, 操作系统会按照LRU算法淘汰冷数据。除了cached,还有一个buffers,它和cached类似,也是可回收的,不过它的侧重点在于缓解不同设备 的操作速度不一致造成的阻塞,这里就不多做解释了。
知道了原理,我们就可以推算出系统可用的内存是free + buffers + cached:
shell> echo "2723 + 239 + 25880" | bc -l
28842
至于系统实际使用的内存是used – buffers – cached:
shell> echo "29377 - 239 - 25880" | bc -l
3258
除了free命令,还可以使用sar命令:
shell> sar -r
kbmemfree kbmemused %memused kbbuffers kbcached
3224392 29647732 90.19 246116 26070160
3116324 29755800 90.52 245992 26157372
2959520 29912604 91.00 245556 26316396
2792248 30079876 91.51 245680 26485672
2718260 30153864 91.73 245684 26563540
shell> sar -W
pswpin/s pswpout/s
0.00 0.00
0.00 0.00
0.00 0.00
0.00 0.00
0.00 0.00
希望你没有被%memused吓到,如果不幸言中,请参考free命令的解释。
接着咱们分析一下mongodb是怎么使用内存的:
目 前,MongoDB使用的是内存映射存储引擎,它会把磁盘IO操作转换成内存操作,如果是读操作,内存中的数据起到缓存的作用,如果是写操作,内存还可以 把随机的写操作转换成顺序的写操作,总之可以大幅度提升性能。MongoDB并不干涉内存管理工作,而是把这些工作留给操作系统的虚拟缓存管理器去处理, 这样的好处是简化了MongoDB的工作,但坏处是你没有方法很方便的控制MongoDB占多大内存,事实上MongoDB会占用所有能用的内存,所以最 好不要把别的服务和MongoDB放一起。
有时候,即便MongoDB使用的是64位操作系统,也可能会遭遇臭名昭著的OOM问题,出现这种情况,多半是因为限制了虚拟内存的大小所致,可以这样查看当前值:
shell> ulimit -a | grep 'virtual'
多数操作系统缺省都是把它设置成unlimited的,如果你的操作系统不是,可以这样修改:
shell> ulimit -v unlimited
不过要注意的是,ulimit的使用是有上下文的,最好放在MongoDB的启动脚本里。
有 时候,出于某些原因,你可能想释放掉MongoDB占用的内存,不过前面说了,内存管理工作是由虚拟内存管理器控制的,所以通常你只能通过重启服务来释放 内存,你一定不齿于这样的方法,幸好可以使用MongoDB内置的closeAllDatabases命令达到目的:
mongo> use admin
mongo> db.runCommand({closeAllDatabases:1})
另外,通过调整内核参数drop_caches也可以释放缓存:
shell> sysctl -w vm.drop_caches=1
平时可以通过mongo命令行来监控MongoDB的内存使用情况,如下所示:
mongo> db.serverStatus().mem:
{
"resident" : 22346,
"virtual" : 1938524,
"mapped" : 962283
}
还可以通过mongostat命令来监控MongoDB的内存使用情况,如下所示:
shell> mongostat
mapped vsize res faults
940g 1893g 21.9g 0
940g 1893g 21.9g 0
940g 1893g 21.9g 0
940g 1893g 21.9g 0
940g 1893g 21.9g 0
其中内存相关字段的含义是:
mapped:映射到内存的数据大小
visze:占用的虚拟内存大小
res:实际使用的内存大小
注:如果操作不能再内存中完成,结果faults列的数值不会是0,视大小可能有性能问题。
转载于:https://www.cnblogs.com/bonelee/p/8366027.html
mongodb 对内存的占用监控 ——mongostat,linux系统可用的内存是free + buffers + cached...相关推荐
- linux创建云主机内存不足,云主机DC2 Linux系统CPU与内存占用率高导致无法登录
本文档介绍 Linux 云服务器因 CPU 与内存占用率高导致无法登录等问题的排查方法和解决方案. 登录与查看系统负载登录云服务器.通过第三方软件远程登录 Linux 云服务器( Linux 云服务器 ...
- 怎么查看Linux系统中的内存?
我们在做Linux系统优化的时候,物理内存是非常重要的,Linux也有提供很多方法来监控内存资源的使用情况,那么你知道怎么查看Linux系统中的内存吗? Linux中使用free可以查看系统内存使用状 ...
- linux机器查看物理内存,Linux系统中下查看内存的方法
Linux中使用free可以查看系统内存使用状态, 默认单位为k blue_stone@blueice:~$ free total used free shared buffers cached Me ...
- python 监控linux硬盘,Python3监控windows,linux系统的CPU、硬盘、内存使用率和各个端口的开启情况详细代码实例...
由于项目的需要,需要做一个简单监控服务器的CPU利用率.CPU负载.硬盘使用率.内存利用率和服务器的各个端口的开启情况的程序,并把结果通知到监控平台,如果出现异常,监控平台打电话或者发短信通知给具体的 ...
- linux cpu 内存爆满 mysql停止_如何用脚本统计linux系统CPU、内存、磁盘IO等信息?...
概述 今天主要分享一个shell脚本,用来获取linux系统CPU.内存.磁盘IO等信息. 脚本 #!/bin/bash# 获取要监控的本地服务器IP地址IP=`ifconfig | grep ine ...
- 查看linux电脑总内存,如何查看Linux系统中的内存使用情况的命令呢?
有些命令可用于检查Linux系统中的内存使用情况.这是一些更好的命令. 有很多工具可以查看Linux系统中的内存使用情况.一些命令被广泛使用,例如free和ps.其他命令允许以多种方式显示系统的性能统 ...
- linux 内存清理 释放命令,Linux系统中的内存清理和释放命令总结
Linux内核代码量大.逻辑关系复杂,因此对内核中的错误进行追溯和调试一直以来都是一件既耗费时间又耗费精力的事情.接下来是小编为大家收集的Linux系统中的内存清理和释放命令总结,希望能帮到大家. L ...
- linux如何杀死进程最快,如何在Linux系统中杀掉内存消耗最大的进程?
作为一名博客作者,我收藏了很多博客.网站和论坛用来寻找 Linux 和 Unix 相关的内容.有时候,我在浏览器中开启了非常多的标签页,导致操作系统会无响应好几分钟.我不能移动我的鼠标,也不能杀掉一个 ...
- linux可用机场客户端,Linux系统可用的6款Bittorrent客户端
大家都知道迅雷目前尚不支持Linux系统,其实使用Bittorrent客户端进行下载未尝不是一个好的选择,这里给大家介绍6款Linux可用Bittorrent客户端,方便经常需要进行文件下载的Linu ...
最新文章
- 《程序员面试宝典》-数据结构编程练习1
- Android 水波效果 | 涟漪效果 实现
- WINDOWS消息系统简洁图解
- png 微软ppt 透明度_用5个技巧教你做出让人眼前一亮的「PPT章节页」,一看就会...
- oracle中的柱状图,详解Oracle中XMI开发UML图表技术
- linux使用权限模式启动mongodb,Linux安装MongoDB启动及常见问题解决
- Table.Rows.Remove(dr)和Table.Delete()的区别
- 《零基础看得懂的C语言入门教程 》——(八)了解基本数组还不是那么简单
- 概率论基础知识各种分布
- 网站能拿到其他网站的cookie_在网站推广中企业网站能发挥哪些作用?(一)
- postman跨域测试_安装使用Hoppscotch构建API请求访问与测试
- 如何为网站进行安装SSL证书
- 微软虚拟化技术——构建高效开发与测试环境
- vue 安装element_vue实战开发007:vue引入Element-UI并配置路由
- 微信打飞机java代码
- 网络收集的逻辑思维题
- Mac中Safari浏览器转换IE各版本
- 2021_IJCAI_Graph Learning based Recommender Systems: A Review—(IJCAI, 2021)
- dbm与mysql_DBM数据库 | 学步园
- Linux服务器搭建——VMware14安装
热门文章
- C++实现Linux下弹出U盘的方法
- Android怎么设置主活动,如何从另一个活动启动Android AppWidget的配置活动?
- redis常用命令getex_Redis常用命令详细介绍(摘抄)
- mac地址修改_优酷路由宝救砖时MAC和无线参数及SN恢复方法
- datagridview cell字体大小自适应_CELL:肿瘤为何“饿不死”?神经元为饥饿胰腺癌提供营养支持...
- 华为合作oppovivo小米鸿蒙,华为鸿蒙成功的关键:要让小米、OPPO、VIVO都用上鸿蒙...
- before vue路由钩子_vue组件级路由钩子函数介绍,及实际应用
- vba字典合并单元格为空_VBA合并单元格求和处理套路
- android应用内存分析,Android应用程序内存分析-Memory Analysis for Android Applications
- windows下查看当前进程,杀掉进程等