Linux内存管理(经典)
今天来带大家研究一下Linux
内存管理。对于精通 CURD
的业务同学,内存管理好像离我们很远,但这个知识点虽然冷门(估计很多人学完根本就没机会用上)但绝对是基础中的基础,这就像武侠中的内功修炼,学完之后看不到立竿见影的效果,但对你日后的开发工作是大有裨益的,因为你站的更高了。
文中所有示例图都是我亲手画的,画图比码字还费时间,但是看图理解比文字更直观,需要高清示例图片的同学,文末有获取方式自取。
再功利点的说,面试的时候不经意间透露你懂这方面知识,并且能说出个一二三来,也许能让面试官对你更有兴趣,离升职加薪,走上人生巅峰又近了一步。
前提约定:本文讨论技术内容前提,操作系统环境都是 x86
架构的 32 位 Linux
系统。
虚拟地址
进程初始化分配和操作的都是基于这个「虚拟地址」,只有当进程需要实际访问内存资源的时候才会建立虚拟地址和物理地址的映射,调入物理内存页。
虚拟地址的好处
4GB
的进程虚拟地址空间被分成两部分:「用户空间」和「内核空间」
物理地址
上面章节我们已经知道不管是用户空间还是内核空间,使用的地址都是虚拟地址,当需进程要实际访问内存的时候,会由内核的「请求分页机制」产生「缺页异常」调入物理内存页。
Linux
内核会将物理内存(这里需要注意!)分为3个管理区,分别是:
ZONE_DMA
DMA
内存区域。包含0MB~16MB之间的内存页框,可以由老式基于ISA
的设备通过DMA
使用,直接映射到内核的地址空间。
ZONE_NORMAL
普通内存区域。包含16MB~896MB之间的内存页框,常规页框,直接映射到内核的地址空间。
ZONE_HIGHMEM
高端内存区域。包含896MB以上的内存页框,不进行直接映射,可以通过永久映射和临时映射进行这部分内存页框的访问。
用户空间
用户进程能访问的是「用户空间」,每个进程都有自己独立的用户空间,虚拟地址范围从从 0x00000000
至 0xBFFFFFFF
总容量3G 。
用户进程通常只能访问用户空间的虚拟地址,只有在执行内陷操作或系统调用时才能访问内核空间。
进程与内存
进程(执行的程序)占用的用户空间按照「 访问属性一致的地址空间存放在一起 」的原则,划分成 5
个不同的内存区域。 访问属性指的是“可读、可写、可执行等 。
代码段
代码段是用来存放可执行文件的操作指令,可执行程序在内存中的镜像。代码段需要防止在运行时被非法修改,所以只准许读取操作,它是不可写的。
数据段
数据段用来存放可执行文件中已初始化全局变量,换句话说就是存放程序静态分配的变量和全局变量。
BSS段
BSS
段包含了程序中未初始化的全局变量,在内存中bss
段全部置零。堆
heap
堆是用于存放进程运行中被动态分配的内存段,它的大小并不固定,可动态扩张或缩减。当进程调用malloc等函数分配内存时,新分配的内存就被动态添加到堆上(堆被扩张);当利用free等函数释放内存时,被释放的内存从堆中被剔除(堆被缩减)
栈
stack
栈是用户存放程序临时创建的局部变量,也就是函数中定义的变量(但不包括
static
声明的变量,static意味着在数据段中存放变量)。除此以外,在函数被调用时,其参数也会被压入发起调用的进程栈中,并且待到调用结束后,函数的返回值也会被存放回栈中。由于栈的先进先出特点,所以栈特别方便用来保存/恢复调用现场。从这个意义上讲,我们可以把堆栈看成一个寄存、交换临时数据的内存区。
上述几种内存区域中数据段、BSS
段、堆通常是被连续存储在内存中,在位置上是连续的,而代码段和栈往往会被独立存放。堆和栈两个区域在 i386
体系结构中栈向下扩展、堆向上扩展,相对而生。
你也可以再linux下用size
命令查看编译后程序的各个内存区域大小:
[lemon ~]# size /usr/local/sbin/sshdtext data bss dec hex filename
1924532 12412 426896 2363840 2411c0 /usr/local/sbin/sshd
内核空间
直接映射区
直接映射区 Direct Memory Region
:从内核空间起始地址开始,最大896M
的内核空间地址区间,为直接内存映射区。
直接映射区的896MB的「线性地址」直接与「物理地址」的前896MB
进行映射,也就是说线性地址和分配的物理地址都是连续的。内核地址空间的线性地址0xC0000001
所对应的物理地址为0x00000001
,它们之间相差一个偏移量PAGE_OFFSET = 0xC0000000
该区域的线性地址和物理地址存在线性转换关系「线性地址 = PAGE_OFFSET
+ 物理地址」也可以用 virt_to_phys()
函数将内核虚拟空间中的线性地址转化为物理地址。
高端内存线性地址空间
内核空间线性地址从 896M 到 1G 的区间,容量 128MB 的地址区间是高端内存线性地址空间,为什么叫高端内存线性地址空间?下面给你解释一下:
前面已经说过,内核空间的总大小 1GB,从内核空间起始地址开始的 896MB 的线性地址可以直接映射到物理地址大小为 896MB 的地址区间。退一万步,即使内核空间的1GB线性地址都映射到物理地址,那也最多只能寻址 1GB 大小的物理内存地址范围。
请问你现在你家的内存条多大?快醒醒都 0202 年了,一般 PC 的内存都大于 1GB 了吧!
所以,内核空间拿出了最后的 128M 地址区间,划分成下面三个高端内存映射区,以达到对整个物理地址范围的寻址。而在 64 位的系统上就不存在这样的问题了,因为可用的线性地址空间远大于可安装的内存。
动态内存映射区
vmalloc Region
该区域由内核函数vmalloc
来分配,特点是:线性空间连续,但是对应的物理地址空间不一定连续。 vmalloc
分配的线性地址所对应的物理页可能处于低端内存,也可能处于高端内存。
永久内存映射区
Persistent Kernel Mapping Region
该区域可访问高端内存。访问方法是使用 alloc_page (_GFP_HIGHMEM)
分配高端内存页或者使用kmap
函数将分配到的高端内存映射到该区域。
固定映射区
Fixing kernel Mapping Region
该区域和 4G 的顶端只有 4k 的隔离带,其每个地址项都服务于特定的用途,如 ACPI_BASE
等。
回顾一下
上面讲的有点多,先别着急进入下一节,在这之前我们再来回顾一下上面所讲的内容。如果认真看完上面的章节,我这里再画了一张图,现在你的脑海中应该有这样一个内存管理的全局图。
内存数据结构
要让内核管理系统中的虚拟内存,必然要从中抽象出内存管理数据结构,内存管理操作如「分配、释放等」都基于这些数据结构操作,这里列举两个管理虚拟内存区域的数据结构。
用户空间内存数据结构
链表用于需要遍历全部节点的时候用,而红黑树适用于在地址空间中定位特定内存区域。内核为了内存区域上的各种不同操作都能获得高性能,所以同时使用了这两种数据结构。
内核空间动态分配内存数据结构
总结一下
Linux
内存管理是一个非常复杂的系统,本文所述只是冰山一角,从宏观角度给你展现内存管理的全貌,但一般来说,这些知识在你和面试官聊天的时候还是够用的,当然我也希望大家能够通过读书了解更深层次的原理。
希望这篇文章可以作为一个索引一样的学习指南,当你想深入某一点学习的时候可以在这些章节里找到切入点,以及这个知识点在内存管理宏观上的位置。
本文创作过程我也画了大量的示例图解,可以作为知识索引,个人感觉看图还是比看文字更清晰明了,你可以在我公众号「后端技术学堂」后台回复「内存管理」获取这些图片的高清原图。
老规矩,感谢各位的阅读,文章的目的是分享对知识的理解,技术类文章我都会反复求证以求最大程度保证准确性,若文中出现明显纰漏也欢迎指出,我们一起在探讨中学习。今天的技术分享就到这里,我们下期再见。
原创不易,看到这里,如果在我这有一点点收获,就动动手指「转发」和「在看」是对我最大的支持。
Reference
Linux内存管理(最透彻的一篇) https://cloud.tencent.com/developer/article/1515762
linux 内存管理初探 https://cloud.tencent.com/developer/article/1005671
linux内存管理源码分析 - 页框分配器 https://www.cnblogs.com/tolimit/p/4551428.html
Linux内核–内核地址空间分布和进程地址空间 https://my.oschina.net/wuqingyi/blog/854382
Linux内存管理 http://gityuan.com/2015/10/30/kernel-memory/
linux内核slab机制分析 https://www.jianshu.com/p/95d68389fbd1
Linux内核内存管理算法Buddy和Slab https://zhuanlan.zhihu.com/p/36140017
Linux内存之Slab https://fivezh.github.io/2017/06/25/Linux-slab-info/
Linux Used内存到底哪里去了? http://blog.yufeng.info/archives/2456
Linux内存管理(经典)相关推荐
- 一文掌握 Linux 内存管理
作者:dengxuanshi,腾讯 IEG 后台开发工程师 以下源代码来自 linux-5.10.3 内核代码,主要以 x86-32 为例. Linux 内存管理是一个很复杂的"工程&quo ...
- linux内存管理策略,Glibc内存管理—ptmalloc内存分配策略(1)
一.linux的内存布局 1.32位模式下内存的经典布局 图1 32位模式下内存经典布局 注:这种内存布局模式是linux内核2.6.7以前的默认内存布局形式 说明:(1)在32的机器上,lo ...
- Linux内存管理:ARM64体系结构与编程之cache(3):cache一致性协议(MESI、MOESI)、cache伪共享
目录 为什么系统软件人员要深入了解cache? cache一致性协议 神马是MESI协议? MESI的操作 MESI状态图 演示:初始化状态为I的cache line 当本地CPU的缓存行状态为I时, ...
- Linux内存管理:ARM64体系结构与编程之cache(2):cache一致性
<Linux内存管理:ARM64体系结构与编程之cache(1)> <Linux内存管理:ARM64体系结构与编程之cache(2)> <ARM SMMU原理与IOMMU ...
- Linux内存管理:ARM64体系结构与编程之cache(1)
<Linux内存管理:ARM64体系结构与编程之cache(1)> <Linux内存管理:ARM64体系结构与编程之cache(2)> <ARM SMMU原理与IOMMU ...
- Linux内存管理(一):综述
1. Linux进程内存布局 2.为什么要限制栈的大小 2.1 进程栈 2.2 线程栈 3. 操作系统内存布局相关函数 3.1 Heap 操作相关函数 3.2 Mmap 映射区 ...
- Windows内存管理和linux内存管理
windows内存管理 windows 内存管理方式主要分为:页式管理,段式管理,段页式管理. 页式管理的基本原理是将各进程的虚拟空间划分为若干个长度相等的页:页式管理把内存空间按照页的大小划分成片或 ...
- 万字长文,别再说你不懂Linux内存管理了(合辑),30 张图给你安排的明明白白...
之前写了两篇详细分析 Linux 内存管理的文章,读者好评如潮.但由于是分开两篇来写,而这两篇内容其实是有很强关联的,有读者反馈没有看到另一篇读起来不够不连贯,为方便阅读这次特意把两篇整合在一起,看这 ...
- 别再说你不懂Linux内存管理了,10张图给你安排的明明白白!
来自:后端技术学堂 过去的一周有点魔幻,有印象的有三个新闻:天猫总裁绯闻事件,蘑菇街裁员,不可能打工的周某也放出来了.三件事,两件和互联网行业相关,好像外面的世界很是精彩啊!吃瓜归吃瓜,学习还是不能落 ...
最新文章
- liunx使用ssh免密登录
- AI虚拟偶像:知识图谱赋予AI“生命感”
- 泊松分布的分布函数_第114讲 SAS泊松分布与泊松回归
- python之父-Python之父宣布退休,但Python仍在吞噬世界
- python适用场景_你真的了解Python吗?什么场景使用多线程,什么场景使用多进程?...
- centos7.5部署ELk
- 高性能浏览器网络(High Performance Browser Networking) 第二章
- BAT命令手动_自动启动和禁用服务
- python大牛是什么水平_yield--Python大牛必须掌握的高端语法
- 二、appium的原理
- 开心辞典计算机科学,人机大战首日战报:计算机与人类暂不分高下
- 超简单的子父组件传值
- 3D动画展示--3D图片旋转展示
- java中package的运用
- win10右键打不开显示设置和个性化的解决教程
- 数据结构-树与深度优先遍历
- 基于帝企鹅算法优化BP神经网络实现数据预测matlab代码
- mac配置iOS开发环境
- 电脑搜不到wifi?新换的路由器
- Joda Time的使用
热门文章
- Step By Step_Java通过JNI调C程序执行
- iptables与tomcat
- 从Google PR值审定标准来学习如何做推广
- Visual Studio 2008 每日提示(三十一)
- golang文件操作:打开关闭文件,带缓冲区的读文件
- Gin的路由类型:GET POST PUT DELETE
- GO关于gin工程关联GOPATH的说明
- 【收藏】怎样把 macOS 安装在移动硬盘或 U 盘里
- 【好文收藏】k8s中Pod 无法正常解析域名:部署 DNS 调试工具排查
- linux ubuntu/deepin与Windows时间不同步解决办法(双系统)