ArrayPool 源码解读之 byte[] 也能池化?
一:背景
1. 讲故事
最近在分析一个 dump 的过程中发现其在 gen2 和 LOH 上有不少size较大的free,仔细看了下,这些free生前大多都是模板引擎生成的html片段的byte[]数组,当然这篇我不是来分析dump的,而是来聊一下,当托管堆有很多length较大的 byte[] 数组时,如何让内存利用更高效,如何让gc老先生压力更小。
不知道大家有没有发现在 .netcore 中增加了不少池化对象的东西,比如:ArrayPool,ObjectPool 等等,确实在某些场景下还是特别实用的,所以有必要对其进行较深入的理解。
二:ArrayPool 源码分析
1. 一图胜千言
在我花了将近一个小时的源码阅读之后,我画了一张 ArrayPool 的池化图,所谓:一图在手,天下我有
。
有了这张图,接下来再聊几个概念并配上相应源码,我觉得应该就差不多了。
2. 池化的架构分级是什么样的?
ArrayPool 是由若干个 Bucket 组成, 而 Bucket 又由若干个 buffer[]
数组组成, 有了这个概念之后,再配一下代码。
public abstract class ArrayPool<T>
{public static ArrayPool<T> Create(){return new ConfigurableArrayPool<T>();}
}internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{private sealed class Bucket{internal readonly int _bufferLength;private readonly T[][] _buffers;private int _index;}private readonly Bucket[] _buckets; //bucket数组
}
3. 为什么每一个 bucket 里都有 50 个 buffer[]
这个问题很好回答,初始化时做了 maxArraysPerBucket=50
设定,当然你也可以自定义,具体参考如下代码:
internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{internal ConfigurableArrayPool() : this(1048576, 50){}internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket){int num = Utilities.SelectBucketIndex(maxArrayLength);Bucket[] array = new Bucket[num + 1];for (int i = 0; i < array.Length; i++){array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);}_buckets = array;}
}
4. bucket 中 buffer[].length 为什么依次是 16,32,64 ...
框架做了默认假定,第一个bucket中的 buffer[].length=16
, 后续 bucket 中的 buffer[].length
都是 x2 累计,涉及到代码就是 GetMaxSizeForBucket()
方法,参考如下:
internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket)
{Bucket[] array = new Bucket[num + 1];for (int i = 0; i < array.Length; i++){array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);}
}internal static int GetMaxSizeForBucket(int binIndex)
{return 16 << binIndex;
}
5. 初始化时 bucket 到底有多少个?
其实在上图中我也没有给出 bucket 到底有多少个,那到底是多少个呢????????????? ,当我阅读完源码之后,这算法还挺有意思的。
先说一下结果吧,默认 17 个 bucket,你肯定会好奇怎么算的?先说下两个变量:
maxArrayLength=1048576 = 2的20次方
buffer.length= 16 = 2的4次方
最后的算法就是取次方的差值:bucket[].length= 20 - 4 + 1 = 17
,换句话说最后一个 bucket 下的 buffer[].length=1048576
,详细代码请参考 SelectBucketIndex()
方法。
internal sealed class ConfigurableArrayPool<T> : ArrayPool<T>
{internal ConfigurableArrayPool(): this(1048576, 50){ }internal ConfigurableArrayPool(int maxArrayLength, int maxArraysPerBucket){int num = Utilities.SelectBucketIndex(maxArrayLength);Bucket[] array = new Bucket[num + 1];for (int i = 0; i < array.Length; i++){array[i] = new Bucket(Utilities.GetMaxSizeForBucket(i), maxArraysPerBucket, id);}_buckets = array;}internal static int SelectBucketIndex(int bufferSize){return BitOperations.Log2((uint)(bufferSize - 1) | 0xFu) - 3;}
}
到这里我相信你对 ArrayPool 的池化架构思路已经搞明白了,接下来看下如何申请和归还 buffer[]。
三:如何申请和归还
既然 buffer[] 做了颗粒化,那就应该好借好还,反应到代码上就是 Rent()
和 Return()
方法,为了方便理解,上代码说话:
class Program{static void Main(string[] args){var arrayPool = ArrayPool<int>.Create();var bytes = arrayPool.Rent(10);for (int i = 0; i < bytes.Length; i++) bytes[i] = 10;arrayPool.Return(bytes);Console.ReadLine();}}
有了代码和图之后,再稍微捋一下流程。
从 ArrayPool 中借一个
byte[10]
大小的数组,为了节省内存,先不备货,临时生成一个byte[].size=16
的数组出来,简化后的代码如下,参考if (flag)
处:
internal T[] Rent(){T[][] buffers = _buffers;T[] array = null;bool lockTaken = false;bool flag = false;try{if (_index < buffers.Length){array = buffers[_index];buffers[_index++] = null;flag = array == null;}}if (flag){array = new T[_bufferLength];}return array;}
这里有一个坑,那就是你以为借了 byte[10]
,现实给你的是 byte[16]
,这里稍微注意一下。
当用 ArrayPool.Return 归还
byte[16]
时, 很明显看到它落到了第一个bucket的第一个buffer[]上,参考如下简化后的代码:
internal void Return(T[] array){if (_index != 0){_buffers[--_index] = array;}}
这里也有一个值得注意的坑,那就是还回去的 byte[16]
里面的数据默认是不会清掉的,从上面的代码也是可以看出来的,要想做清理,需要在 Return 方法中指定 clearArray=true
,参考如下代码:
public override void Return(T[] array, bool clearArray = false){int num = Utilities.SelectBucketIndex(array.Length);if (num < _buckets.Length){if (clearArray){Array.Clear(array, 0, array.Length);}_buckets[num].Return(array);}}
四:总结
学习这其中的 池化架构
思想,对平时项目开发还是能提供一些灵感的,其次对那些一次性使用 byte[]
的场景,用池化是个非常不错的方法,这也是我对朋友dump分析后提出的一个优化思路。
END
工作中的你,是否已遇到 ...
1. CPU爆高
2. 内存暴涨
3. 资源泄漏
4. 崩溃死锁
5. 程序呆滞
等紧急事件,全公司都指望着你能解决... 危难时刻才能展现你的技术价值,作为专注于.NET高级调试的技术博主,欢迎微信搜索: 一线码农聊技术,免费协助你分析Dump文件,希望我能将你的踩坑经验分享给更多的人。
ArrayPool 源码解读之 byte[] 也能池化?相关推荐
- Android 开源框架之 Android-async-http 源码解读
开源项目链接 Android-async-http仓库:https://github.com/loopj/android-async-http android-async-http主页:http:// ...
- Fabric中PBFT源码解读——Checkpoint机制
文章目录 1. 写在前面 1.1 前置阅读 1.2 对TestCheckpoint函数的测试 2. 对TestCheckpoint函数运行流程的解读 2.1 Checkpoint和Water mark ...
- AndroidVideoCache源码解读
一.关于AndroidVideoCache AndroidVideoCache是一个音视频缓存库,用于支持VideoView/MediaPlayer, ExoPlayer ,IJK等播放器的边下载边播 ...
- jpcsp源码解读6:PSF文件
当你运行了模拟器,通过模拟器菜单选择并加载一个umd镜像,模拟器就用这个umd镜像实例化一个UmdIsoReader(见上一篇,源码解读5). 通过这个UmdIsoReader,从光盘提取的第一个文件 ...
- jpcsp源码解读5:umd光盘镜像(.iso)
这次的状况稍显复杂. 首先说一下umd光盘镜像文件的内部组织方式.注意,这些内容全部是从源码解读而来,而不是来自关于这种文件格式的标准文档. java科普之文件操作: fileReader = new ...
- JPCSP源码解读14:动态二进制翻译2
JPCSP源码解读14:动态二进制翻译2 IExecutable 上一篇中提到,我们现在有CodeInstruction,代表单条指令,以及其两个子类,分别代表无分支基本块和本地码序列.另外,有cla ...
- 【JVM】Java类加载器设计原理(ClassLoader源码解读/ SPI机制/ 绕开双亲委派/ 常见Java虚拟机)
目录 1. 什么是类加载器 2. 类加载器加载的过程 3. Class文件读取来源 4. 类加载器的分类 5. 那些操作会初始化类加载器 6. 类加载器的双亲委派机制 6.1 双亲委派机制机制的好处 ...
- PostgreSQL 源码解读(155)- 后台进程#7(walsender#3)
本节继续介绍PostgreSQL的后台进程walsender,重点介绍的是调用栈中的函数WalSndLoop->WaitLatchOrSocket->WaitEventSetWait-&g ...
- java基本集合源码解读-JDK8/11
文章目录 前言 详尽的debugger底层查看源码配置 一.集合体系图 二.List类集合 2.1.1 ArrayList 2.1.2ArrayList底层源码分析 结论: 2.1.3 使用Array ...
最新文章
- OpenCV深度神经网络实现人体姿态评估
- windows 7 全屏游戏解决方案
- vue2.0 练习项目-外卖APP(2)
- 简单判断用户重复登录,记录一下
- 币安布局去中心化交易所,原来是因为这三个原因!
- 跨域失败 过滤器_跨域问题解决方案
- js的client、scroll、offset详解与兼容性
- web加载本地html,WKWebview加载本地html问题汇总
- c语言非标准输出电源适配器,五分钟了解设计模式(3)---适配器模式
- 【秋招毕业】自由奔赴的行者2021年终总结
- 黑马旅游网编写练习(8)--旅游线路查询功能
- Word文档换台电脑打开后字体、排版等会发生变化的原因及解决方案!
- ABP框架Web API跨域问题的解决方案
- 2018 ISCC re\web\misc WP
- 教育培训行业现状分析
- 【excel】解决录制宏时报错:为便于记录,启动文件夹中的“个人宏工作簿”必须保持打开状态
- 服务器上可以重装操作系统吗,服务器操作系统可以重装
- vmware安装centos8网络配置并配置NAT子网(解决Unit network.service not found问题)
- 2012年4月编程语言排行榜:C语言重返第一
- 【Sofice小司笔记】5 计算机网络,包含数据传输原理、网络各层协议详细说明、TCP/IP协议栈各常用协议说明、TCP握手挥手、可靠传输、网络加密技术