leveldb Arena 分析
leveldb Arena 分析
版权声明:本文为 cheng-zhi 原创文章,可以随意转载,但必须在明确位置注明出处!
Arena
Arena
是 leveldb
项目里面使用的轻量级的内存池对象,leveldb
用这个对象来管理内存的分配,简化了 new
和 delete
的调用,我们也可以从这个轻量级的内存池对象学习 google
大神工程师是如何管理内存的。
Arena 内存管理模型
这是罗道文网站上关于 leveldb
的一张 Arena
的内存模型图:
Arena
使用下面几个成员变量来描述上面的模型图
// 当前内存块未分配内存的起始地址
char* alloc_ptr_;// 当前内存块剩余的内存
size_t alloc_bytes_remaining_;// Arena 使用 vector 来存储每个内存块的地址
std::vector<char*> blocks_;// 当前 Arena 已经分配的总内存量
port::AtomicPointer memory_usage_;
在开始分析之前你需要了解申请内存和分配内存的区别:
- 申请内存:使用
new
来向操作系统申请一块连续的内存区域。 - 分配内存:将已经申请的内存分配给项目组件使用,这体现在增加
alloc_ptr_
和减少alloc_bytes_remaining_
这两个指针上。
为什么要强调这两个概念呢?
因为 Arena
是一个内存池,他的功能就是内存的管理,包括申请内存,分配内存,释放内存。
Arena 的构造和析构
Arena
的源码位置:/leveldb/util/arena.h
, /leveldb/util/arena.cc
// 良好的初始化风格
Arena::Arena() : memory_usage_(0) {alloc_ptr_ = NULL; alloc_bytes_remaining_ = 0;
}Arena::~Arena() {// 分别释放 vector 中每个指针指向的内存块for (size_t i = 0; i < blocks_.size(); i++) {delete[] blocks_[i];}
}
Arena 提供的接口函数
Arena
给我们提供了 3 个 public
函数来简化我们的内存访问
public:// 基本的内存分配函数char* Allocate(size_t bytes);// 按照字节对齐来分配内存char* AllocateAligned(size_t bytes);// 返回目前分配的总的内存size_t MemoryUsage() const;
下面一一分析
Allocate
这是一个最重要的内存分配函数,这个函数会根据你要申请的内存大小来调用另外两个私有的内存分配函数
inline char* Arena::Allocate(size_t bytes) {// 不需要分配 0 字节的内存assert(bytes > 0);// 申请的内存小于剩余的内存,就直接在当前内存块上分配内存if (bytes <= alloc_bytes_remaining_) {char* result = alloc_ptr_;alloc_ptr_ += bytes;alloc_bytes_remaining_ -= bytes;return result;}// 申请的内存的大于当前内存块剩余的内存,就用这个函数来重新申请内存return AllocateFallback(bytes);
}
AllocateFallback
在申请的内存大于当前块剩余内存时,AllocateFallback
会被调用,它提供 2 种申请内存的策略:
- 当前块剩余内存 < 申请的内存 < 默认内存块大小的 1 / 4 (1096 KB / 4 = 1024 KB),重新申请一个默认大小的内存块 (4096 KB)。
- 申请的内存大于当前块剩余内存,并且大于默认内存块大小的 1 / 4,直接申请一个需要的的 bytes 大小的内存块。
第二种分配方法的理由是可以减少内存分配的次数,分析如下:
假如我当前块剩余 900 KB 内存,而我需要申请 1200 KB 内存,如果我直接申请一块大小为 1200 KB 的内存块,就只需要申请一次;但是如果我在当前块先分配 900 KB 内存,然后再申请一个新的 4096 KB 的内存块,再在里面分配 1200 - 900 = 300 KB 的内存,这样就需要申请 1 次内存,分配两次内存,效率低下了不少(在分配比较频繁的时候),因此这样直接申请并分配一个 bytes 大小的内存块非常高效方便。
// bytes 代表实际要申请的内存大小
char* Arena::AllocateFallback(size_t bytes) {// kBlockSize = 4096 KB// bytes > 1 / 4 (1024 KB),调用 AllocateNewBlock 申请一块新的大小为 bytes 的内存if (bytes > kBlockSize / 4) {char* result = AllocateNewBlock(bytes);return result;}// bytes < 1 / 4 (1024 KB),申请一个默认大小为 4096 KB 的内存块alloc_ptr_ = AllocateNewBlock(kBlockSize);alloc_bytes_remaining_ = kBlockSize;// 在申请的默认大小的内存块里分配 bytes 字节内存char* result = alloc_ptr_;alloc_ptr_ += bytes;alloc_bytes_remaining_ -= bytes;return result;
}
AllocateNewBlock
这是 AllocateNewBlock
的实现,它就是简单的申请了一个 block_bytes
大小的内存块
char* Arena::AllocateNewBlock(size_t block_bytes) {// 申请一个 block_bytes 大小的内存块char* result = new char[block_bytes];// 向 vector 中添加这个内存块的地址blocks_.push_back(result);// 增加当前内存分配的总量memory_usage_.NoBarrier_Store(reinterpret_cast<void*>(MemoryUsage() + block_bytes + sizeof(char*)));return result;
}
AllocateAligned
这个函数可以分配字节对齐的内存,实现稍微有些复杂,不过仔细分析还是有很多营养的,注释很详细
char* Arena::AllocateAligned(size_t bytes) {// 设置要对齐的字节数,最多 8 字节对齐,否则就按照当前机器的 void* 的大小来对齐const int align = (sizeof(void*) > 8) ? sizeof(void*) : 8;// 字节对齐必须是 2 的次幂, 例如 align = 8// 8 & (8 - 1) = 1000 & 0111 = 0, 表示 8 是字节对齐的assert((align & (align-1)) == 0); // 了解一个公式:A & (B - 1) = A % B// 所以,这句话的意思是将 alloc_ptr_ % align 的值强制转换成 uintptr_t 类型// 这个 uintptr_t 类型代表了当前机器的指针大小size_t current_mod = reinterpret_cast<uintptr_t>(alloc_ptr_) & (align-1);// 如果上面的代码返回 0 代表当前 alloc_ptr_ 已经是字节对齐了// 否则就计算出对齐的偏差// 例如 current_mod = 2, 则还需要 8 - 2 = 6 个字节才能使得 alloc_ptr 按照 8 字节对齐size_t slop = (current_mod == 0 ? 0 : align - current_mod);// 分配的字节数加上对齐偏差就是最后需要分配的内存字节总量size_t needed = bytes + slop;char* result;// 当总量小于当前内存块的剩余大小,就直接在当前内存块分配 needed 大小的内存if (needed <= alloc_bytes_remaining_) {result = alloc_ptr_ + slop;alloc_ptr_ += needed;alloc_bytes_remaining_ -= needed;} else {// 否则就按照这个函数的内存分配策略来申请内存,见上面的分析result = AllocateFallback(bytes);}assert((reinterpret_cast<uintptr_t>(result) & (align-1)) == 0);return result;
}
总结
总的来说,Arena
有 3 种内存分配策略,下面申请的内存用 bytes 表示:
- bytes < 当前块剩余内存 => 直接在当前块分配。
- 当前块剩余内存 < bytes < 1024 KB (默认内存块大小的 1 / 4) => 直接申请一个默认大小为 4096 KB 的内存块,然后分配内存。
- bytes > 当前块剩余内存 && bytes > 1024 KB => 直接申请一个新的大小为 bytes 的内存块,并分配内存。
Arena
是一个内存池对象,用来管理 leveldb
的内存分配,可以说是整个项目非常重要的模块了,不可不知 ~
作者:登龙zZ
链接:https://www.jianshu.com/p/f5eebf44dec9
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
leveldb Arena 分析相关推荐
- LevelDB Arena源码分析
欢迎访问我的个人博客 https://vincillau.github.io/ 文章目录 欢迎访问我的个人博客 https://vincillau.github.io/ LevelDB Arena源码 ...
- leveldb:Arena内存池
leveldb : Arena内存池 Arena Arena内存管理模型 Arena的构造与析构实现 Arena提供的接口 Allocate AllocateFallback AllocateNewB ...
- 浅析 Bigtable 和 LevelDB 的实现
在 2006 年的 OSDI 上,Google 发布了名为 Bigtable: A Distributed Storage System for Structured Data 的论文,其中描述了一个 ...
- xuperchain
百度超级链(xuperchain) 简介 高性能,通过原创的XuperModel模型,真正实现了智能合约的并行执行和验证,通过自研的WASM虚拟机,做到了指令集级别的极致优化. 在架构方面,其可插拔. ...
- elementui文本框换行_解决Element UI input输入框不能使用回车进行搜索
css怎么让输入框不显示光标? css怎么让输入框不显示光标?网上有很多方式:用div模拟,设置readonly,设置disabled,设置自动blur等等方式,发现都不能满足需求,最后还是找到一位大 ...
- ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用
ZooKeeper 原理及其在 Hadoop 和 HBase 中的应用 - 文章 - 伯乐在线 /* # The number of milliseconds of each tick tickTim ...
- leveldb源码分析:数据插入续(跳表)
leveldb数据的插入-跳表 本文主要是接着上一篇文章,继续深入探索Write函数调用插入之后的流程. status = WriteBatchInternal::InsertInto(updates ...
- Leveldb源码分析--1
[前言:看了一点oceanbase,没有意志力继续坚持下去了,暂时就此中断,基本上算把master看完了,比较重要的update server和merge server代码却没有细看.中间又陆续研究了 ...
- leveldb源码分析:数据查询
leveldb数据查询 查询的示例代码如下: string res; status = db->Get(ReadOptions(), "KeyNameExample", &a ...
最新文章
- makefile清除目标文件的规则
- php session 域,PHP session 跨子域问题总结
- Android中TimePicker时间选择器的使用和获取选择的时和分
- hp服务器330g6怎么安装系统,Hp DL380 g6 安装WIN2003的图文方法
- 电话光端机应用范围解析!电话光端机主要应用在哪些领域?
- 【转载】JAVA的泛型和C++的模板的区别与联系
- php 上传文件 例子,php上传文件实例
- C++:求五位学生的总成绩以及平均成绩
- php 生成等比例缩略图,PHP实现原比例生成缩略图的方法
- [译]理解Node.js事件驱动机制
- 解决Mysql安装之后没有my.ini配置文件问题
- 锐捷linux客户端进路由器,锐捷WLAN无线产品之SSH管理
- [转载]SAP报表开发工具——Report Painter
- 老男孩--你记得当初的梦想吗
- 小米5s 小米6 MIUI 系统 删除温控 破解限制
- Java处理MP3资料
- 工作流相关讲解 转载
- [转]常用网络协议分析工具
- java毕业设计——基于java+JSP+MySQL的网上购书系统设计与实现(毕业论文+程序源码)——网上购书系统
- 学习1368个单词 - 有关物和人的名词