mvcc原理_MVCC原理探究及MySQL源码实现分析
沃趣科技数据库专家 董红禹
MVCC原理探究及MySQL源码实现分析
数据库多版本读场景
session 1
session 2
select a from test; return a = 10
start transaction;
update test set a = 20;
start transaction;
select a from test; return ?
commit;
select a from test; return ?
我们看下上面这个数据库日常操作的例子。
session 1修改了一条记录,没有提交;与此同时,session 2 来查询这条记录,这时候返回记录应该是多少呢?
session 1 提交之后 session 2 查询出来的又应该是多少呢?
由于MySQL支持多种隔离级别,这个问题是需要看session2的事务隔离级别的,情况如下:
隔离级别为 READ-UNCOMMITTED 情况下:
session 1 commit前后 session 2 去查看都会看到的是修改后的结果 a = 20
隔离级别为 READ-COMMITTED 情况下:
session 1 commit 前查看到的还是 a =10 , commit之后看到的是 a = 20
隔离级别为 REPEATABLE-READ, SERIALIZABLE 情况下:
session 1 commit前后 session 2 去查看都会看到的是修改后的结果 a = 10
其实不管隔离级别,我们也抛开数据库中的ACID,我们思考一个问题:众所周知,InnoDB的数据都是存储在B-tree里面的,修改后的数据到底要不要存储在实际的B-tree叶子节点,session2是怎么做到查询出来的结果还是10,而不是20呢?
MVCC实现原理
上述现象在数据库中大家经常看到,但是数据库到底是怎么实现的,深究的人就不多了。
其实原理很简单,数据库就是通过UNDO和MVCC来实现的。
通过DB_ROLL_PT 回溯查找数据历史版本
首先InnoDB每一行数据还有一个DB_ROLL_PT的回滚指针,用于指向该行修改前的上一个历史版本
当插入的是一条新数据时,记录上对应的回滚段指针为NULL
更新记录时,原记录将被放入到undo表空间中,并通过DB_ROLL_PT指向该记录。session2查询返回的未修改数据就是从这个undo中返回的。MySQL就是根据记录上的回滚段指针及事务ID判断记录是否可见,如果不可见继续按照DB_ROLL_PT继续回溯查找。
通过read view判断行记录是否可见
具体的判断流程如下:
RR隔离级别下,在每个事务开始的时候,会将当前系统中的所有的活跃事务拷贝到一个列表中(read view)
RC隔离级别下,在每个语句开始的时候,会将当前系统中的所有的活跃事务拷贝到一个列表中(read view)
并按照以下逻辑判断事务的可见性。
MVCC解决了什么问题
MVCC使得数据库读不会对数据加锁,select不会加锁,提高了数据库的并发处理能力
借助MVCC,数据库可以实现RC,RR等隔离级别,用户可以查看当前数据的前一个或者前几个历史版本。保证了ACID中的I-隔离性。
MySQL代码分析
前面我们介绍了什么是MVCC,以及它解决了什么问题。
下面我们来看一下在MySQL源码中,到底是怎么实现这个逻辑的。
InnoDB隐藏字段源码分析
InnoDB表中会存有三个隐藏字段,这三个字段是mysql默认帮我们添加的。我们可以通过代码中查看到:
dict_table_add_system_columns(
/*==========================*/
dict_table_t*table,/*!< in/out: table */
mem_heap_t*heap)/*!< in: temporary heap */
{
ut_ad(table);
ut_ad(table->n_def==(table->n_cols-table->get_n_sys_cols()));
ut_ad(table->magic_n==DICT_TABLE_MAGIC_N);
ut_ad(!table->cached);
/* NOTE: the system columns MUST be added in the following order
(so that they can be indexed by the numerical value of DATA_ROW_ID,
etc.) and as the last columns of the table memory object.
The clustered index will not always physically contain all system
columns.
Intrinsic table don't need DB_ROLL_PTR as UNDO logging is turned off
for these tables. */
dict_mem_table_add_col(table,heap,"DB_ROW_ID",DATA_SYS,
DATA_ROW_ID|DATA_NOT_NULL,
DATA_ROW_ID_LEN);
#if (DATA_ITT_N_SYS_COLS != 2)
#error"DATA_ITT_N_SYS_COLS != 2"
#endif
#if DATA_ROW_ID != 0
#error"DATA_ROW_ID != 0"
#endif
dict_mem_table_add_col(table,heap,"DB_TRX_ID",DATA_SYS,
DATA_TRX_ID|DATA_NOT_NULL,
DATA_TRX_ID_LEN);
#if DATA_TRX_ID != 1
#error"DATA_TRX_ID != 1"
#endif
if(!table->is_intrinsic()){
dict_mem_table_add_col(table,heap,"DB_ROLL_PTR",DATA_SYS,
DATA_ROLL_PTR|DATA_NOT_NULL,
DATA_ROLL_PTR_LEN);
#if DATA_ROLL_PTR != 2
#error"DATA_ROLL_PTR != 2"
#endif
/* This check reminds that if a new system column is added to
the program, it should be dealt with here */
#if DATA_N_SYS_COLS != 3
#error"DATA_N_SYS_COLS != 3"
#endif
}
}
DB_ROW_ID:如果表中没有显示定义主键或者没有唯一索引则MySQL会自动创建一个6字节的row id存在记录中
DB_TRX_ID:事务ID
DB_ROLL_PTR:回滚段指针
InnoDB判断事务可见性源码分析
mysql中并不是根据事务的事务ID进行比较判断记录是否可见,而是根据每一行记录上的事务ID进行比较来判断记录是否可见。
我们可以通过实验验证 , 创建一张表里面插入一条记录
dhy@10.16.70.190:330612:25:47[dhy]>select*fromdhytest;
+------+
|id|
+------+
|10|
+------+
1rowinset(7.99sec)
手工开启一个事务 更新一条记录 但是并不提交:
dhy@10.10.80.199:330615:28:24[dhy]>update dhytestsetid=20;
QueryOK,3rows affected(40.71sec)
Rowsmatched:3Changed:3Warnings:0
在另外一个会话执行查询
dhy@10.16.70.190:330612:38:33[dhy]>select*fromdhytest;
这时我们可以跟踪调试mysql 查看他是怎么判断记录的看见性,中间函数调用太多列举最重要部分
这里需要介绍一个重要的类 ReadView,Read View是事务开启时当前所有事务的一个集合,这个类中存储了当前Read View中最大事务ID及最小事务ID
/** The read should not see any transaction with trx id >= this
value. In other words, this is the "high water mark". */
trx_id_tm_low_limit_id;
/** The read should see all trx ids which are strictly
smaller (
low water mark". */
trx_id_tm_up_limit_id;
/** trx id of creating transaction, set to TRX_ID_MAX for free
views. */
trx_id_tm_creator_trx_id;
当我们执行上面的查询语句时,跟踪到主要函数如下:
函数row_search_mvcc->lock_clust_rec_cons_read_sees
bool
lock_clust_rec_cons_read_sees(
/*==========================*/
constrec_t*rec,/*!< in: user record which should be read or
passed over by a read cursor */
dict_index_t*index,/*!< in: clustered index */
constulint*offsets,/*!< in: rec_get_offsets(rec, index) */
ReadView*view)/*!< in: consistent read view */
{
ut_ad(index->is_clustered());
ut_ad(page_rec_is_user_rec(rec));
ut_ad(rec_offs_validate(rec,index,offsets));
/* Temp-tables are not shared across connections and multiple
transactions from different connections cannot simultaneously
operate on same temp-table and so read of temp-table is
always consistent read. */
//只读事务或者临时表是不需要一致性读的判断
if(srv_read_only_mode||index->table->is_temporary()){
ut_ad(view==0||index->table->is_temporary());
return(true);
}
/* NOTE that we call this function while holding the search
system latch. */
trx_id_ttrx_id=row_get_rec_trx_id(rec,index,offsets);//获取记录上的TRX_ID这里需要解释下,我们一个查询可能满足的记录数有多个。那我们每读取一条记录的时候就要根据这条记录上的TRX_ID判断这条记录是否可见
return(view->changes_visible(trx_id,index->table->name));//判断记录可见性
}
下面是真正判断记录的看见性。
boolchanges_visible(
trx_id_tid,
consttable_name_t&name)const
MY_ATTRIBUTE((warn_unused_result))
{
ut_ad(id>0);
//如果ID小于Read View中最小的, 则这条记录是可以看到。说明这条记录是在select这个事务开始之前就结束的
if(id
return(true);
}
check_trx_id_sanity(id,name);
//如果比Read View中最大的还要大,则说明这条记录是在事务开始之后进行修改的,所以此条记录不应查看到
if(id>=m_low_limit_id){
return(false);
}elseif(m_ids.empty()){
return(true);
}
constids_t::value_type*p=m_ids.data();
return(!std::binary_search(p,p+m_ids.size(),id));//判断是否在Read View中, 如果在说明在创建Read View时 此条记录还处于活跃状态则不应该查询到,否则说明创建Read View是此条记录已经是不活跃状态则可以查询到
}
对于不可见的记录都是通过row_vers_build_for_consistent_read函数查询UNDO构建老版本记录,直到记录可见。
这里需要说明一点 不同的事务隔离级别,可见性的实现也不一样:
READ-COMMITTED
事务内的每个查询语句都会重新创建Read View,这样就会产生不可重复读现象发生
REPEATABLE-READ
事务内开始时创建Read View , 在事务结束这段时间内 每一次查询都不会重新重建Read View , 从而实现了可重复读。
参考资料:
《唐成-2016PG大会-数据库多版本实现内幕.pdf》
mvcc原理_MVCC原理探究及MySQL源码实现分析相关推荐
- mysql源码安装分析_MySQL源码分析(0):编译安装及调试(转)
编译安装 为了实现MySQL的更高级别的性能调优,我们通常需要理解其内部实现机制,并对其进行优化调试.在下面的系列中,我们会分别介绍MySQL的部分内部实现机制. 首先我们介绍如何从源代码部署一台My ...
- OpenLayers 3实践与原理探究4.1-ol3源码分析-底层基础
因为下面的内容会分模块介绍源码,所以这里为了方便,首先介绍源码的目录结构 在OpenLayers 3官网的下载页面下载我们在开发工程中需要的文件(如:v3.17.1.zip),注意如果需要编译源代码, ...
- Spring原理学习系列之三:Spring AOP原理(从源码层面分析)-------上部
引言 本文是Spring原理分析的第三篇博文,主要阐述Spring AOP相关概念,同时从源码层面分析AOP实现原理.对于AOP原理的理解有利于加深对Spring框架的深入理解.同时我也希望可以探究S ...
- Mybatis底层原理学习(二):从源码角度分析一次查询操作过程
在阅读这篇文章之前,建议先阅读一下我之前写的两篇文章,对理解这篇文章很有帮助,特别是Mybatis新手: 写给mybatis小白的入门指南 mybatis底层原理学习(一):SqlSessionFac ...
- 【Android 内存优化】Android 原生 API 图片压缩原理 ( 图片质量压缩方法 | 查找 Java 源码中的 native 方法对应的 C++ 源码 )
文章目录 一. 图片质量压缩方法 二. 查找对应的 Native 方法源码 三. 分析 Bitmap.cpp 中动态注册 Native 方法 在博客 [Android 内存优化]图片文件压缩 ( An ...
- ❤️缓存集合(一级缓存、二级缓存、缓存原理以及自定义缓存—源码+图文分析,建议收藏) ❤️
❤️缓存集合(一级缓存.二级缓存.缓存原理以及自定义缓存-源码+图文分析,建议收藏) ❤️ 查询 : 连接数据库 ,耗资源!一次查询的结果,给他暂存在一个可以直接取到的地方!--> 内存 : 缓 ...
- 云原生服务网格Istio:原理、实践、架构与源码解析
华为云原生团队600多页的Istio实战精华总结,云原生服务网格Istio:原理.实践.架构与源码解析的电子书. 图书介绍 <云原生服务网格Istio:原理.实践.架构与源码解析>分为原理 ...
- jQuery百叶窗效果原理(附3个demo源码)
jQuery百叶窗效果原理,附3个demo源码 一.前言 二.原理图解 三.在线演示及源码 一.前言 对于轮播图切换,其实可以有更多效果,其中一类型就是百叶窗.本人参考了网上一些特效,做一些练习和实践 ...
- django middleware 中间件原理概念,源码解读分析
用到的知识点 wsgi 搜索应用的入口 闭包,高阶函数递归调用 中间件实现的关键技术 asyncio 了解异步与同步函数类型转换 原理概念逻辑 引用官方文档 你可以把它想象成一个洋葱:每个中间件类都是 ...
最新文章
- Oracle RAC一节点宕机导致另一节点HANG的问题分析
- UWP AppBarButton Icon 图标样式集合
- ECshop商城程序常见的96个小问题汇总
- superset可视化-deck.gl Scatterplot与MapBox
- 整流桥-桥式整流工作原理
- FusionChart完全入门手册8
- 【转】DPDK(一):专业术语
- 你会感觉容器使用起来很痛苦吗?
- Adobe illustrator 批量变换同时选中的单个对象 - 连载 12
- 摄像头分辨率怎么调整_网络监控摄像头怎么选择 网络监控摄像头选择方法【介绍】...
- MACOS-Can't-connect-to-local-MySQL-server-through-socket-'/tmp/mysql.sock'
- 一个人的生活可以简约到什么程度?
- Layui数据表格(table)前后台交互
- 《逆袭进大厂》之C++篇49问49答(绝对的干货)
- TensorFlow入门:mnist数据集解析
- matlab中单相整流器,应用Matlab仿单相PWM整流器的一种简单方法
- 使用js正则表达式验证
- 安卓下使用OpenCL进行PowerVR GPU编程
- 携手推进国产化发展,未来智安与麒麟软件完成兼容互认证
- 数组常用的API(二)
热门文章
- SAP ABAP实用技巧介绍系列之如何创建Maintenance view
- ABAP并发编程到底能提高多少性能
- ABAP文档生成工具
- 通过ABAP代码判断当前系统类型,BYD还是S4 OP还是S4 Cloud
- air flow空调上是什么意思_空调跳闸显cF什么意思
- html5中preclass,为什么HTML5建议把代码元素放在pre?
- v8声卡调音软件_sE VOXTOON AF2评测:解决复杂跳线需求的声卡
- java 内存模型6_深入理解Java内存模型(六)——final
- 地理信息系统论坛_高端论坛西南交通大学朱庆教授:应急测绘智能服务关键技术及重大应用...
- ecm工作原理 usb_“好玩具”来了!往你的USB端口里藏入一个小开发板...