WAL简介

在数据库读写操作中，经常会有人问到数据库读写同步的问题，即在数据库操作中，数据正处于写状态，此时要读取的数据为空状态，问怎么操作。其实，说到这就不得不提到数据库的一个重要的机制WAL，不管是后端的PostSql还是前端的SqlLite，都会涉及到WAL机制。

WAL的全称是Write Ahead Logging，它是很多数据库中用于实现原子事务的一种机制，SQLite在3.7.0版本引入了该特性。具体使用时，当事务对数据库进行修改时，将修改后的页面存入WAL文件中，而不写回原数据库。WAL文件从数据库的第一个连接建立时创建，在最后一个连接释放时删除。

WAL工作原理

在引入WAL机制之前，SQLite使用rollback journal机制实现原子事务。
rollback journal机制的原理是：在修改数据库文件中的数据之前，先将修改所在分页中的数据备份在另外一个地方，然后才将修改写入到数据库文件中；如果事务失败，则将备份数据拷贝回来，撤销修改；如果事务成功，则删除备份数据，提交修改。

WAL机制的原理是：修改并不直接写入到数据库文件中，而是写入到另外一个称为WAL的文件中；如果事务失败，WAL中的记录会被忽略，撤销修改；如果事务成功，它将在随后的某个时间被写回到数据库文件中，提交修改。

同步WAL文件和数据库文件的行为被称为checkpoint（检查点），它由SQLite自动执行，默认是在WAL文件积累到1000页修改的时候；当然，在适当的时候，也可以手动执行checkpoint，SQLite提供了相关的接口。执行checkpoint之后，WAL文件会被清空。

在读的时候，SQLite将在WAL文件中搜索，找到最后一个写入点，记住它，并忽略在此之后的写入点（这保证了读写和读读可以并行执行）；随后，它确定所要读的数据所在页是否在WAL文件中，如果在，则读WAL文件中的数据，如果不在，则直接读数据库文件中的数据。

在写的时候，SQLite将之写入到WAL文件中即可，但是必须保证独占写入，因此写写之间不能并行执行。WAL在实现的过程中，使用了共享内存技术，因此，所有的读写进程必须在同一个机器上，否则，无法保证数据一致性。

WAL的优点与缺点

优点：
1.读和写可以完全地并发执行，不会互相阻塞（但是写之间仍然不能并发）。
2.WAL在大多数情况下，拥有更好的性能（因为无需每次写入时都要写两个文件）。
3.磁盘I/O行为更容易被预测。

缺点：
1.访问数据库的所有程序必须在同一主机上，且支持共享内存技术。
2.每个数据库现在对应3个文件：.db，-wal，-shm。
3.当写入数据达到GB级的时候，数据库性能将下降。
4.3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。

WAL兼容性问题

在启用了WAL之后，数据库文件格式的版本号由1升级到了2，因此，3.7.0之前的SQLite无法识别启用了WAL机制的数据库文件。禁用WAL会使数据库文件格式的版本号恢复到1，从而可以被SQLite 3.7.0之前的版本识别。

WAL引入的性能问题

在一般情况下，WAL会提高SQLite的事务性能；但是在某些极端情况下，却会导致SQLite事务性能的下降。如：

1.在事务执行时间较长或者要修改的数据量达到GB级的时候，WAL文件会被占用，它会暂时阻止checkpoint的执行（checkpoint会清空WAL文件），这将导致WAL文件变得很大，增加寻址时间，最终导致读写性能的下降。
2.当checkpoint执行的时候，会降低当时的读写性能，因此，WAL可能会导致周期性的性能下降。

WAL涉及的接口

# PRAGMA
PRAGMA journal_mode
PRAGMA wal_checkpoint
PRAGMA wal_autocheckpoint
# sqlite
sqlite3_wal_checkpoint
sqlite3_wal_autocheckpoint
sqlite3_wal_hook

SQLite读写同步之WAL机制相关推荐

SQLite WAL 机制探索
什么是WAL机制 SQLite 的 WAL(Write-Ahead Logging)机制是一种高效的事务日志机制,用于将修改操作写入一个独立的 .sqlite-wal 文件中,而不是直接写入主数据库文 ...
sqlite 怎么开启wal机制
Sqlite在多线程下的使用方法及注意的事项一Sqlite的三种模式 1. 单线程,这种模式下,没有进行互斥,多线程使用不安全 2. 多线程,这种模式下,在多线程中使用单个数据库 ...
介绍数据库中的wal技术_SQLite中的WAL机制详细介绍
一.什么是WAL? WAL的全称是Write Ahead Logging,它是很多数据库中用于实现原子事务的一种机制,SQLite在3.7.0版本引入了该特性. 二.WAL如何工作? 在引入WAL机制 ...
Redis主从架构：主从同步和哨兵机制
Redis主从架构:主从同步和哨兵机制一. Redis主从架构二. 主从同步 2.1 引入 2.2 原理 (1) 全量同步 (2) 增量同步 (3) 优化Redis主从集群 2.3 总结三. 哨 ...
windows多线程之读写同步(线程锁Mutex + 信号量Semaphore )
第一次使用博客,把自己学习的心得记录下来,与大家分享,有什么不足请指正,共同学习! 本文记录的是线程同步的一个经典问题,读写问题.这个场景在实际的应用中很常见,多线程中同时对文件进行读写很容易出问题, ...
HBase预写日志WAL机制
预写日志(Write-ahead log,WAL) 最重要的作用是灾难恢复,一旦服务器崩溃,通过重放log,我们可以恢复崩溃之前的数据.如果写入WAL失败,整个操作也将认为失败. 从上图看: 1 客户 ...
专业课程设计之客户与服务器程序的同步与通信机制的设计(一)项目介绍
源码下载地址为: http://download.csdn.net/detail/qq78442761/9856423 ---------------------------------------- ...
InnoDB引擎WAL机制之Redo Log
Write-Ahead 一个事务要修改多张表的多条记录,多条记录分布在不同的Page里面,对应到磁盘的不同位置.如果每个事务都直接写磁盘,一次事务提交就要多次磁盘的随机I/O,性能达不到要求.怎么办呢 ...
java文件边读边写_[Java教程]node.js 利用流实现读写同步，边读边写
[Java教程]node.js 利用流实现读写同步,边读边写 0 2017-09-10 13:00:14 //10个数 10个字节,每次读4b,写1blet fs=require("fs&q ...
快速理解 WAL 机制，架构师必备技能！「建议收藏！！」
文章目录什么是 WAL 机制 WAL 应用场景 WAL 磁盘中具象结构 WAL 截断 WAL 检查点 checkPoint Q&A 附录 WAL 机制,是个伟大的设计,在不同的系统.组件 ...

SQLite读写同步之WAL机制