SQL Server审计功能入门:CDC(Change Data Capture)
介绍
SQL Server 2008引入了CDC(Change Data Capture),它能记录:
1. 哪些数据行发生了改变
2. 数据行变更的历史记录,而不仅仅是最终值。
跟CT(Change Tracking)相比,它通过作业实现异步变更跟踪(像事务复制),而CT是同步实现的。因此它对性能的影响较轻并且不会影响事务。
典型应用是在提取、传输和加载数据到其它数据源,就像图中的数据仓库。
实现
微软建议CDC结合快照快照隔离级别使用,可以避免读取变更数据与变更数据写入时的读写阻塞。
需要注意:快照隔离级别会有额外的开销,特别是Tempdb(所有的数据更改都会被版本化存到tempdb)。
use mastergocreate database CDCTestgoalter database CDCTest set allow_snapshot_isolation ongo--enable CDC on database CDCTestuse CDCTestgoexec sys.sp_cdc_enable_dbgo
启用CDC之后会新增一个叫CDC的Schema和一系列的系统表、SP和View。官方建议不要直接查询系统表而是使用对应的系统SP/FN来获取CDC数据。
系统对象 |
说明 |
建议使用的对象 |
cdc.captured_columns |
为在捕获实例中跟踪的每一列返回一行 |
sys.sp_cdc_get_source_columns |
cdc.change_tables |
为数据库中的每个更改表返回一行 |
sys.sp_cdc_help_change_data_capture |
cdc.ddl_history |
针对启用了变更数据捕获的表所做的每一数据定义语言 (DDL) 更改返回一行 |
sys.sp_cdc_get_ddl_history |
cdc.lsn_time_mapping |
为每个在更改表中存在行的事务返回一行 |
sys.fn_cdc_map_lsn_to_time (Transact-SQL) , sys.fn_cdc_map_time_to_lsn (Transact-SQL) |
cdc.index_column |
为与更改表关联的每一索引列返回一行 |
sys.sp_cdc_help_change_data_capture |
msdb.dbo.cdc_jobs |
存储用于捕获和清除作业的变更数据捕获配置参数 |
NA |
cdc.<capture_instance>_CT |
对源表启用变更数据捕获时创建的更改表。 该表为对源表执行的每个插入和删除操作返回一行,为对源表执行的每个更新操作返回两行.capture_instance格式=SchameName_TableName |
cdc.fn_cdc_get_all_changes_<capture_instance> , cdc.fn_cdc_get_net_changes_<capture_instance> |
创建测试表并对期启用CDC。使用sys.sp_cdc_enable_table 对表启用CDC。
--Create a test table for CDCuse CDCTestGOcreate table tb(ID int primary key ,name varchar(20),weight decimal(10,2));goEXECUTE sys.sp_cdc_enable_table@source_schema = N'dbo', @source_name = N'tb', @role_name = null;GO
如果源表是数据库中第一个要启用变更数据捕获的表,并且数据库不存在事务发布,则 sys.sp_cdc_enable_table 还将为数据库创建捕获和清理作业。 它将 sys.tables 目录视图中的 is_tracked_by_cdc 列设置为 1。
对应的跟踪表cdc.dbo_tb_CT包含了源表所有的变更数据。它包含原来所有的列和5个新的列,结构如图:
验证
当在源表中操行数据更改操作,表cdc.dbo_tb_CT会记录下来。试一下:
为什么没有数据呢?因为之前介绍过了,CDC是靠作业来捕获变更数据的,我的Agent还没有运行。
手动启用后,就有数据了。
结果列的含义:
列名 |
数据类型 |
说明 |
__$start_lsn |
binary(10) |
更改提交的LSN。在同一事务中提交的更改将共享同一个提交 LSN 值。 |
__$seqval |
binary(10) |
一个事务内可能有多个更改发生,这个值用于对它们进行排序。 |
__$operation |
int |
更改操作的类型: 1 = 删除 2 = 插入 3 = 更新(捕获的列值是执行更新操作前的值)。 4 = 更新(捕获的列值是执行更新操作后的值)。 |
__$update_mask |
varbinary(128) |
位掩码,源表中被CDC跟踪的每一列对应一个位。如果 __$operation = 1 或 2,该值将所有已定义的位设置为 1。如果 __$operation = 3 或 4,则只有那些对应已更改列的位设置为 1。 |
现在再插入一行,并更新它,然后再删除ID=1的行。再查看结果:
简单说明一下跟踪的查询结果:总共5行,第一行和第二行是插入数据,第三行和第四行是更新前后的数据,第五行是删除数据。操作类型由_$operation值可得知。
简单应用
前文中创建的tb表,记录了每个人的姓名和体重变化信息。另外某一个数据库(表tb_rs),它是体重变化趋势报表的数据源。它每天同步一次数据,更新自己的数据。怎么用CDC来实现这个需求呢?
CDC中记录了start_lsn,如果能知道tb_rs上次同步完成时,tb中被同步的最大LSN。那下次同步时,只需要同步tb表中大于此LSN的变更记录即可。
问题就简单:获取上次同步完成tb的最大LSN,获取大于此LSN的所有变更记录,更新tb_rs。
- 由sys.fn_cdc_map_time_to_lsn可以将时间映射到对应的LSN,时间就是前一天。
- 由cdc.fn_cdc_get_net_changes_<capture_instance>能得到一天内的所有的净变更记录。
- 由变更记录自定义同步逻辑和语句。
insert into tbvalues(1,'Ken',70.2),(3,'Joe',66),(4,'Rose',50)update tbset weight=70where ID=3;delete from tb where name='Rose';goDECLARE @begin_time datetime, @end_time datetime, @begin_lsn binary(10), @end_lsn binary(10); --get the intervalselect @begin_time=GETDATE()-1,@end_time=GETDATE();--map the time to LSN of the CDC table tbselect @begin_lsn = sys.fn_cdc_map_time_to_lsn('smallest greater than or equal', @begin_time),@end_lsn = sys.fn_cdc_map_time_to_lsn('largest less than or equal', @end_time);--get the net changes within the specified LSNsSELECT * FROM cdc.fn_cdc_get_net_changes_dbo_tb(@begin_lsn, @end_lsn, 'all');
居然没有Rose的记录?Joe的信息被更新过,怎么才一条记录?
这是因为这里得到是净变更行,也就是最终结果的意思。新增然后又删除,不影响最终结果,所以没有。多次更新同一行的某一列数据,只返回最后更新的结果。
得到这个结果,我们就可以根据__$operation和实际数据定义同步数据的逻辑了。比如:
--generate sync statementsSELECT (case __$operation when 2 then 'insert into tb_rs values ('+cast(ID as varchar(2))+', '+Name+', '+cast(weight as varchar(10))+')'when 4 then 'update tb_rs set name='+name+',weight='+cast(weight as varchar(10))+' where ID='++cast(ID as varchar(2)) END)FROM cdc.fn_cdc_get_net_changes_dbo_tb(@begin_lsn, @end_lsn, 'all');
对于更新过的行,同步数据时,我想要先判断出列是否被更改过和被更改的时间。更改过的列才需要被同步,而不是所有列同步一次。以name为例:
DECLARE @begin_time datetime, @end_time datetime, @begin_lsn binary(10), @end_lsn binary(10); --get the intervalselect @begin_time=GETDATE()-1,@end_time=GETDATE();--map the time to LSN of the CDC table tbselect @begin_lsn = sys.fn_cdc_map_time_to_lsn('smallest greater than or equal', @begin_time),@end_lsn = sys.fn_cdc_map_time_to_lsn('largest less than or equal', @end_time);--get the all changes within the specified LSNsSELECT *,(Case sys.fn_cdc_has_column_changed('dbo_tb','name',__$update_mask) when 1 then 'Yes' when 0 then 'No' End) as isNameUpdated,sys.fn_cdc_map_lsn_to_time(__$start_lsn) as updateTimeFROM cdc.fn_cdc_get_all_changes_dbo_tb(@begin_lsn, @end_lsn, 'all')where __$operation in(3,4);go
CDC不仅能记录DML操作,还能记录DDL操作。查询cdc.ddl_history。
但有一点要格外注意:新增的列,能被CDC DDL跟踪到,但是新列的数据变更却不能被CDC跟踪到。如果需要跟踪它,先禁用表上的CDC,再启用即可。
CDC Agent Job
在指定的数据库中首次启用CDC,并且不存在事务复制,则会创建capture和cleanup两个作业:
capture作业是用于扫描日志文件,把变更记录写到变更表中。调用sp_MScdc_capture_job来实现,可以根据当前库的实际事务吞吐量来设置扫描参数和扫描间隔,使得在性能开销和跟踪需求间达到合理平衡。
cleanup作业是清理变更变表中的数据,默认三天的数据。
所以合理设定cleanup的间隔是非常重要的。
这两个作业的相关的配置存储在msdb.dbo.cdc_jobs中。当前的默认配置如图:
总结
1. CDC使用方便,易于配置,能与同步抽取等应用结合使用。
2. CDC能满足大多数对数据审计的要求,但不能告诉你“谁”更改了数据。
3. 虽说CDC是异步的,对应性能影响小,但还是会增加开销,特别是IO读写和容量方面的。开启CDC,每次更改,都至少会额外增加一次数据文件写和日志文件写操作。
SQL Server审计功能入门:CDC(Change Data Capture)相关推荐
- SQL Server 审计功能-记录所有的操作记录
说到审计这个话题,相信作为一个企业管理员都知道,比如一般作为一个AD管理员的话,一般都会通过Policy开启审计功能,记录一些自定义的事务日志.对于SQL Server来说,审计也是一样的,SQL S ...
- Oracle CDC (Change Data Capture)更新数据捕获——概述
Change Data Capture能高效识别并捕获数据的插入.修改和删除,使更新数据供个人或应用使用. CDC从oracle 9i开始引入,//TODO 在11G R2之后的版本里将取消支持,被O ...
- mssql 数据库审计账户_SQLServer数据库审计功能入门之SQL Server审核 (SQL Server Audit)...
本文主要向大家介绍了SQLServer数据库审计功能入门之SQL Server审核,通过具体的内容向大家展现,希望对大家学习SQLServer数据库有所帮助. 介绍 Audit是SQL Server ...
- 【SQL Server学习笔记】变更数据捕获(Change Data Capture)
SQL Server的变更数据捕获(Change Data Capture,CDC),就是异步捕获表数据的修改,只有很少的性能开销,可以持续的更新其他数据源,比如,将联机事务处理数据库中的持续数据变化 ...
- SQL Server审核功能–发现和体系结构
介绍 (Introduction) Intended audience 目标听众 This document is intended for database administrators who p ...
- SQL Server AlwaysON从入门到进阶(6)——分析和部署AlwaysOn Availability Group
本文属于SQL Server AlwaysON从入门到进阶系列文章 前言: 本节是整个系列的重点文章,到现在,读者应该已经对整个高可用架构有一定的了解,知道独立的SQL Server实例和基于群集的S ...
- SQL Server舍入功能概述– SQL舍入,上限和下限
Developers deal with numerous data types on a day- to-day basis. We need to change the data type or ...
- 实时数仓实践(一)之数据库实时增量同步工具-CDC(Change Data Capture)
数据库实时增量同步工具-CDC(Change Data Capture) Canal 阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机 房的需求 ...
- SQL Server 变更数据捕获(CDC)
概述 变更数据捕获用于捕获应用到 SQL Server 表中的插入.更新和删除活动,并以易于使用的关系格式提供这些变更的详细信息.变更数据捕获所使用的更改表中包含镜像所跟踪源表列结构的列,同时还包含了 ...
最新文章
- 设计MM32-LINK自动复位器,上电复位
- Flutter retrofit:only “package“ and “asset“ schemes supported
- python代码基础题-python3的基础练习题
- android遍历拼接字符串,写个批处理脚本帮忙干活---遍历amp;字符串处理
- Spring 使用 JSR303自定义校验注解+分组校验
- httpbin.org的使用
- LIVE555再学习 -- testH264VideoStreamer 源码分析
- GetProcAddress()用法
- 机器学习硕士、博士如何自救?
- ReactJs 第一章HelloWorld
- 网易云音乐刷听歌量_网易云音乐极速版悄然上线!听歌体验同之前没有差别
- 灵云智能语音识别平台 促进人工智能
- scala 访问修饰符_Scala访问修饰符–私有,受保护的和公共的
- 推荐一份完整的python教学视频
- vscode终端中文乱码问题的解决方案合集c++
- 【微信公众号开发系列文章】一、微信公众号开发环境搭建
- 戴尔电脑外放有声音插入耳机还是外放解决方法
- 【学术】 一个博士的经历(小木虫精华帖,留着细细体会!)
- js实现Base64的加密解密
- 设计模式(二)-------------- 工厂模式