EF Core 数据变更自动审计设计

Intro

有的时候我们需要知道每个数据表的变更记录以便做一些数据审计，数据恢复以及数据同步等之类的事情， EF 自带了对象追踪，使得我们可以很方便的做一些审计工作，每次变更发生了什么变化都变得很清晰，于是就基于 EF 封装了一层数据变更自动审计

使用效果

测试代码：

private static void AutoAuditTest()
{// 审计配置AuditConfig.Configure(builder =>{builder// 配置操作用户获取方式.WithUserIdProvider(EnvironmentAuditUserIdProvider.Instance.Value)//.WithUnModifiedProperty() // 保存未修改的属性,默认只保存发生修改的属性// 保存更多属性.EnrichWithProperty("MachineName", Environment.MachineName).EnrichWithProperty(nameof(ApplicationHelper.ApplicationName), ApplicationHelper.ApplicationName)// 保存到自定义的存储.WithStore<AuditFileStore>().WithStore<AuditFileStore>("logs.log")// 忽略指定实体.IgnoreEntity<AuditRecord>()// 忽略指定实体的某个属性.IgnoreProperty<TestEntity>(t => t.CreatedAt)// 忽略所有属性名称为 CreatedAt 的属性.IgnoreProperty("CreatedAt");});DependencyResolver.TryInvokeService<TestDbContext>(dbContext =>{dbContext.Database.EnsureDeleted();dbContext.Database.EnsureCreated();var testEntity = new TestEntity(){Extra = new { Name = "Tom" }.ToJson(),CreatedAt = DateTimeOffset.UtcNow,};dbContext.TestEntities.Add(testEntity);dbContext.SaveChanges();testEntity.CreatedAt = DateTimeOffset.Now;testEntity.Extra = new { Name = "Jerry" }.ToJson();dbContext.SaveChanges();dbContext.Remove(testEntity);dbContext.SaveChanges();var testEntity1 = new TestEntity(){Extra = new { Name = "Tom1" }.ToJson(),CreatedAt = DateTimeOffset.UtcNow,};dbContext.TestEntities.Add(testEntity1);var testEntity2 = new TestEntity(){Extra = new { Name = "Tom2" }.ToJson(),CreatedAt = DateTimeOffset.UtcNow,};dbContext.TestEntities.Add(testEntity2);dbContext.SaveChanges();});DependencyResolver.TryInvokeService<TestDbContext>(dbContext =>{dbContext.Remove(new TestEntity(){Id = 2});dbContext.SaveChanges();});// disable auditAuditConfig.DisableAudit();
}

查看审计记录信息：

可以看到，每次数据变更都会被记录下来， CreatedAt 没有记录是因为上面配置的忽略 CreatedAt 属性信息的记录。

这里的 TableName ，属性名称和 Entity 定义的不同是为了测试列名和属性名称不一致的情况，实际记录的是数据库里的表名称和列名称，之所以这样设计考虑的是可能多个应用使用同一张表，但是不同的应用里可能使用的 Entity 和 Property 都不同，所以统一使用了数据库的表名称和字段名称。

OperationType是一个枚举，1是新增，2是删除，3是修改。

Extra 列对应的就是我们自定义的增加的审计属性

UpdatedBy 是我们配置的 UserIdProvider 所提供的操作用户的信息

值得注意的是最后一条变更记录，这条数据的删除没有经过数据库查询，直接删除的，EF 不知道原本的除了主键之外的信息，所以记录的原始信息可能不准确，不过还是知道谁删除的这一条数据，对比之前的变更还是可以满足需求的。

实现原理

实现的原理是基于 EF 的内置的 Change Tracking 来实现的，EF 每次 SaveChanges 之前都会检测变更，每条变更的记录都会记录变更前的属性值以及变更之后的属性值，因此我们可以在 SaveChanges 之前记录变更前后的属性，对于数据库生成的值，如 SQL Server 里的自增主键，在保存之前，属性的会被标记为 IsTemporary ，保存成功之后会自动更新，在保存之后可以获取到数据库生成的值。

实现代码

首先实现一个 DbContextBase，重写 SaveChanges 和 SaveChangesAsync 方法，增加

BeforeSaveChanges 和 AfterSaveChanges 方法，用于处理我们要自定义的保存之前和保存之后的逻辑。

public abstract class DbContextBase : DbContext
{protected DbContextBase(){}protected DbContextBase(DbContextOptions dbContextOptions) : base(dbContextOptions){}protected virtual Task BeforeSaveChanges() => Task.CompletedTask;protected virtual Task AfterSaveChanges() => Task.CompletedTask;public override int SaveChanges(){BeforeSaveChanges().Wait();var result = base.SaveChanges();AfterSaveChanges().Wait();return result;}public override async Task<int> SaveChangesAsync(CancellationToken cancellationToken = default){await BeforeSaveChanges();var result = await base.SaveChangesAsync(cancellationToken);await AfterSaveChanges();return result;}

接着来实现一个用来自动审计的 AuditDbContextBase，核心代码如下：

public abstract class AuditDbContextBase : DbContextBase
{protected AuditDbContextBase(){}protected AuditDbContextBase(DbContextOptions dbContextOptions) : base(dbContextOptions){}protected List<AuditEntry> AuditEntries { get; set; }protected override Task BeforeSaveChanges(){AuditEntries = new List<AuditEntry>();foreach (var entityEntry in ChangeTracker.Entries()){if (entityEntry.State == EntityState.Detached || entityEntry.State == EntityState.Unchanged){continue;}AuditEntries.Add(new AuditEntry(entityEntry));}return Task.CompletedTask;}protected override async Task AfterSaveChanges(){if (null != AuditEntries && AuditEntries.Count > 0){foreach (var auditEntry in AuditEntries){// update TemporaryPropertiesif (auditEntry.TemporaryProperties != null && auditEntry.TemporaryProperties.Count > 0){foreach (var temporaryProperty in auditEntry.TemporaryProperties){var colName = temporaryProperty.Metadata.GetColumnName();if (temporaryProperty.Metadata.IsPrimaryKey()){auditEntry.KeyValues[colName] = temporaryProperty.CurrentValue;}switch (auditEntry.OperationType){case OperationType.Add:auditEntry.NewValues[colName] = temporaryProperty.CurrentValue;break;case OperationType.Delete:auditEntry.OriginalValues[colName] = temporaryProperty.OriginalValue;break;case OperationType.Update:auditEntry.OriginalValues[colName] = temporaryProperty.OriginalValue;auditEntry.NewValues[colName] = temporaryProperty.CurrentValue;break;}}// set to nullauditEntry.TemporaryProperties = null;}}// ... save audit entries}
}

此时我们已经可以实现自动的审计处理了，但是在实际业务处理的过程中，往往我们还会有更多的需求，

比如上面的实现还没有加入更新人，不知道是由谁来操作的，有些字段可能不希望被记录下来，或者有些表不要记录，还有我们向增加一些自定义的属性，比如多个应用操作同一个数据库表的时候我们可能希望记录下来是哪一个用户通过哪一个应用来更新的等等，所以之前上面的实现还是不能够实际应用的，于是我又在上面的基础上增加了一些配置以及扩展，使得自动审计扩展性更好，可定制性更强。

扩展

UserIdProvider

我们可以通过 UserIdProvider 来实现操作用户信息的获取，默认提供两个实现，定义如下：

public interface IAuditUserIdProvider
{string GetUserId();
}

默认实现：

// 获取 Environment.UserName
public class EnvironmentAuditUserIdProvider : IAuditUserIdProvider
{private EnvironmentAuditUserIdProvider(){}public static Lazy<EnvironmentAuditUserIdProvider> Instance = new Lazy<EnvironmentAuditUserIdProvider>(() => new EnvironmentAuditUserIdProvider(), true);public string GetUserId() => Environment.UserName;
}
// 获取 Thread.CurrentPrincipal.Identity.Name
public class ThreadPrincipalUserIdProvider : IAuditUserIdProvider
{public static Lazy<ThreadPrincipalUserIdProvider> Instance = new Lazy<ThreadPrincipalUserIdProvider>(() => new ThreadPrincipalUserIdProvider(), true);private ThreadPrincipalUserIdProvider(){}public string GetUserId() => Thread.CurrentPrincipal?.Identity?.Name;
}

当然如果是 asp.net core 你也可以实现相应的基于 HttpContext 实现的 UserIdProvider

Filters

基于我们可能希望忽略一些实体或属性记录，所以有必要增加 Filter 的记录

基于实体的 Filter: Func<EntityEntry,bool>

基于属性的 Filter: Func<EntityEntry,PropertyEntry,bool>

为了使用方便定义了一些扩展方法：

public static IAuditConfigBuilder IgnoreEntity(this IAuditConfigBuilder configBuilder, Type entityType)
{configBuilder.WithEntityFilter(entityEntry => entityEntry.Entity.GetType() != entityType);return configBuilder;
}
public static IAuditConfigBuilder IgnoreEntity<TEntity>(this IAuditConfigBuilder configBuilder) where TEntity : class
{configBuilder.WithEntityFilter(entityEntry => entityEntry.Entity.GetType() != typeof(TEntity));return configBuilder;
}
public static IAuditConfigBuilder IgnoreTable(this IAuditConfigBuilder configBuilder, string tableName)
{configBuilder.WithEntityFilter(entityEntry => entityEntry.Metadata.GetTableName() != tableName);return configBuilder;
}
public static IAuditConfigBuilder WithEntityFilter(this IAuditConfigBuilder configBuilder, Func<EntityEntry, bool> filterFunc)
{configBuilder.WithEntityFilter(filterFunc);return configBuilder;
}
public static IAuditConfigBuilder IgnoreProperty<TEntity>(this IAuditConfigBuilder configBuilder, Expression<Func<TEntity, object>> propertyExpression) where TEntity : class
{var propertyName = propertyExpression.GetMemberName();configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.Name != propertyName);return configBuilder;
}
public static IAuditConfigBuilder IgnoreProperty(this IAuditConfigBuilder configBuilder, string propertyName)
{configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.Name != propertyName);return configBuilder;
}
public static IAuditConfigBuilder IgnoreColumn(this IAuditConfigBuilder configBuilder, string columnName)
{configBuilder.WithPropertyFilter(propertyEntry => propertyEntry.Metadata.GetColumnName() != columnName);return configBuilder;
}
public static IAuditConfigBuilder IgnoreColumn(this IAuditConfigBuilder configBuilder, string tableName, string columnName)
{configBuilder.WithPropertyFilter((entityEntry, propertyEntry) => entityEntry.Metadata.GetTableName() != tableName&& propertyEntry.Metadata.GetColumnName() != columnName);return configBuilder;
}
public static IAuditConfigBuilder WithPropertyFilter(this IAuditConfigBuilder configBuilder, Func<PropertyEntry, bool> filterFunc)
{configBuilder.WithPropertyFilter((entity, prop) => filterFunc.Invoke(prop));return configBuilder;
}

IAuditPropertyEnricher

上面由提到有时候我们希望审计记录能够记录更多的信息，需要提供给用户一些自定义的扩展点，这里的 Enricher 的实现参考了 Serilog 里的做法，我们可以自定义一个 IAuditPropertyEnricher ，来丰富审计的信息，默认提供了 AuditPropertyEnricher，可以支持 key-value 形式的补充信息，实现如下：

public class AuditPropertyEnricher : IAuditPropertyEnricher
{private readonly string _propertyName;private readonly Func<AuditEntry, object> _propertyValueFactory;private readonly bool _overwrite;private readonly Func<AuditEntry, bool> _auditPropertyPredict = null;public AuditPropertyEnricher(string propertyName, object propertyValue, bool overwrite = false): this(propertyName, (auditEntry) => propertyValue, overwrite){}public AuditPropertyEnricher(string propertyName, Func<AuditEntry, object> propertyValueFactory, bool overwrite = false): this(propertyName, propertyValueFactory, null, overwrite){}public AuditPropertyEnricher(string propertyName,Func<AuditEntry, object> propertyValueFactory,Func<AuditEntry, bool> auditPropertyPredict,bool overwrite = false){_propertyName = propertyName;_propertyValueFactory = propertyValueFactory;_auditPropertyPredict = auditPropertyPredict;_overwrite = overwrite;}public void Enrich(AuditEntry auditEntry){if (_auditPropertyPredict?.Invoke(auditEntry) != false){auditEntry.WithProperty(_propertyName, _propertyValueFactory, _overwrite);}}
}

为了方便使用，提供了一些方便的扩展方法：

public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, object value, bool overwrite = false)
{configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, value, overwrite));return configBuilder;
}
public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, Func<AuditEntry> valueFactory, bool overwrite = false)
{configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, valueFactory, overwrite));return configBuilder;
}
public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, object value, Func<AuditEntry, bool> predict, bool overwrite = false)
{configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, e => value, predict, overwrite));return configBuilder;
}
public static IAuditConfigBuilder EnrichWithProperty(this IAuditConfigBuilder configBuilder, string propertyName, Func<AuditEntry, object> valueFactory, Func<AuditEntry, bool> predict, bool overwrite = false)
{configBuilder.WithEnricher(new AuditPropertyEnricher(propertyName, valueFactory, predict, overwrite));return configBuilder;
}

IAuditStore

之前的测试都是基于数据库来的，审计记录也是放在数据库里的，有时候可能不希望和原始数据存在一个数据库里，有时候甚至希望不放在数据库里，为了实现可以自定义的存储，提供了一个 IAuditStore 的接口，提供给用户可以自定义审计信息存储的可能。

public interface IAuditStore
{Task Save(ICollection<AuditEntry> auditEntries);
}

使用

DbContext 配置

默认提供了一个 AuditDbContextBase 和 AuditDbContext，他们的区别在于 AuditDbContext 会创建一张 AuditRecords 表，记录审计信息， AuditDbContextBase 则不会，只会写配置的存储。

如果希望提供自动审计的功能，新建 DbContext 的时候需要继承 AuditDbContext 或 AuditDbContextBase

审计配置

AuditConfig.Configure(builder =>
{builder// 配置操作用户获取方式.WithUserIdProvider(EnvironmentAuditUserIdProvider.Instance.Value)//.WithUnModifiedProperty() // 保存未修改的属性,默认只保存发生修改的属性// 保存更多属性.EnrichWithProperty("MachineName", Environment.MachineName).EnrichWithProperty(nameof(ApplicationHelper.ApplicationName), ApplicationHelper.ApplicationName)// 保存到自定义的存储.WithStore<AuditFileStore>().WithStore<AuditFileStore>("logs0.txt")// 忽略指定实体.IgnoreEntity<AuditRecord>()// 忽略指定实体的某个属性.IgnoreProperty<TestEntity>(t => t.CreatedAt)// 忽略所有属性名称为 CreatedAt 的属性.IgnoreProperty("CreatedAt");
});

如果希望暂时禁用审计可以使用 AuditConfig.DisableAudit() 来禁用，之后恢复可以使用 AuditConfig.EnableAudit()

// disable audit
AuditConfig.DisableAudit();
// enable audit
// AuditConfig.EnableAudit();

More

暂时想到的特性只有这些了，想要更多特性？欢迎 Issue & PR

项目地址：https://github.com/WeihanLi/WeihanLi.EntityFramework

Reference

  • https://www.meziantou.net/entity-framework-core-history-audit-table.htm

  • https://github.com/WeihanLi/WeihanLi.EntityFramework

EF Core 数据变更自动审计设计相关推荐

  1. [EF Core]数据迁移（二）

    摘要 在实际项目中,大多都需要对业务逻辑以及操作数据库的逻辑进行分成操作,这个时候该如何进行数据的迁移呢? 步骤 上篇文章:EF Core数据迁移操作 比如,我们将数据上下文放在了Data层. 看一下 ...

  2. 打造更好用的 EF 自动审计

    打造更好用的 EF 自动审计 Intro 上次基于 EF Core 实现了一个自动审计的功能,详细可以参考 EF Core 数据变更自动审计设计,虽然说多数情况下可以适用,但是因为要显式继承于一个 A ...

  3. mysql多租户schema复制,Asp.net core下利用EF core实现从数据实现多租户（3）: 按Schema分离 附加：EF Migration 操作...

    前言 前段时间写了EF core实现多租户的文章,实现了根据数据库,数据表进行多租户数据隔离. 今天开始写按照Schema分离的文章. 其实还有一种,是通过在数据表内添加一个字段做多租户的,但是这种模 ...

  4. 第一百五十二期:白话Entity Framework Core数据验证

    数据验证是每个项目必须存在的,可以防止不符合系统规范的数据进入系统进而导致系统不稳定甚至崩溃.我们可以自己编写代码进行验证,但是这样一方面代码量较大,另一方面有可能验证代码覆盖不完全.但是在 Enti ...

  5. .NET 5中的EF Core 5数据迁移：在单独的库中并自动部署

    目录 1.简介 2.先决条件 3.使用Dotnet CLI创建解决方案和项目框架 4.在DataAcess中创建模型和数据上下文 5.在WebApp中启动数据库 6.添加数据迁移功能 7.更改数据库模 ...

  6. EF Core 3 的 40 个中断性变更

    为了修复 Entify Framework Core 中许多已发现的缺陷,微软在 EF Core 3 中引入了 40 个中断性变更.我们可以在微软文档中查看完整的中断性变更列表,本文仅列举几个主要的点 ...

  7. EF Core 中实现 动态数据过滤器

    前言 在项目开发中,我们很多时候都会设计  软删除.所属用户 等等一系列字段 来方便我们在业务查询的时候进行各种过滤 然后引申的问题就是: 在业务查询的时候,我们要如何加上这些条件?或者动态禁用某些查 ...

  8. EF Core下利用Mysql进行数据存储在并发访问下的数据同步问题

    小故事 在开始讲这篇文章之前,我们来说一个小故事,纯素虚构(真实的存钱逻辑并非如此) 小刘发工资后,赶忙拿着现金去银行,准备把钱存起来,而与此同时,小刘的老婆刘嫂知道小刘的品性,知道他发工资的日子,也 ...

  9. 从EF三层 到 DDD领域驱动设计（1）--------------数据操作

    前言: 一路走来,从单片机到C#,从电子行业到计算机行业,技术是不断提高,但是身体确不断变差,本来高新的工作也不得不辞掉,改到一家国企过着咸鱼般,但很爽的生活. 最近的金砖比较忙,刚忙完金砖的事,就有 ...

最新文章

  1. Ubuntu版-virtualbox安装笔记
  2. 【LeetCode】剑指 Offer 21. 调整数组顺序使奇数位于偶数前面
  3. 详解iPhone Tableview分批显示数据
  4. 将我人生的第一篇博客献给伟大的软件工程这门课程
  5. 《超级搭讪学》— 综合素质提升书籍
  6. 台达ASDA-A2速度模式调试方法
  7. 软件测试---如何选择合适的正交表
  8. 计算器计算经纬距离_经纬距离计算器下载_经纬距离计算器官方下载-太平洋下载中心...
  9. 机器视觉学习笔记（7）——基于OpenCV的双目摄像机标定
  10. Unity源码分享之 电视遥控器按钮事件控制
  11. C语言read和write函数解析
  12. ISCC2021 Web WP
  13. Swift语言针对机器学习
  14. hive 数据类型 java_Hive数据类型
  15. 雷军：创业者要牢记的两个关键词
  16. https://geewu.gitbooks.io/rabbitmq-quick/content/RabbitMQ%E5%9F%BA%E7%A1%80%E6%93%8D%E4%BD%9C.html
  17. 这个模型，让前特斯拉AI总监Andrej Karpathy沉迷了整整3天！
  18. 【CEGUI】 Window环境编译
  19. 手动实现SSR渲染和实践总结
  20. 在线随机图片API收集（欢迎投稿）

热门文章

  1. 从浏览器地址栏输入url到显示页面的步骤
  2. 原型继承＋原型链 +　对象继承发展
  3. 如何打卡后缀为3ds的文件
  4. [转]十五分钟介绍 Redis数据结构
  5. 实现 VC 最小化到 托盘
  6. python webservice接口测试传参数_Python3 webservice接口测试方法是什么
  7. flac格式转换mp3格式_MP3，FLAC和其他音频格式之间有什么区别？
  8. BZOJ1509: [NOI2003]逃学的小孩(树的直径)
  9. 我为什么卸载了今日头条
  10. JS多个对象添加到一个对象中