源宝导读:数据库设计时,经常会使用GUID作为表的主键,但由于GUID的随机性会导致数据库在读写数据时效率严重下降,影响应用程序整体性能。本文将深入探讨如何通过使用有序GUID提升数据读写的性能。

一、背景

常见的数据库设计是使用连续的整数为做主键,当新的数据插入到数据库时,由数据库自动生成,但这种设计不一定适合所有场景。

随着越来越多的应用程序使用Nhibernate、Entity Framework Core等ORM(对象关系映射)框架,应用被设计成为工作单元(Unit Of Work)模式,需要在数据持久化之前生成主键,解决主实体与子系统的依赖关系;为了保证在多线程并发以及站点集群环境中主键的唯一性,最简单最常见的方式是将主键设计成为GUID类型。

    工作单元是数据库应用程序经常使用的一种设计模式,简单一点来说,就是对多个数据库操作进行打包,记录对象上的所有变化,并在最后提交时一次性将所有变化通过系统事务写入数据库。目的是为了减少数据库调用次数以及避免数据库长事务。关于工作单元的知识可以在各类博客网站中都有说明,在这里就不做详细的介绍了。

GUID(全球唯一标识符)也称为UUID,是一种由算法生成的二进制长度为128位的数字标识符。在理想情况下,任何计算机之间都不会生成两个相同的GUID。GUID 的总数达到了2^128(3.4×10^38)个,所以随机生成两个相同GUID的可能性非常小,但并不为0。GUID一词有时也专指微软对UUID标准的实现。

RFC 41222描述了创建标准GUID,如今大多数GUID生成算法通常是一个很长的随机数,再结合一些像网络MAC地址这种随机的本地组件信息。

GUID的优点允许开发人员随时创建新值,而无需从数据库服务器检查值的唯一性,这似乎是一个完美的解决方案。

很多数据库在创建主键时,为了充分发挥数据库的性能,会自动在该列上创建聚集索引。我们先来说一说什么是聚集索引。集索引确定表中数据的物理顺序,类似于电话簿,按姓氏排列数据。由于聚集索引规定数据在表中的物理存储顺序,因此一个表也只能包含一个聚集索引。它能够快速查找到数据,但是如果插入数据库的主键不在列表的末尾,向表中添加新行时就非常缓慢。例如,看下面这个例子,在表中已经存在三行数据(例子来自Jeremy Todd的博客《GUIDs as fast primary keys under multiple databases》):

此时非常简单:数据行按对应ID列的顺序储存。如果我们新添加一行ID为8的数据,不会产生任何问题,新行会追加的末尾。

但如果我们想插入一行的ID为5的数据。

ID为7,8的数据行必须向下移动。虽然在这算什么事儿,但当您的数据量达到数百万行的级别之后,这就是个问题了。如果您还想要每秒处理上百次这种请求,那可真是难上加难了。

这就是GUID主键引发的问题:它是随机产生的,所以在数据插入时,随时都会涉及到数据的移动,导致插入会很缓慢,还会涉及大量不必要的磁盘活动。根据数据库的存储的相关知识,会带如下两点问题:

  1. 空间的浪费以及由此带来的读写效率的下降;

  2. 更主要的,存储的碎片化以及由此带来的读写效率严重下降。

GUID最关键的问题就是它是随机的。我们需要设计一种有规则的GUID生成方式,在之后生成的GUID类型总是比之前的要大,保证插入数据库的主键是在表数据的末尾追加的,这种我们称之为有序GUID。

二、GUID排序规则

在讲解有序GUID之前,我们必须先了解一下GUID在.Net中以及各个数据库中的排序规则,排序规则不一样,生成有序GUID的规则也会随之变化。

128位的GUID主要有4部分组成:Data1, Data2, Data3, and Data4,你可以看成下面这样:“11111111-2222-3333-4444-444444444444”。

Data1 占4个字节, Data2 2个字节, Data3 2个字节加 Data4 8个字节。我们分别的对各字节编上序号:

GUID在.Net中的排序规则

在.Net中,GUID默认的排序规则是按左到右的,看下面这个示例。

输出结果:

通过上面的输出结果,我们可以得到排序的权重如下

这与数字排序规则一致,从右到左进行依次进行排序(数字越小,权重越高,排序的优先级越高)。

GUID在各个数据库中的排序规则

在SQL Server数据库中,我们有一种非常简单的方式来比较两个GUID类型的大小值(其实在SQL Server数据库中称为UniqueIdentifier类型):

上面的例子来自Ferrari的博客《How are GUIDs sorted by SQL Server?》。

查询结果:

通过上面可以得到如下结果:

  • 先按每1-8从左到右进行排序;

  • 接着按第9-10位从右到左进行排序;

  • 最后按后11-16位从右到左进行排序;

通过分析,我们可得到如下权重列表:

在Microsoft官方文档中,有一篇文档关于GUID与uniqueidentifier的值比较:《Comparing GUID and uniqueidentifier Values》。

不同的数据库处理GUID的方式也是不同的。在SQL Server存在内置GUID类型,没有原生GUID支持的数据库通过模拟来方式来实现的。在Oracle保存为raw bytes类型,具体类型为raw(16);在MySql中通常将GUID储存为char(36)的字符串形式。

关于Oracle、MySql数据库的排序规则与.Net中排序规则,不过篇章的限制,这里不再做具体的演示,您可以自己进行测试。我们在这里只给出最终的结论:

  • .Net中GUID的排序规则是从左到右依次进行排序,与数字排序规则一致;

  • Sql Server数据库提供对GUID类型的支持,在数据库中称为UniqueIdentifier类型,但是排序规则比较复杂:

    • 先按每1-8从左到右进行排序;

    • 接着按第9-10位从右到左进行排序;

    • 最后按后11-16位从右到左进行排序;

  • Oracle数据库未提供对GUID类型的支持,使用的是raw bytes类型保存数据,真实类型为raw(16),排序规则是按Oracle二进制进行排序的;

  • MySql数据库未提供对GUID类型的支持,使用的是字符串的类型保存数据,使用是的char(36)类型,由于使用的是字符串类型,排序规则与GUID在.Net中的规则一致。

三、有序GUID

有序GUID是有规则的生成GUID,保证在之后生成的GUID的值总是比之前的要大。不过在上一节中,已经提到过各个数据库对GUID支持不一样,而且排序的规则也不一样,所以我们需要为每一个数据库提供不一致的有序GUID生成规则。

UuidCreateSequential函数

我们都知道SQL Server数据库有一个NewSequentialId()函数,用于创建有序GUID。在创建表时,可以将它设置成为GUID类型字段的默认值,在插入新增数据时自动创建主键的值(该函数只能做为字段的默认值,不能直接在SQL中调用)。示例如下:

NewSequentialId()函数只能在数据库使用,不过在 Microsoft 的 MSDN 文档中有说明,NEWSEQUENTIALID 是对 Windows UuidCreateSequential 函数的包装,https://msdn.microsoft.com/zh-cn/library/ms189786(v=sql.120).aspx。这样我们可以在C#通过非托管方法调用:

但是上面的方法也存在三个问题:

1、这个方法涉及到安全问题,UuidCreateSequential函数依赖的计算硬件,该方法的后12位其实是网卡的MAC地址。这是我电脑生成的一组有序GUID。

这是我本地电脑的网卡的MAC地址:

2、由于UuidCreateSequential函数生成的有序GUID中包括MAC地址,所以如果在服务器集群环境中,肯定存在一台服务器A上生成的有序GUID总比另一台服务器B生成要更小,服务器A产生的数据插入到数据库时,由于聚集索引的问题,总是会移动服务器B已经持久化到数据库中的数据。集群的服务器越多,产生的IO问题更严重。在服务器群集环境中,需要自行实现有序GUID。

3、UuidCreateSequential函数生成的GUID规则与SQL Server中排序的规则存在不一致,这样仍然会导致严重的IO问题,所以需要将GUID重新排序后再持久化到数据库。例如上面列出生成的GUID列表,依次生成的数据可以看出,是第4位字节在自增长,在这与任何一个数据库的排序规则都不一致;关于该函数生成的规则,可以见此文章:https://stackoverflow.com/questions/5585307/sequential-guids。

下面的方法是将生成的GUID调整成为适合Sql Server使用的有序GUID(针对其它数据库支持,您可以按排序规则自行修改):

小结:
    UuidCreateSequential函数存在隐私的问题,不适合集群环境,并且需要重新排序后再提交到数据库;

COMB解决方案

COMB 类型的GUID 是由Jimmy Nilsson在他的“The Cost of GUIDs as Primary Keys”一文中设计出来的。
     基本设计思路是这样的:既然GUID数据生成是随机的,会造成索引效率低下,影响了系统的性能,那么能不能通过组合的方式,保留GUID的前10个字节,用后6个字节表示GUID生成的时间(DateTime),这样我们将时间信息与GUID组合起来,在保留GUID的唯一性的同时增加了有序性,以此来提高索引效率(这是针对Sql Server数据库来设计的)。

在NHibernate框架中已经实现该功能,可以在github上看到实现方式:https://github.com/nhibernate/nhibernate-core/blob/master/src/NHibernate/Id/ GuidCombGenerator.cs#L45-L69。

在EF以及EF Core也同样实现了类似的解决方案,EF Core的实现方式:https://github.com/aspnet/EntityFrameworkCore/blob/f7f6d6e23c8e47e44a61983827d9e41f2afe5cc7/src/EFCore/ValueGeneration/SequentialGuidValueGenerator.cs#L25-L44。

在这里介绍一下使用的方式,由EF Core框架自动生成有序GUID的方式:

但是请注意,这两个ORM的解决方案只针对Sql Server数据库,因为只保证了最后几位字节是按顺序来生成的。

SequentialGuid框架

SequentialGuid框架也是我要推荐给您,因为它提供了常见数据库生成有序Guid的解决方案。

基本原理与COMB方案一样,使用时间来保证有序GUID的顺序,使用System.Security.Cryptography. RNGCryptoServiceProvider保证生成的数据的唯一性;关于该框架的设计思路以及针对各个数据库的性能测试,见链接:https://www.codeproject.com/Articles/388157/GUIDs-as-fast-primary-keys-undermultiple-database。

使用方式,建议您参考ABP框架,在ABP中使用SequentialGuid框架来生成有序GUID,关键代码链接:https://github.com/aspnetboilerplate/aspnetboilerplate/ blob/b36855f0c238c3592203f058c641862844a0614e/src/Abp/SequentialGuidGenerator.cs#L36-L51。

四、总结

我们来总结一下:

  • 在数据库中最好不要使用随机的GUID,它会影响性能;

  • 在SQL Server中提供了NewSequentialId函数来生成有序GUID;

  • 各个数据库对GUID支持的不一样,而且排序的规则也不一样;

  • UuidCreateSequential函数存在隐私的问题,不适合集群环境,并且需要重新排序后再提交到数据库;

  • 各ORM框架提供了有序GUID的支持,但是其实只是针对Sql Server数据库设计的;

  • 推荐您使用SequentialGuid框架,它解决了多数据库以及集群环境的问题。

------ END ------

作者简介

唐同学: 架构师,目前负责ERP运行平台整体架构设计和开发。

也许您还想看

ERP缓存实践经验分享

大数据列表页面前端性能优化方案与实践

.Net最小工作线程对应用程序性能的影响

成本计算引擎动态规则解析技术详解

如何使用有序GUID提升数据库读写性能相关推荐

  1. 提高mysql吞吐量_【调优】从吞吐量角度提升数据库整体性能

    [调优]从吞吐量角度提升数据库整体性能 不严谨的说:对的使用就是I/O操作! 因此,如果有效的了数据库系统对磁盘的I/O,那么可以说整体就会得到有效地提升. 本文尝试给出一些最常被使用到的提升系统的策 ...

  2. oracle数据库的吞吐量,Oracle 吞吐量角度提升数据库整体性能

    Oracle 吞吐量角度提升数据库整体性能 (2013-05-21 08:15:46) 标签: it 本文尝试给出一些最常被使用到的提升系统的策略,希望起到抛砖引玉的效果. 1.尽量保证在内存中完成数 ...

  3. Abp mysql guid_.NET生成多数据库有序Guid

    1 /// 2 ///Guid工具类3 /// 4 public static classGuidUtils5 {6 #region 外部方法 7 /// 8 ///生成有序Guid9 /// 10 ...

  4. IM开发基础知识补课(三):快速理解服务端数据库读写分离原理及实践建议

    1.前言 IM应用从服务端数据的角度来看,它是一种很特殊的应用场景,抛开基础数据.增值业务和附属功能不谈,单从IM聊天工具的立身之本--聊天数据来说,理论上是不需要在服务端存储的(或者说只需要短暂存储 ...

  5. 数据库读写分离架构详解

    RD:数据量太大,数据库扛不住了,帮忙申请一个从库,读写分离. DBA:数据量多少? RD:5000w左右. DBA:读写吞吐量呢? RD:读QPS约200,写QPS约30左右. 额,数据库读写分离虽 ...

  6. nfs服务器随机读写性能,linux nfs 读写性能

    linux nfs 读写性能 内容精选 换一换 fio是一个开源的I/O压力测试工具,可以使用fio工具对SFS进行吞吐量和IOPS的性能测试.已在云服务器上安装fio工具.fio可从官网或GitHu ...

  7. 使用有序GUID:提升其在各数据库中作为主键时的性能

    原文出处:https://www.codeproject.com/articles/388157/guids-as-fast-primary-keys-under-multiple-database  ...

  8. 针对多类型数据库,集群数据库的有序GUID

    一.背景 常见的一种数据库设计是使用连续的整数为做主键,当新的数据插入到数据库时,由数据库自动生成.但这种设计不一定适合所有场景. 随着越来越多的使用Nhibernate.EntityFramewor ...

  9. 使用SQL Server分区表功能提高数据库的读写性能

    首先祝大家新年快乐,身体健康,万事如意. 一般来说一个系统最先出现瓶颈的点很可能是数据库.比如我们的生产系统并发量很高在跑一段时间后,数据库中某些表的数据量会越来越大.海量的数据会严重影响数据库的读写 ...

最新文章

  1. Spark Steaming 点滴
  2. java 隐藏参数,如何在没有JVM参数的情况下隐藏java 9中的“...
  3. php linux权限,Linux权限位
  4. Python进阶1——一摞纸牌
  5. php连接到mysql数据库,PHP MySQL:连接到MySQL数据库
  6. ABAP 数据类型的区别和转换
  7. jquery 学习之一 对象访问
  8. jQ效果:简单的手风琴效果
  9. Qt之进程间通信(共享内存)
  10. Kubernetes 上容器的启动顺序如何把控?
  11. Handbook of Constraints Programming——Chapter4 Backtracking Search Algorithms-Preliminaries
  12. JPA+Hibernate 3.3 ——第一个JPA程序
  13. Sketch技巧:快速复制图形
  14. Spring源码阅读之在spring源码中创建一个gradle测试模块
  15. 28.XAPP1052驱动详解-WinDriver DMA读写流程
  16. 小程序源码:全新实用工具证件照制作微信小程序源码下载支持多种证件生成与制作
  17. 中国电信中国电信物联网开放平台-连接管理子系统 http返回为空
  18. ESP32增加文件夹及文件
  19. 解决vue项目路由出现message: “Navigating to current location (XXX) is not allowed“的问题(点击多次跳转)
  20. win10误删除efi引导文件

热门文章

  1. Python easy_install
  2. InstallSield更新包快速入门文档----感谢原作者ㄣ齊¨彡仯乄的无私提供
  3. window 2008 和 windows vista windows 7 安装 MSMQ
  4. [轉]数据挖掘工具的选择
  5. 笔记本本地连接显示电缆拔出_没有安全电缆槽的笔记本电脑如何固定?
  6. 066:ORM查询条件详解-startswith和endswith:
  7. shell中字符串操作【转】
  8. 转:Chrome渲染分析之Timeline工具的使用
  9. python第七天--字符串的方法与注释
  10. Js黑客帝国效果 文字下落 制作过程和思路