雪花算法(snowflake) :分布式环境,生成全局唯一的订单号
snowflake方案
snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。
这种方案大致来说是一种以划分命名空间(UUID也算,由于比较常见,所以单独分析)来生成ID的一种算法,这种方案把64-bit分别划分成多段,分开来标示机器、时间等。
其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID),12bit作为毫秒内的流水号,最后还有一个符号位,永远是0。
比如在snowflake中的64-bit分别表示如下图(图片来自网络)所示:
整个结构是64位,所以我们在Java中可以使用long来进行存储。 该算法实现基本就是二进制操作,单机每秒内理论上最多可以生成1024*(2^12),也就是409.6万个ID(1024 X 4096 = 4194304)
0 - 0000000000 0000000000 0000000000 0000000000 0 - 00000 - 00000 - 000000000000
- 1位标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0
- 41位时间截(毫秒级),注意,41位时间截不是存储当前时间的时间截,而是存储时间截的差值(当前时间截 - 开始时间截) 得到的值),这里的的开始时间截,一般是我们的id生成器开始使用的时间,由我们程序来指定的(如下下面程序IdWorker类的startTime属性)。41位的时间截,可以使用69年,年T = (1L << 41) / (1000L * 60 * 60 * 24 * 365) = 69
- 10位的数据机器位,可以部署在1024个节点,包括5位datacenterId和5位workerId。10-bit机器可以分别表示1024台机器。如果我们对IDC划分有需求,还可以将10-bit分5-bit给IDC,分5-bit给工作机器。这样就可以表示32个IDC,每个IDC下可以有32台机器,可以根据自身需求定义。
- 12位序列,毫秒内的计数,12位的计数顺序号支持每个节点每毫秒(同一机器,同一时间截)产生4096个ID序号。12个自增序列号可以表示2^12个ID,理论上snowflake方案的QPS约为409.6w/s,这种分配方式可以保证在任何一个IDC的任何一台机器在任意毫秒内生成的ID都是不同的。
加起来刚好64位,为一个Long型。
优点:
整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞(由数据中心ID和机器ID作区分),并且效率较高,经测试,SnowFlake每秒能够产生26万ID左右。
- 毫秒数在高位,自增序列在低位,整个ID都是趋势递增的。
- 不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成ID的性能也是非常高的。
- 可以根据自身业务特性分配bit位,非常灵活。
缺点:
- 强依赖机器时钟,如果机器上时钟回拨,会导致发号重复或者服务会处于不可用状态。
- 针对此,美团做出了改进:https://github.com/Meituan-Dianping/Leaf
SnowFlake算法代码
public class SnowflakeIdWorker {// ==============================Fields==================/** 开始时间截 (2019-08-06) */private final long twepoch = 1565020800000L;/** 机器id所占的位数 */private final long workerIdBits = 5L;/** 数据标识id所占的位数 */private final long datacenterIdBits = 5L;/** 支持的最大机器id,结果是31 (这个移位算法可以很快的计算出几位二进制数所能表示的最大十进制数) */private final long maxWorkerId = -1L ^ (-1L << workerIdBits);/** 支持的最大数据标识id,结果是31 */private final long maxDatacenterId = -1L ^ (-1L << datacenterIdBits);/** 序列在id中占的位数 */private final long sequenceBits = 12L;/** 机器ID向左移12位 */private final long workerIdShift = sequenceBits;/** 数据标识id向左移17位(12+5) */private final long datacenterIdShift = sequenceBits + workerIdBits;/** 时间截向左移22位(5+5+12) */private final long timestampLeftShift = sequenceBits + workerIdBits + datacenterIdBits;/** 生成序列的掩码,这里为4095 (0b111111111111=0xfff=4095) */private final long sequenceMask = -1L ^ (-1L << sequenceBits);/** 工作机器ID(0~31) */private long workerId;/** 数据中心ID(0~31) */private long datacenterId;/** 毫秒内序列(0~4095) */private long sequence = 0L;/** 上次生成ID的时间截 */private long lastTimestamp = -1L;//==============================Constructors====================/*** 构造函数* @param workerId 工作ID (0~31)* @param datacenterId 数据中心ID (0~31)*/public SnowflakeIdWorker(long workerId, long datacenterId) {if (workerId > maxWorkerId || workerId < 0) {throw new IllegalArgumentException(String.format("worker Id can't be greater than %d or less than 0", maxWorkerId));}if (datacenterId > maxDatacenterId || datacenterId < 0) {throw new IllegalArgumentException(String.format("datacenter Id can't be greater than %d or less than 0", maxDatacenterId));}this.workerId = workerId;this.datacenterId = datacenterId;}// ==============================Methods=================================/*** 获得下一个ID (该方法是线程安全的)* @return SnowflakeId*/public synchronized long nextId() {long timestamp = timeGen();//如果当前时间小于上一次ID生成的时间戳,说明系统时钟回退过这个时候应当抛出异常if (timestamp < lastTimestamp) {throw new RuntimeException(String.format("Clock moved backwards. Refusing to generate id for %d milliseconds", lastTimestamp - timestamp));}//如果是同一时间生成的,则进行毫秒内序列if (lastTimestamp == timestamp) {sequence = (sequence + 1) & sequenceMask;//毫秒内序列溢出if (sequence == 0) {//阻塞到下一个毫秒,获得新的时间戳timestamp = tilNextMillis(lastTimestamp);}}//时间戳改变,毫秒内序列重置else {sequence = 0L;}//上次生成ID的时间截lastTimestamp = timestamp;//移位并通过或运算拼到一起组成64位的IDreturn ((timestamp - twepoch) << timestampLeftShift) //| (datacenterId << datacenterIdShift) //| (workerId << workerIdShift) //| sequence;}/*** 阻塞到下一个毫秒,直到获得新的时间戳* @param lastTimestamp 上次生成ID的时间截* @return 当前时间戳*/protected long tilNextMillis(long lastTimestamp) {long timestamp = timeGen();while (timestamp <= lastTimestamp) {timestamp = timeGen();}return timestamp;}/*** 返回以毫秒为单位的当前时间* @return 当前时间(毫秒)*/protected long timeGen() {return System.currentTimeMillis();}//==============================Test=============================================/** 测试 */public static void main(String[] args) {SnowflakeIdWorker idWorker = new SnowflakeIdWorker(0, 0);for (int i = 0; i < 1000; i++) {long id = idWorker.nextId();System.out.println(Long.toBinaryString(id));System.out.println(id);}}
}
snowflake实现方式1
apache.commons.lang3包
<dependency><groupId>org.apache.commons</groupId><artifactId>commons-lang3</artifactId><version>3.6</version>
</dependency>
读取配置文件:https://blog.csdn.net/fly910905/article/details/78737323
工具类
package com.datalook.util.common;import org.apache.commons.lang3.time.DateFormatUtils;import java.util.Date;
/*** * @Title: 订单号生成* @ClassName:OrderIdUtils.java* @Description:** @Copyright 2016-2017 - Powered By 研发中心* @author: 王延飞* @date:2018年3月22日 下午7:43:30* @version V1.0*/
public class OrderIdUtils {// 最近的时间戳private long lastTimestamp=0;//机器id 2位private final String machineId;// 0,并发控制private long sequence = 0L;// 序列号的最大值private final int sequenceMax = 9999;public OrderIdUtils(String machineId) {this.machineId = machineId;}/*** 生成订单号*/public synchronized String nextId(){Date now=new Date();String time= DateFormatUtils.format(now,"yyMMddHHmmssSSS");long timestamp = now.getTime();if (this.lastTimestamp == timestamp) {// 如果上一个timestamp与新产生的相等,则sequence加一(0-4095循环);// 对新的timestamp,sequence从0开始this.sequence = this.sequence + 1 % this.sequenceMax;if (this.sequence == 0) {// 重新生成timestamptimestamp = this.tilNextMillis(this.lastTimestamp);}} else {this.sequence = 0;}this.lastTimestamp= timestamp;StringBuilder sb=new StringBuilder(time).append(machineId).append(leftPad(sequence,4));return sb.toString();}/*** 补码* @param i* @param n* @return*/private String leftPad(long i,int n){String s = String.valueOf(i);StringBuilder sb=new StringBuilder();int c=n-s.length();c=c<0?0:c;for (int t=0;t<c;t++){sb.append("0");}return sb.append(s).toString();}/*** 等待下一个毫秒的到来, 保证返回的毫秒数在参数lastTimestamp之后*/private long tilNextMillis(long lastTimestamp) {long timestamp = System.currentTimeMillis();while (timestamp <= lastTimestamp) {timestamp = System.currentTimeMillis();}return timestamp;}// 这里读取的是配置文件// 机器id(我这里是01,正式环境建议使用机器IP)// 注意:分布式环境,注意每台机器的id要保证不同;也可以使用机器ip,映射成一个数字编号(如01:192.168.55.12)private static String myid= SysConstant.LOCAL_MACHINE_ID;// 示例private static OrderIdUtils instance = new OrderIdUtils(myid);public static OrderIdUtils getInstance() {return instance;}/*** * @Title: 获取订单号* @return String* @Description:** @author: 王延飞* @date: 2018年3月22日 下午7:56:56*/public static String getOrderNumber() {OrderIdUtils orderId = OrderIdUtils.getInstance();String nextId = orderId.nextId();return nextId;}/*** 调用*/public static void main(String[] args) {OrderIdUtils orderId= OrderIdUtils.getInstance();String nextId = orderId.nextId();int length = nextId.length();System.out.println(nextId);System.out.println(length);}
}
snowflake实现方式2
引入hutool依赖
<dependency><groupId>cn.hutool</groupId><artifactId>hutool-captcha</artifactId><version>${hutool.version}</version>
</dependency>
ID 生成器
public class IdGenerator {private long workerId = 0;@PostConstructvoid init() {try {workerId = NetUtil.ipv4ToLong(NetUtil.getLocalhostStr());log.info("当前机器 workerId: {}", workerId);} catch (Exception e) {log.warn("获取机器 ID 失败", e);workerId = NetUtil.getLocalhost().hashCode();log.info("当前机器 workerId: {}", workerId);}}/*** 获取一个批次号,形如 2019071015301361000101237* <p>* 数据库使用 char(25) 存储** @param tenantId 租户ID,5 位* @param module 业务模块ID,2 位* @return 返回批次号*/public synchronized String batchId(int tenantId, int module) {String prefix = DateTime.now().toString(DatePattern.PURE_DATETIME_MS_PATTERN);return prefix + tenantId + module + RandomUtil.randomNumbers(3);}@Deprecatedpublic synchronized String getBatchId(int tenantId, int module) {return batchId(tenantId, module);}/*** 生成的是不带-的字符串,类似于:b17f24ff026d40949c85a24f4f375d42** @return*/public String simpleUUID() {return IdUtil.simpleUUID();}/*** 生成的UUID是带-的字符串,类似于:a5c8a5e8-df2b-4706-bea4-08d0939410e3** @return*/public String randomUUID() {return IdUtil.randomUUID();}private Snowflake snowflake = IdUtil.createSnowflake(workerId, 1);public synchronized long snowflakeId() {return snowflake.nextId();}public synchronized long snowflakeId(long workerId, long dataCenterId) {Snowflake snowflake = IdUtil.createSnowflake(workerId, dataCenterId);return snowflake.nextId();}/*** 生成类似:5b9e306a4df4f8c54a39fb0c* <p>* ObjectId 是 MongoDB 数据库的一种唯一 ID 生成策略,* 是 UUID version1 的变种,详细介绍可见:服务化框架-分布式 Unique ID 的生成方法一览。** @return*/public String objectId() {return ObjectId.next();}}
参考链接:https://juejin.im/post/5d8882d8f265da03e369c063
雪花算法(snowflake) :分布式环境,生成全局唯一的订单号相关推荐
- 如何设计一个分布式环境下全局唯一的发号器
一.如何设计一个分布式环境下全局唯一的发号器 1.UUID 常见的方式.可以利用数据库也可以利用程序生成,一般来说全球唯一. 优点: 简单,代码方便. 生成ID性能非常好,基本不会有性能问题. 全球唯 ...
- 高并发分布式系统中生成全局唯一(订单号)Id
2019独角兽企业重金招聘Python工程师标准>>> 高并发分布式系统中生成全局唯一(订单号)Id 1.GUID数据因毫无规律可言造成索引效率低下,影响了系统的性能,那么通过组合的 ...
- 雪花算法snowflake分布式id生成原理详解,以及对解决时钟回拨问题几种方案讨论
文章目录 一.前言 二.雪花算法snowflake 1.基本定义 2.snowflake的优缺点 三.Java代码实现snowflake 1.组装生成id 2.计算最大值的几种方式 3.反解析ID 4 ...
- 雪花算法(snowflake) :分布式环境,生成全局唯一的订单号 | CSDN 博文精选
戳蓝字"CSDN云计算"关注我们哦! 作者 | 琦彦 责编 | 阿秃 转自 | CSDN 博客 snowflake方案 snowflake是Twitter开源的分布式ID生成算 ...
- Twitter的分布式雪花算法 SnowFlake 每秒自增生成26个万个可排序的ID (Java版)
分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序的. 有些时候我们希望能使用一种简单一 ...
- 雪花算法:分布式唯一 ID 生成利器
无论是在分布式系统中的 ID 生成,还是在业务系统中请求流水号这一类唯一编号的生成,都是软件开发人员经常会面临的一场景.而雪花算法便是这些场景的一个解决方案. 以分布式 ID 为例,它的生成往往会在唯 ...
- 雪花算法:分布式唯一ID生成利器
前言 无论是在分布式系统中的ID生成,还是在业务系统中请求流水号这一类唯一编号的生成,都是软件开发人员经常会面临的一场景.而雪花算法便是这些场景的一个解决方案. 以分布式ID为例,它的生成往往会在唯一 ...
- java不规则算法_分布式id生成算法 snowflake 详解
背景 在复杂分布式系统中,往往需要对大量的数据和消息进行唯一标识.如在支付流水号.订单号等,随者业务数据日渐增长,对数据分库分表后需要有一个唯一ID来标识一条数据或消息,数据库的自增ID显然不能满足需 ...
- 如何在分布式场景下生成全局唯一 ID ?
作者 l 会点代码的大叔(CodeDaShu) 在分布式系统中,有一些场景需要使用全局唯一 ID ,可以和业务场景有关,比如支付流水号,也可以和业务场景无关,比如分库分表后需要有一个全局唯一 ID,或 ...
最新文章
- 提升方法-Adaboost算法
- Zookeeper实现Master选举(哨兵机制)
- Linux工作笔记-Linux常用命令(一)
- 从一个实例看编程水平的步步提高
- 【英语学习】【Level 07】U03 Amazing wonders L2 A global city
- Node.js package.json
- OS X 10.10.2 也不顶用? Wi-Fi 问题仍存在
- SAP License:CKMLCP运行物料帐时单个物料冲突无法运行
- 学Python就能做好数据分析?万能语言背后是一片韭菜地
- Android app应用多语言切换功能实现
- 【To Understand! 重点 递归 动态规划 正则表达式匹配】LeetCode 44. Wildcard Matching
- 代码整洁 vs 代码肮脏
- 人人影视路由二代刷Breed
- 为什么公司宁愿花15k去重招一个应届生,也不愿意加薪5k留住老程序员?
- html水平线向上移动代码,HTML 水平线
- 支付清算体系介绍(下)
- 暖芯迦推出可编程神经调控平台芯片-元神ENS001
- 中学化学教学参考杂志社中学化学教学参考编辑部2022年第15期目录
- [图文教程] 禁止 Windows 10 自动下载和更新驱动程序(转)
- c语言标准代码风格,C语言代码书写风格