sql server 多用户 并发_Tinyid:滴滴开源千万级并发的分布式ID生成器
Tinyid是一个ID生成器服务,它提供了REST API和Java客户端两种获取方式,如果使用Java客户端获取方式的话,官方宣称能单实例能达到1kw QPS(Over 10 million QPS per single instance when using the java client),我的妈呀!
说明:Tinyid要求JDK是1.7+即可。
Github
Tinyid开源的Github地址:https://github.com/didi/tinyid。
运行Tinyid
将Tinyid源码下载到本地,并导入idea后,接下来准备把它运行起来。
1. 导入SQL
Tinyid依赖的SQL脚本路径:tinyid/tinyid-server/db.sql,是MySQL数据库的脚本。登陆mysql客户端并创建一个tinyid数据库后,执行命令 source /data/tinyid/tinyid-server/db.sql。如果show tables后能看到两个表tinyidinfo和tinyidtoken表示创建成功。并且脚本已经初始化了两条数据:
mysql> select id,token,biz_type from tiny_id_token;
+----+----------------------------------+----------+
| id | token | biz_type |
+----+----------------------------------+----------+
| 1 | 0f673adf80504e2eaa552f5d791b644c | test |
| 2 | 0f673adf80504e2eaa552f5d791b644c | test_odd |
+----+----------------------------------+----------+
2 rows in set (0.08 sec)
mysql> select id,biz_type,begin_id,max_id,step,delta from tiny_id_info;
+----+----------+----------+--------+--------+-------+
| id | biz_type | begin_id | max_id | step | delta |
+----+----------+----------+--------+--------+-------+
| 1 | test | 1 | 1 | 100000 | 1 |
| 2 | test_odd | 1 | 1 | 100000 | 2 |
+----+----------+----------+--------+--------+-------+
2 rows in set (0.01 sec)
2. mysql依赖
这里需要注意的是,tinyid项目默认依赖5.x版本MySQL驱动包,Maven坐标如下:
mysql
mysql-connector-java
5.1.44
如果你的MySQL服务器是8.x版本(笔者本地就是8.x的MySQL),可能会碰到在启动过程中报连接数据库错误:
Caused by: java.sql.SQLException: Unable to load authentication plugin 'caching_sha2_password'.
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:868) ~[mysql-connector-java-5.1.44.jar:5.1.44]
at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:864) ~[mysql-connector-java-5.1.44.jar:5.1.44]
at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1746) ~[mysql-connector-java-5.1.44.jar:5.1.44]
at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226) ~[mysql-connector-java-5.1.44.jar:5.1.44]
... ...
这样的话,需要将你的MySQL驱动升级到8.x版本(说明:如果你是其他MySQL版本,启动tinyid时碰到类似的异常,那么MySQL驱动版本请视情况而定进行升级):
mysql
mysql-connector-java
8.0.11
3. 修改配置
接下来需要更新配置application.properties文件。主要更新数据库相关配置,具体值根据你的MySQL环境而定:
datasource.tinyid.primary.driver-class-name=com.mysql.jdbc.Driver
datasource.tinyid.primary.url=jdbc:mysql://localhost:3306/tinyid?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8
datasource.tinyid.primary.username=afei
datasource.tinyid.primary.password=afei
4. 启动tinyid
tinyid项目基于Springboot开发的,所以启动非常简单。只需要运行主类TinyIdServerApplication.java即可。运行后如果能看到如下日志,表示启动成功:
00:20:55,761 [main] [INFO] o.s.b.c.e.t.TomcatEmbeddedServletContainer - Tomcat started on port(s): 9999 (http)
00:20:55,767 [main] [INFO] c.x.u.t.s.TinyIdServerApplication - Started TinyIdServerApplication in 5.092 seconds (JVM running for 6.29)
00:21:00,001 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - refresh token begin
00:21:00,002 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - tinyId token init begin
00:21:00,006 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - tinyId token init success, token size:2
00:22:00,001 [pool-3-thread-1] [INFO] c.x.u.t.s.s.i.TinyIdTokenServiceImpl - refresh token begin
。。。 。。。
5. 获取唯一ID
接下来可以尝试通过REST API获取分布式唯一ID,请求实例如下,bizType和token的值请参考tinyidtoken表:
http://localhost:9999/tinyid/id/nextId?bizType=test&token=0f673adf80504e2eaa552f5d791b644c
Client集成
tinyid还支持Client集成模式,只需要引入如下Maven坐标:
com.xiaoju.uemc.tinyid
tinyid-client
${tinyid.version}
然后在你的classpath路径下创建配置文件tinyid_client.properties,内容如下,这两个参数就是IdGeneratorFactoryClient.java中tinyid服务端请求地址"http://{0}/tinyid/id/nextSegmentIdSimple?token={1}&bizType="的第一个和第二个参数:
tinyid.server=localhost:9999
tinyid.token=0f673adf80504e2eaa552f5d791b644c
tinyid.server还支持多个地址配置,多个地址之间以英文逗号隔开,例如:tinyid.server=host1:9999,tinyid.server=host2:9999。
接下来,就能简单的通过调用tinyid封装的API获取分布式ID,实例代码如下,test就是bizType的值:
// 单个分布式ID获取
Long id = TinyId.nextId("test");
// 多个分布式ID批量获取
List<Long> ids = TinyId.nextId("test", 10);
通过配置可知,tinyid-client本质上还是依赖tinyid-server,只不过它封装了对tinyid-server的HTTP请求,然后暴露最简单的API给用户使用而已。它对tinyid-server的HTTP请求封装在TinyIdHttpUtils.java中,依赖JDK原生的HttpURLConnection,居然没有使用其他第三方优秀的HTTP Client包例如okhttp!
tinyid原理
tinyid的原理非常简单,通过数据库表中的数据基本是就能猜出个八九不离十,就是经典的segment模式,和美团的leaf原理几乎一致。原理图如下所示,以同一个bizType为例,每个tinyid-server会分配到不同的segment,例如第一个tinyid-server分配到(1000, 2000],第二个tinyid-server分配到(2000, 3000],第3个tinyid-server分配到(3000, 4000]:
再以第一个tinyid-server为例,当它的segment用了20%(核心源码:segmentId.setLoadingId(segmentId.getCurrentId().get() + idInfo.getStep() * Constants.LOADINGPERCENT / 100);,LOADINGPERCENT的值就是20),即设定loadingId为20%的阈值,例如当前id是10000,步长为10000,那么loadingId=12000。那么当请求分布式ID分配到12001时(或者重启后),即超过loadingId,就会返回一个特殊code:new Result(ResultCode.LOADING, id);tinyid-server根据ResultCode.LOADING这个响应码就会异步分配下一个segment(4000, 5000],以此类推。
近期热文
面试官问:MySQL的自增ID用完了,怎么办?
ArrayList插入1000w条数据之后,我怀疑了jvm...
蚂蚁二面,面试官问我零拷贝的实现原理,当场懵了…
最后,分享一份面试宝典《Java核心知识点整理.pdf》,覆盖了JVM、锁、高并发、反射、Spring原理、微服务、Zookeeper、数据库、数据结构等等。
获取方式:点“在看”,关注公众号并回复 Java 领取,更多内容陆续奉上
明天见(。・ω・。)ノ♡
sql server 多用户 并发_Tinyid:滴滴开源千万级并发的分布式ID生成器相关推荐
- 千万级并发实现的秘密:内核不是解决方案,而是问题所在!
既然我们已经解决了 C10K并发连接问题,应该如何提高水平支持千万级并发连接?你可能会说不可能.不,现在系统已经在用你可能不熟悉甚至激进的方式支持千万级别的并发连接. 要知道它是如何做到的,我们首先要 ...
- 淘宝从几百到千万级并发的十四次架构演进之路!
点击上方 好好学java ,选择 星标 公众号 重磅资讯.干货,第一时间送达 今日推荐:用好Java中的枚举,真的没有那么简单!个人原创+1博客:点击前往,查看更多 链接:https://segmen ...
- 千万级并发实现的秘密:内核不是解决方案而是问题所在!
摘要:C10K问题让我们意识到:当并发连接达到10K时,选择不同的解决方案,笔记本性能可能会超过16核服务器.对于C10K问题,我们或绕过,或克服:然而随着并发逐渐增多,在这个后10K的时代里,你是否 ...
- 阿里千万级并发课程开课了,达不到25.6万年薪全额退款
你有高并发经验吗 只要你面试,面试官最常问的一个问题就是"有高并发经验吗?" 无论你是高级工程师还是架构师,只要你不在BAT这样的一线大厂工作,你绝对没有接触过千万级别的高并发. ...
- 知乎技术分享:知乎千万级并发的高性能长连接网关技术实践
本文来自知乎官方技术团队的"知乎技术专栏",感谢原作者faceair的无私分享. 1.引言 实时的响应总是让人兴奋的,就如你在微信里看到对方正在输入,如你在王者峡谷里一呼百应,如你 ...
- 淘宝千万级并发分布式架构的14次演进
一.概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则. ...
- 淘宝从百个并发到千万级并发情况下架构的十四次演进
1.概述 本文以淘宝作为例子,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程,同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知,文章最后汇总了一些架构设计的原则. ...
- 服务器千万级并发很难,且看看DPDK为我们解决了哪些核心问题?丨网络性能丨底层原理丨后端开发丨Linux服务器开发
千万级并发的难点有哪些?dpdk为我们解决了哪些核心问题? 1. 5个维度描述千万级并发 2. dpdk的作用 3. dpdk项目实战 视频讲解如下,点击观看: 千万级并发很难,且看看DPDK为我们 ...
- IM消息ID技术专题(五):开源分布式ID生成器UidGenerator的技术实现
1.引言 很多人一想到IM应用开发,第一印象就是"长连接"."socket"."保活"."协议"这些关键词,没错,这些确 ...
最新文章
- php删除上传图片,PHP上传图片、删除图片的简单示例代码
- 云服务器怎么设置数据库文件,怎么设置云服务器数据库
- vue 百度统计_百度暑期实习前端开发面经
- 汇编-简单的条件转移指令应用-附例子:判断坐标所在象限
- 如何清除Windows共享登录的用户名密码记录
- centos 中设置网卡等相关参数
- 方法调用中的别名问题
- 郭慧计算机,机械制图及CAD(高等院校网络教育系列教材)
- 荷兰国旗问题以及快速排序
- 3.7V转12V2A 15V2A 大功率升压芯片 拉杆音响专用升压芯片
- java游戏走到边缘_java-3D对象相遇的边缘和毛刺不均匀
- 硬件基础之继电器互锁工作原理
- python的array是什么意思_[:,:]在NumPy数组上是什么意思
- 执法仪接入GB28181平台实现实时监控、对讲、报警、定位等管理
- 我们跟8个程序员聊了一晚上,攒齐了来自BAT的吐槽
- 淘宝走过的大数据之路
- STM32的中断优先级详解
- 牛奶可乐经济学之Q3:为什么在高档餐厅,侍者的工资比助理厨师要高?
- mybatis、mysql使用函数实现英文模糊查询中文的功能
- Mac 关闭Cisco AnyConnect 开启启动
热门文章
- 财务一体化项目,进度与计划31
- linux shadow文件如何拷贝,Linux如何查找shadow文件进入?这样几步轻松搞定!
- 数据结构与算法之-----总览
- android4.0闪光灯亮度控制代码,android 应用开发如何调节闪光灯亮度?
- 本地html如何导出pdf,html表格以pdf格式导出到本地
- 主线程中慎用WaitForSingleObject (WaitForMultipleObjects)
- 基于机器视觉的电阻焊接质量检测
- 图片配置文件设置 索尼a7s2_一招让索尼相机直出电影机色彩
- 分享 | 滴滴分布式NoSQL数据库Fusion的演进之路
- 浅谈Android项目----JSON解析(4种解析技术详解)