牛逼！“京东热” 框架 JD-hotkey 开源了...单机 QPS 可达 37 万！！

JD-hotkey 是京东 APP 后台热数据探测框架，历经多次高压压测和 2020 年京东 618 大促考验。

在上线运行的这段时间内，每天探测的key数量数十亿计，精准捕获了大量爬虫、刷子用户，另准确探测大量热门商品并毫秒级推送到各个服务端内存，大幅降低了热数据对数据层的查询压力，提升了应用性能。

该框架历经多次压测，性能指标主要有两个：

1 探测性能：8核单机worker端每秒可接收处理16万个key探测任务，16核单机至少每秒平稳处理30万以上，实际压测达到37万，CPU平稳支撑，框架无异常。

2 推送性能：在高并发写入的同时，对外推送目前性能约平稳推送每秒10-12万次，譬如有1千台server，一台worker上每秒产生了100个热key，那么这1秒会平稳推送100 * 1000 = 10万次，10万次推送会明确在1s内全部送达。如果是写入少，推送多，以纯推送来计数的话，该框架每秒可稳定对外推送40-60万次平稳，80万次极限可撑几秒。

每秒单机吞吐量（写入+对外推送）目前在70万左右稳定。

在真实业务场景中，可用1：1000的比例，即1台worker支撑1000台业务服务端的key探测任务，即可带来极大的数据存储资源节省（如对redis集群的扩充）。

介绍

对任意突发性的无法预先感知的热点请求，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如爬虫、刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。

然后对这些热数据、热用户等，推送到该应用部署的所有机器JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由客户端决定如何使用这些热key（譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值）。这些热key在整个应用集群内保持一致性。

核心功能：热数据探测并推送至集群各个服务器。

适用场景：

mysql热数据本地缓存
redis热数据本地缓存
黑名单用户本地缓存
爬虫用户限流
接口、用户维度限流
单机接口、用户维度限流限流
集群用户维度限流
集群接口维度限流

worker 端强悍的性能表现

每10秒打印一行，totalDealCount代表处理过的key总量，可以看到每10秒处理量在270万-310万之间，对应每秒30万左右QPS。

仅需要很少的机器，即可完成海量key的实时探测计算推送任务。比扩容redis集群规模成本低太多。

界面效果

来源：https://gitee.com/jd-platform-opensource/hotkey

近期热文推荐：

1.1,000+ 道 Java面试题及答案整理(2022最新版)

2.劲爆！Java 协程要来了。。。

3.Spring Boot 2.x 教程，太全了！

4.别再写满屏的爆爆爆炸类了，试试装饰器模式，这才是优雅的方式！！

5.《Java开发手册（嵩山版）》最新发布，速速下载！

觉得不错，别忘了随手点赞+转发哦！

牛逼！“京东热” 框架 JD-hotkey 开源了...单机 QPS 可达 37 万！！相关推荐

京东热 Key 0.4 发布，单机 QPS 提升至 35 万
点击▲关注 "爪哇笔记" 给公众号标星置顶更多精彩第一时间直达发布 HotKey在618稳定版0.2版基础上,引入了proto序列化方式,并优化了传输对象. worker ...
京东热点key探测系统发布，单机 QPS 提升至 37 万
HotKey在618稳定版0.2版基础上,引入了protobuf序列化方式,并优化了传输对象. worker单机性能从618大促稳定版的20万QPS稳定,30万极限,提升至30万稳定,37万极限.且c ...
京东热 key 探测框架新版发布，单机 QPS 可达 35 万
△Hollis, 一个对Coding有着独特追求的人△ 这是Hollis的第 300 篇原创分享作者 l Hollis 来源 l Hollis(ID:hollischuang) 对于大型的分布式系统 ...
京东的热点key探测系统发布，单机 QPS 提升至 37 万
点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 发布 HotKey在618稳定版0.2版基础上,引入了p ...
最牛逼的日志框架，性能无敌，横扫所有对手。。
点击下方公众号「关注」和「星标」回复"1024"获取独家整理的学习资料! Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过lo ...
最牛逼 Java 日志框架 — Log4j2，性能无敌，横扫对手.....
Logback 算是JAVA 里一个老牌的日志框架,从06年开始第一个版本,迭代至今也十几年了.不过logback最近一个稳定版本还停留在 2017 年,好几年都没有更新:logback的兄弟 slf ...
京东物流年营收1374亿：一线员工数达37万外部客户收入占比近7成
雷递网乐天 3月9日京东物流股份有限公司(股票简称"京东物流",股票代码:2618)今日发布2022年度业绩报告.财报显示,京东物流2022年营收1374亿,较上年同期的104 ...
牛逼！“京东热”框架JD-hotkey开源了...
JD-hotkey 是京东 APP 后台热数据探测框架,历经多次高压压测和 2020 年京东 618 大促考验. 在上线运行的这段时间内,每天探测的key数量数十亿计,精准捕获了大量爬虫.刷子用户,另 ...
这个牛逼的低代码生成器，现在开源了！
点击关注公众号,实用技术文章及时了解腾讯tmagic-editor是一个所见即所得的页面可视化编辑器,实现零代码/低代码生成页面,可以快速搭建可视化页面生产平台,让非技术人员可以通过拖拽和配置,自助 ...

牛逼！“京东热” 框架 JD-hotkey 开源了...单机 QPS 可达 37 万！！

牛逼！“京东热” 框架 JD-hotkey 开源了...单机 QPS 可达 37 万！！相关推荐

最新文章

热门文章