HotKey在618稳定版0.2版基础上，引入了protobuf序列化方式，并优化了传输对象。

worker单机性能从618大促稳定版的20万QPS稳定，30万极限，提升至30万稳定，37万极限。且cpu峰值下降了15%。

该中间件目前在京东内部10余个核心部门接入使用，服务于京东App服务端前台、中台，数据中台等多个核心业务线。

架构

京东APP后台热数据探测框架，历经多次高压压测和2020年京东618大促考验。在上线运行的这段时间内，每天探测的key数量数十亿计，精准捕获了大量爬虫、刷子用户，另准确探测大量热门商品并毫秒级推送到各个服务端内存，大幅降低了热数据对数据层的查询压力，提升了应用性能。

该框架历经多次压测，性能指标主要有两个：

1 探测性能：8核单机worker端每秒可接收处理16万个key探测任务，16核单机至少每秒平稳处理30万以上，实际压测达到37万，CPU平稳支撑，框架无异常。

2 推送性能：在高并发写入的同时，对外推送目前性能约平稳推送每秒10-12万次，譬如有1千台server，一台worker上每秒产生了100个热key，那么这1秒会平稳推送100 * 1000 = 10万次，10万次推送会明确在1s内全部送达。如果是写入少，推送多，以纯推送来计数的话，该框架每秒可稳定对外推送40-60万次平稳，80万次极限可撑几秒。

在真实业务场景中，可用1：1000的比例，即1台worker支撑1000台业务服务端的key探测任务，即可带来极大的数据存储资源节省（如对redis集群的扩充）。

介绍

对任意突发性的无法预先感知的热点请求，包括并不限于热点数据（如突发大量请求同一个商品）、热用户（如爬虫、刷子）、热接口（突发海量请求同一个接口）等，进行毫秒级精准探测到。然后对这些热数据、热用户等，推送到该应用部署的所有机器JVM内存中，以大幅减轻对后端数据存储层的冲击，并可以由客户端决定如何使用这些热key（譬如对热商品做本地缓存、对热用户进行拒绝访问、对热接口进行熔断或返回默认值）。这些热key在整个应用集群内保持一致性。

核心功能：热数据探测并推送至集群各个服务器。

适用场景：

1mysql热数据本地缓存

2 redis热数据本地缓存

3 黑名单用户本地缓存

4 爬虫用户限流

5 接口、用户维度限流

6 单机接口、用户维度限流限流

7 集群用户维度限流

8 集群接口维度限流

界面效果

image

源码&文章参考：https://gitee.com/jd-platform-opensource/hotkey

京东热点key探测系统发布，单机 QPS 提升至 37 万相关推荐

  1. 京东的热点key探测系统发布，单机 QPS 提升至 37 万

    点击上方蓝色"程序猿DD",选择"设为星标" 回复"资源"获取独家整理的学习资料! 发布 HotKey在618稳定版0.2版基础上,引入了p ...

  2. 京东热 Key 0.4 发布，单机 QPS 提升至 35 万

    点击▲关注 "爪哇笔记"   给公众号标星置顶 更多精彩 第一时间直达 发布 HotKey在618稳定版0.2版基础上,引入了proto序列化方式,并优化了传输对象. worker ...

  3. 牛逼！“京东热” 框架 JD-hotkey 开源了...单机 QPS 可达 37 万！！

    JD-hotkey 是京东 APP 后台热数据探测框架,历经多次高压压测和 2020 年京东 618 大促考验. 在上线运行的这段时间内,每天探测的key数量数十亿计,精准捕获了大量爬虫.刷子用户,另 ...

  4. 京东热 key 探测框架新版发布，单机 QPS 可达 35 万

    △Hollis, 一个对Coding有着独特追求的人△ 这是Hollis的第 300 篇原创分享 作者 l Hollis 来源 l Hollis(ID:hollischuang) 对于大型的分布式系统 ...

  5. 京东热key探测框架本地压测数据记录，单机（8核）QPS约16万/s，可水平扩展

    继上一次全链路压测时,热key框架由于Java低版本(1.8.0_131之前的1.8版本)获取docker内cpu核数有问题,实则获取的是宿主机的核数,造成线程数量过多,压测瞬间cpu达到100%,问 ...

  6. 日处理200亿+调用，单机QPS高峰达到4万+，喜马拉雅自研 API 网关架构实践

    点击上方"码农突围",马上关注 这里是码农充电第一站,回复"666",获取一份专属大礼包 真爱,请设置"星标"或点个"在看&quo ...

  7. linux原生系统_Ubuntu GamePack 20.04系统发布：通吃8.6万款Linux/Win/DOS游戏

    与Windows相比,Linux系统不被人接受的一大缺陷就是游戏支持,但这已经是老黄历了,现在专为游戏优化的Ubuntu GamePack 20.04系统,可以畅玩8.6万款游戏. 看名字就知道,Ub ...

  8. cass出现验证许可_ASML：DUV光刻机无需美国许可！最新一代EUV光刻机明年发布：加工精度提升至1.1nm...

    EETOP专注芯片.微电子,点击上方蓝字关注我们 10月14日,ASML公布第三季度财报,净销售额高达39.58亿欧元,同比增长32.6%,毛利率为47.5%.据该公司首席执行官Peter Wenni ...

  9. 京东毫秒级热key探测框架设计与实践，已完美支撑618大促

    在拥有大量并发用户的系统中,热key一直以来都是一个不可避免的问题.或许是突然某些商品成了爆款,或许是海量用户突然涌入某个店铺,或许是秒杀时瞬间大量开启的爬虫用户, 这些突发的无法预先感知的热key都 ...

最新文章

  1. ERROR: Failed to resolve: com.android.support:appcompat-v7:29.0.0
  2. 【Android开发】范例2-实现简易绘图板
  3. HEOI2017游记
  4. sklearn逻辑回归 极大似然 损失_收藏！攻克目标检测难点秘籍二，非极大值抑制与回归损失优化之路...
  5. SQLite 数据库注入总结
  6. c++变量重新赋值_Java基础二：一文讲透变量与数据类型
  7. C++类内存分布——深度理解继承与虚函数
  8. 数据结构与算法（C++）– 图（Graph）
  9. .NET 6新特性试用 | 总结：我最喜欢的5个特性
  10. python可以在linux运行_服务器(Linux)上运行python总结
  11. 简单几何(四边形形状) UVA 11800 Determine the Shape
  12. linux编译lame,lame mp3 源码 分析
  13. 一些基于新闻表示和用户表示的新闻推荐模型总结：NPA/ NAML/ LSTUR/ NRMS
  14. html5我的心灵小屋,描写我的小屋优美句子
  15. 大数据HBase在阿里搜索中的应用实践
  16. 充电IC和电量计的驱动调试
  17. 推荐几个优质的 Python 学习资料（良心推荐！非广告！）
  18. Facebook Instant Game 捆绑包配置方法
  19. vsco和lr哪个好_我为什么选择了Lightroom,抛弃了VSCO、snapseed？（附508个预设）
  20. git push -u参数是什么意思？

热门文章

  1. 怎么获取请求头中的origin信息_委托单位代办汇算清缴时无法获取到我的专项附加扣除信息怎么办？...
  2. mergesort java_归并排序详解（MergeSort）递归和非递归实现
  3. PTA团体程序设计天梯赛-L2-013 红色警报
  4. mhd格式三维图像显示_人体面骨三维有限元模型重构及碰撞分析
  5. 690.员工的重要性
  6. hdu-1003 or 最大子序列和(四种解题方法)
  7. python的顶级高手_Python+深度学习
  8. 计算机教师40辞职能做什么,干了二十多年老师，四十多岁了，嫌累想辞职，还能有更好的出路吗...
  9. linux系统下管理网口ip设置密码,Linux系统管理-(12)-网络配置IP命令
  10. 论新时代软件测试人员的工作之道（三）让Code Review常态化