腾讯万亿级大数据组件 TubeMQ 正式开源
点击上方“民工哥技术之路”选择“星标”
每天10点为你分享不一样的干货
来源：腾讯开源
Tube MQ采用纯Java语言开发，便于开发人员快速熟悉项目及问题处理；
相比Kafka依赖于Zookeeper完成元数据的管理和实现HA保障不同，Tube MQ系统采用的是自管理的元数据仲裁机制方式进行，Master节点通过采用内嵌数据库BDB完成集群内元数据的存储、更新以及HA热切功能，负责Tube MQ集群的运行管控和配置管理操作，对外提供接口等；通过Master节点，Tube MQ集群里的Broker配置设置、变更及查询实现了完整的自动化闭环管理，减轻了系统维护的复杂度；
Tube MQ采用的是服务侧负载均衡的方案，而不是客户端侧操作，提升系统的管控能力同时简化客户端实现，更便于均衡算法升级；
对于Broker消息读写中存在中间状态的并发操作采用行级锁，避免重复问题；
Offset由各个Broker独自管理，ZK只作数据持久化存储用（最初考虑完全去掉ZK依赖，考虑到后续的功能扩展就暂时保留）；
Tube MQ采用的是消息随机读取模式,同时为了降低消息时延又增加了内存缓存读写,对于带SSD设备的机器,增加消息滞后转SSD消费的处理，解决消费严重滞后时吞吐量下降以及SSD磁盘容量小、刷盘次数有限的问题，使其满足业务快速生产消费的需求；
支持通过策略实时动态地控制系统接入的消费者行为，包括系统负载高时对特定业务的限流、暂停消费，动态调整数据拉取的频率等；
针对系统运维、业务特点、机器负载状态的不同需求，系统支持运维通过策略来动态控制不同消费者的消费行为，比如是否有权限消费、消费时延分级保证、消费限流控制，以及数据拉取频率控制等；
根据业务不同的数据服务需要，以及系统运维安全的考虑，Tube MQ系统增加了TLS传输层加密管道，生产和消费服务的认证、授权，以及针对分布式访问控制的访问令牌管理，满足业务和系统运维在系统安全方面的需求；
相比于Kafka，Tube MQ采用连接复用模式，减少连接资源消耗；通过逻辑分区构造，减少系统对文件句柄数的占用，通过服务器端过滤模式，减少网络带宽资源使用率；通过剥离对Zookeeper的使用，减少Zookeeper的强依赖及瓶颈限制；
基于业务使用上的便利性以，我们简化了客户端逻辑，使其做到最小的功能集合，我们采用基于响应消息的接收质量统计算法来自动剔出坏的Broker节点，基于首次使用时作连接尝试来避免大数据量发送时发送受阻。
版权申明：文章源自腾讯开源公众号，版权归原创者所有。除非无法确认，我们都会标明作者及出处，如有侵权烦请告知，我们会立即删除并表示歉意，谢谢。
关注 民工哥技术之路 微信公众号对话框回复关键字：1024 可以获取一份最新整理的技术干货。
点击【阅读原文】发现更多精彩内容~~
腾讯万亿级大数据组件 TubeMQ 正式开源相关推荐
- 企鹅够牛，大事不断：腾讯音乐遭“投资者律师代表团”调查、大数据组件TubeMQ宣布开源、1千万美元领投英国AI企业SenSat...
整理: 数据猿 Toby 数据猿官网 | www.datayuan.cn 今日头条丨一点资讯丨腾讯丨搜狐丨网易丨凤凰丨阿里UC大鱼丨新浪微博丨新浪看点丨百度百家丨博客中国丨趣头条丨腾讯云·云+社区 据 ...
- 万字长文详解大数据应用实战案例-万亿级大数据监控平台建设方案
前言 随着互联网业务的迅速发展,用户对系统的要求也越来越高,而做好监控为系统保驾护航,能有效提高系统的可靠性.可用性及用户体验.监控系统是整个运维环节乃至整个项目及产品生命周期中最重要的一环.百分点大 ...
- 腾讯万亿级 Elasticsearch 技术解密
点击上方"方志朋",选择"设为星标" 回复"666"获取新整理的面试资料 作者: johngqjiang,腾讯 TEG 云架构平台部研发工程 ...
- 听腾讯 TEG 大佬谈腾讯万亿级 Elasticsearch 技术解密
作者:johngqjiang,腾讯 TEG 云架构平台部研发工程师 Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析.全文检索.结构化数据分析 ...
- 腾讯万亿级Elasticsearch应用及优化解密
Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析.全文检索.结构化数据分析等多种需求,大幅降低大数据时代挖掘数据价值的成本. 腾讯在公司内部丰 ...
- 腾讯万亿级 Elasticsearch
Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析.全文检索.结构化数据分析等多种需求,大幅降低大数据时代挖掘数据价值的成本.腾讯在公司内部丰富 ...
- 【Elasticsearch】腾讯万亿级 Elasticsearch 内存效率提升解密 源码级别 性能优化
1.概述 转载:腾讯万亿级 Elasticsearch 内存效率提升解密 这个东东,看了之后,里面性能优化.很有用. 万亿存储,开源协同 Elasticsearch( ES )是一款功能强大的开源分布 ...
- 【数据架构】Netflix 万亿级实时数据基础架构的四个创新阶段
我叫徐振中.我于 2015 年加入 Netflix,担任实时数据基础架构团队的创始工程师,后来领导了流处理引擎团队.我在 2010 年代初对实时数据产生了兴趣,从那时起我就相信还有很多价值有待发掘. ...
- [NewLife.XCode]分表分库（百亿级大数据存储）
NewLife.XCode是一个有15年历史的开源数据中间件,支持netcore/net45/net40,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode. 整个系列教程会大量 ...
最新文章
- liunx 在虚拟机(VMware)下挂载光驱命令
- python performance measure 01
- unique函数_走进C++11（三十四）unique_ptr
- Oracle goldengate 11g错误汇总
- RK3288_Android7.1接eDP屏休眠之后led状态灯没有亮红色
- 【浙江大学PAT真题练习乙级】1002 写出这个数(20分) 真题解析
- 边工作边刷题：70天一遍leetcode: day 45-1
- 处理javaweb中文乱码
- excel图片变成代码_有趣的EXCELvba作图
- DNF11.22服务器维护到几点,11.22体验服更新详情，文字版。预计正式服更新是11.26...
- 在线文档 - Google 文档的数据协议设计
- Android 支付宝 resultStatus=4000, result=, memo=系统繁忙,请稍后再试
- 中国煤层气开发市场发展态势及投资规划深度研究报告2022-2028年
- (30)C#使用NUNIT单元测试
- 【面试必备】深入分析App卡顿原因及优化建议
- 后台开发面试问题整理
- 【天道酬勤】 腾讯、百度、网易游戏、华为Offer及笔经面经
- 我终于学会了后缀自动机。
- MySQL OCP888题解030-代理用户技术
- ios越狱设备在线安装ipa方法