为什么使用 Kafka?
前言
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
正文
可扩展性
能够高速处理大量数据。
能实现每秒数百 MB 的处理速度,以及 TB 级的吞吐量。
分布式
Kafka 采用了分布式设计,具有如下分布式功能。
- 副本:副本功能是任何分布式技术都需要使用的默认功能,也是 Kafka 的内置特性。
- 分区能力:同理,分区能力也是分布式架构天然需要的特性之一。
高速
对这个特性的评价是相对主观的。
一般来说,在市面上, Kafka 被认为是一款高性能的组件。
能够支持各种消费者组件
然而,由于消费者组件经常配置,需要执行大量处理工作,用户认为它们要慢一些。
天然的缓冲能力
为了适配各种消费者组件, Kafka 内置有缓冲能力。
发布/订阅特性
异步的发布/订阅集成模式。
这是消息传输技术的关键特征之一。
接近数据库的可靠性
所有发送给 Kafka 的数据都是有序的,默认条件下是持久存储的。
容错性
基于分布式特性和副本, Kafka 内置有容错功能。
为什么使用 Kafka?相关推荐
- docker安装kafka消息队列
1. 启动zookeeper容器(Zookeeper用于崩溃检测,实现Topic发现,和维护Topic的生产和消费状态) docker run -d --name zookeeper -p 2181: ...
- kafka+zookeeper搭建步骤kafka问题
kafka+zookeeper搭建步骤 帅气的名称被占用关注 0.1392018.12.04 13:48:00字数 1,007阅读 88 vmware 安装centOS7 克隆虚拟为:三台 本地你的I ...
- pykafka连接重要使用pykafka,kafka-python的api开发kafka生产者和消费者
https://pykafka.readthedocs.io/en/latest/api/producer.html 说明文档 </div><h2 class="heade ...
- dockerfile kafka
版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明. 本文链接:https://blog.csdn.net/a2267378/article/det ...
- 2021年大数据ELK(十九):使用FileBeat采集Kafka日志到Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 使用FileBeat采集Kafka日志到Elasticsearch 一.需求分 ...
- 2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka配额限速机制 限制producer端的速率 限制c ...
- 2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka的消费者负载均衡机制和数据积压问题 一.kafka ...
- 2021年大数据Kafka(十):kafka生产者数据分发策略
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 生产者数据分发策略 策略一:用户指定了partition 策 ...
- 2021年大数据Kafka(九):kafka消息存储及查询机制原理
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 kafka消息存储及查询机制原理 一.Kafka数据存储机制 ...
- 2021年大数据Kafka(八):Kafka如何保证数据不丢失
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Kafka如何保证数据不丢失 一.如何保证生产者数据不丢失 ...
最新文章
- ATT汇编语言与GCC内嵌汇编简介
- craigslist_Craigslist,Wikipedia和丰富经济
- Btrace入门到熟练小工完全指南
- 一张图搞定iOS学习路线
- Spring 基于注解(annotation)的配置之@Autowired注解
- 转载 从SRAM中读写一个数据问题——Verilog
- 把十六进制字符转换成十进制数
- 信息奥赛一本通(1100:金币)
- mysql技术任务_MySQL基础教程(13)MySQL计划任务
- 模糊查询是如何进行实现的_模糊查找,不是近似查找!在Excel中应该如何进行模糊匹配...
- java实现jsp转pdf,使用Java生成Pdf文档-JSP教程,Java技巧及代码
- 电商数据库设计之MySQL 数据库设计规范
- lisp如何将度分秒转换为弧度_3 角 度分秒与弧度互相转换
- xml配置service服务器文件路径,xml配置service服务器文件路径
- Twitter 永久在家办公 VS 特斯拉对抗加州政府成功复工
- jdk11手动安装jre
- 澳禁止华为参与5G网络建设;锤子将编写自己的OS;国产处理器兆芯可运行Windows,已试制出Intel i5级处理器丨Q新闻...
- C++ 凯撒密码具体代码实现
- android 接听和挂断实现方式
- 手把手教你实现Android RecyclerView上拉加载功能
热门文章
- 安卓设备互相投屏_安卓投屏电脑版-安卓投屏下载v7.9.1-IE浏览器中文网站
- robomaster(1)装甲板识别
- 一些非常有趣的python爬虫例子
- 计算机函数if80到90分怎么弄,用EXCEL工作表怎样利用IF函数计算分数等级
- 计算机行业未来20年前景,未来20年,哪个专业最有“前景“?符合一定要报
- python代码续航的方法_编写python高质量python代码的59个有效方法
- oracle 取1条记录,oracle 获取第一条数据
- 腾讯员工收入曝光,我顿悟了一个成人世界的残酷事实
- MapServer 7.0.3 Documentation 翻译
- Ramnit感染型病毒分析与处置