2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注!
新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。
目录
消息队列和Kafka的基本介绍
一、什么是消息队列
二、消息队列的应用场景
异步处理
应用耦合
限流削峰
消息驱动系统
三、消息队列的两种方式
点对点模式
发布/订阅模式
四、常见的消息队列的产品
五、Kafka的基本介绍
系列历史文章
2021年大数据Kafka(十二):❤️Kafka配额限速机制❤️
2021年大数据Kafka(十一):❤️Kafka的消费者负载均衡机制和数据积压问题❤️
2021年大数据Kafka(十):kafka生产者数据分发策略
2021年大数据Kafka(九):kafka消息存储及查询机制原理
2021年大数据Kafka(八):Kafka如何保证数据不丢失
2021年大数据Kafka(七):Kafka的分片和副本机制
2021年大数据Kafka(六):❤️安装Kafka-Eagle❤️
2021年大数据Kafka(五):❤️Kafka的java API编写❤️
2021年大数据Kafka(四):❤️kafka的shell命令使用❤️
2021年大数据Kafka(三):❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
2021年大数据Kafka(二):❤️Kafka特点总结和架构❤️
2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️
消息队列和Kafka的基本介绍
一、什么是消息队列
上述代码,创建了一个队列,先往队列中添加了一个消息,然后又从队列中取出了一个消息。这说明了队列是可以用来存取消息的
总结: 消息队列指的就是将数据放置到一个队列中, 从队列一端进入, 然后从另一端流出的过程
二、消息队列的应用场景
1、应用耦合:
2、异步处理:
3、 限流削峰:
4、消息驱动的系统:
异步处理
2) 并行处理:新注册信息写入后,由发短信和发邮件并行处理
注意: 在这种方式下,发短信和发邮件 需处理完成后再返回给客户端。
应用耦合
此时图片上传系统并不需要关心人脸识别系统是否对这些图片信息的处理、以及何时对这些图片信息进行处理。
限流削峰
消息驱动系统
三、消息队列的两种方式
点对点模式
- 消息队列
- 发送者 (生产者)
- 接收者(消费者)
- 每个消息只有一个接收者(Consumer)(即一旦被消费,消息就不再在消息队列中);
- 发送者和接收者间没有依赖性,发送者发送消息之后,不管有没有接收者在运行,都不会影响到发送者下次发送消息;
- 接收者在成功接收消息之后需向队列应答成功,以便消息队列删除当前接收的消息;
发布/订阅模式
- 角色主题(Topic)
- 发布者(Publisher)
- 订阅者(Subscriber)
- 每个消息可以有多个订阅者;
- 发布者和订阅者之间有时间上的依赖性。针对某个主题(Topic)的订阅者,它必须创建一个订阅者之后,才能消费发布者的消息。
- 为了消费消息,订阅者需要提前订阅该角色主题,并保持在线运行;
四、常见的消息队列的产品
五、Kafka的基本介绍
kakfa的特点:
- 可靠性: 分布式, 分区 , 复制 和容错等
- 可扩展性: kakfa消息传递系统轻松缩放, 无需停机
- 耐用性: kafka使用分布式提交日志, 这个意味着消息会尽可能快速的保存在磁盘上, 因此它是持久的
- 性能: kafka对于发布和订阅消息都具有高吞吐量, 即使存储了许多TB的消息, 他也爆出稳定的性能-kafka非常快: 保证零停机和零数据丢失
- Kafka版本为2.4.1,是2020年3月12日发布的版本。
- 可以注意到Kafka的版本号为:kafka_2.12-2.4.1,因为kafka主要是使用scala语言开发的,2.12为scala的版本号。
-
2021年大数据Kafka(一):❤️消息队列和Kafka的基本介绍❤️相关推荐
- Cris 玩转大数据系列之消息队列神器 Kafka
Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 文章目录 Cris 玩转大数据系列之消息队列神器 Kafka Author:Cris 1. Kafka 概述 1.1 消息队 ...
- 2021年大数据ELK(三):Lucene全文检索库介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.什么是全文检索 1.结构化数据与非结构化数据 2.搜索结构化 ...
- 【中间件】大数据之分布式消息队列Kafka
目录 Kafka设计动机 Kafka特点 Kafka设计架构 基本架构 Kafka各组件详解 Kafka关键技术点 典型应用场景 在大数据数据收集环节,需要构建数据流水线,其中一种方式可以 ...
- 2021年大数据ELK(十八):Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理 一.Beats 二.FileB ...
- 2021年大数据ELK(一):集中式日志协议栈Elastic Stack简介
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 一.简介 二.ELK 协议栈介绍及体系结构 三.集中式日志协议栈 ...
- 2021年大数据工程师面试内容包括哪些?
2021年大数据工程师面试内容包括哪些? [导语]近年来,大数据发展如火如荼,很多人都选择学习大数据专业或者转行大数据,大数据里又包含很多就业岗位,所以在进行岗位选择的时候,还是需要大家合理选择,为了 ...
- 2021年大数据ELK(八):Elasticsearch安装IK分词器插件
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 安装IK分词器 一.下载Elasticsearch IK分词器 ...
- 2021年大数据ELK(六):安装Elasticsearch
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 安装Elasticsearch 一.创建普通用户 二.为普通用户 ...
- 2021年大数据ELK(五):Elasticsearch中的核心概念
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 Elasticsearch中的核心概念 一.索引 index 二 ...
- 2021年大数据ELK(四):Lucene的美文搜索案例
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 系列历史文章 美文搜索案例 一.需求 二.准备工作 1.创建IDEA项目 2. ...
最新文章
- 学习BeetlSQL总结(2)——查询API,更新API
- CTFshow php特性 web102
- 2014年度辛星解读css第四节
- C++11并发编程:多线程std::thread
- 不需要安全实验证也可以开微信号_热门行业:电子专用设备工程师证考试报名时间及报名须知...
- Quick Emacs
- C语言程序设计第二次作业1
- 结构化思维:掌握这3点,分析报告不再愁
- html5播放器占用带宽情况,分享|用 bmon 查看网络带宽使用情况
- opencv 实现图像时钟
- vb 运行错误429 mysql_win7系统运行VB工具提示“运行时错误429 ActiveX部件不能创建对象”的解决方法...
- 记一次windows系统主引导修复
- MySQL 运维 - 高阶SQL语句
- 数据可视化-制作交易收盘价
- 补交20145226蓝墨云班课 -- MyOD
- 利用paddlepaddle爬取丁香园实时统计数据,并生成疫情地图!!
- 登录密码加密,RSA加密算法
- 需要系数 计算机房,计算电流及需要系数表
- 你知道什么是微前端吗?微前端和微服务有什么关系?
- wm6 打开外部文件方法
热门文章
- 在js中使用HashMap数据结构,在js中使用K,V数据结构
- 2022-2028年中国茶几玻璃行业市场研究及前瞻分析报告
- 2022-2028年中国未硫化橡胶制品行业市场运行格局及未来前景展望报告
- 简述Web程序开发流程
- hadoop 添加删除机器以及设置免密登录
- 数据类型对应的字节数
- 比Momentum更快:揭开Nesterov Accelerated Gradient的真面目NAG 梯度下降
- pytorch 动态调整学习率 重点
- SpringBoot-web开发(四): SpringMVC的拓展、接管(源码分析)
- 什么阻碍了人工智能在制造业的应用?
- Cris 玩转大数据系列之消息队列神器 Kafka