戳蓝字“CSDN云计算”关注我们哦!

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特性。今天,就让我们一起来看看关于它的精华问答吧!

1

Q:什么是kafka?

A:kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

2

Q:kafka的使用场景是什么?

A:1、Messaging

对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)

2、Websit activity tracking

kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等

3、Log Aggregation

kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统。

3

Q:Kafka 与传统的消息系统有什么区别?

A:Kafka系统是一个分布式系统,易于向外扩展;可以同时为发布和订阅高吞吐量;支持多订阅者,当失败时能自动平衡消费者;将消息持久化到磁盘,因此可以用于批量消费,例如ETL。

4

Q:kafka作为分布式消息系统有哪些特点?

A:kafka 是作为一个集群运行在一个或者多个服务器上的;kafka集群存储的消息是一个topic为类别记录的;每个消息(也叫record)都是由一个key,一个value和时间戳构成的。

5

Q:kafka节点之间如何备份?

A:Kafka允许用户为每个topic设置副本数量,副本数量决定了有几个broker来存放写入的数据。如果你的副本数量为3,那么一份数据就会被存放在3台不同的机器上,在所有备份节点中,有一个节点作为leader节点,这个节点保存了其它备份节点列表,并维持各个备份间的状态同步。

副本以topic的分区为单位。在正常情况下,kafka每个分区都有一个单独的leader,0个或者多个follower。副本的总数包括leader。所有的读取和写入到该分区的leader。通常,分区数比broker多,leader均匀分布在broker。Follower的日志完全等同于leader的日志,相同的顺序相同的偏移量和消息。Follower作为普通的消费者从leader中消费消息并应用到自己的日志中。并允许follower从leader拉取批量日志应用到自己的日志,这样具有良好的性能。

---------------- --------------

小伙伴们冲鸭,后台留言区等着你!

关于Kafka,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~

---------------- --------------

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。

批量提交 kafka_Kafka精华问答|kafka的使用场景是什么?相关推荐

  1. Kafka精华问答 | kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  2. kafka使用_Kafka精华问答 | kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  3. Kafka精华问答 | kafka节点之间如何备份?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  4. Kafka精华问答 | Kafka有哪些使用场景?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  5. Kafka精华问答 | Kafka的主要应用场景有哪些?​

    Kafka是最初由Linkedin公司开发,具有高性能.持久化.多副本备份.横向扩展能力.今天,我们就看看看关于Kafka的精华问答吧. 1: Q:什么是Kafka? A:Kafka是由Apache软 ...

  6. Storm精华问答 | Kafka在Storm中的角色是什么?

    戳蓝字"CSDN云计算"关注我们哦! Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高 ...

  7. Kafka精华问答 | 为什么要用Message Queue?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  8. 分布式精华问答:分布式环境下如何保持数据一致性的?| 技术头条

    分布式开发的时代实际上早已悄悄地成为了时代的主流,今天,我们就来看看关于分布式的精华问答吧! 1 Q:分布式系统中主要是用到了服务化,消息中间件,数据库拆分,便于横向扩展和维护,但分布式系统中的拆分的 ...

  9. 虚拟化精华问答 | 虚拟化的关键技术有哪些?

    在实际的生产环境中,虚拟化技术主要用来解决高性能的物理硬件产能过剩和老的旧的硬件产能过低的重组重用,透明化底层物理硬件,从而最大化的利用物理硬件.今天就让我们一起来看看关于虚拟化的精华问答吧. 1 Q ...

最新文章

  1. VMware12中安装CentOS7.2的详细过程
  2. Android Google 服务框架相关问题
  3. 如何在O(1)的时间里删除单链表的结点
  4. 四十三、在Vue使用router,路由的管理
  5. 【Tools】MarkDown教程(六)-Markdown Reference
  6. 不止代码:机器分配(动态规划)
  7. uva oj 567 - Risk(Floyd算法)
  8. 百度AI学习:二、语音合成
  9. 一心想斩获算法岗,却碰上最难求职季
  10. 微电子专业深度盘点:哪所大学芯片最强?强在哪?(第2弹)
  11. HeadFirstJava
  12. c语言正确声明的格式,c语言函数声明格式是什么?
  13. php 2010excel,Excel2010 工作薄文件扩展名是什么?
  14. php生成gif1009php生成gif,怎样将几张图片做成会动的GIF的动态图像?GIF动画制作软件,将图片制作成GIF动图...
  15. C/C++中#和##的宏以及进行“花里胡哨“的命名及其应用
  16. java基础练习—逢七游戏、不死神兔、百钱百鸡、利滚利
  17. python 中右移、左移运算符的作用
  18. spring cloud contract的应用实现与概念理解-服务提供者一侧的落地
  19. 微信分享(JS-SDK权限签名算法)-Java实现
  20. 研发一款电商APP在设计上有什么细节要留意

热门文章

  1. go环境搭建_学习的golang第一步,搭建我们运行的环境,go! go! go
  2. c语言字体取模软件下载,非常好用的lcd汉字取模软件下载_非常好用的lcd汉字取模软件官方下载-太平洋下载中心...
  3. 影响PoE交换机不稳定的因素
  4. 【渝粤题库】国家开放大学2021春1400机器人技术及应用题目
  5. cpythonjavagolang_cpython:列表对象(PyListObject)的扩容机制
  6. 两轮差速机器人舵机转轴示意图_机器人教程2:舵机及转向控制原理
  7. 【3】C++语法与数据结构之MFC_CList学生管理系统_链表外排序_函数指针
  8. fftw-3.3.8库在linux下的的编译和配置
  9. 最优化理论与算法笔记
  10. python中sorted的用法append_Python中高阶函数sorted()用法