戳蓝字“CSDN云计算”关注我们哦!

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特性。今天,就让我们一起来看看关于它的精华问答吧!

1
















Q:什么是kafka?

A:kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

2

Q:kafka的使用场景是什么?

A:1、Messaging   

对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)

  2、Websit activity tracking

kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等

3、Log Aggregation

kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统。

3

Q:Kafka 与传统的消息系统有什么区别?

A:Kafka系统是一个分布式系统,易于向外扩展;可以同时为发布和订阅高吞吐量;支持多订阅者,当失败时能自动平衡消费者;将消息持久化到磁盘,因此可以用于批量消费,例如ETL。

4

Q:kafka作为分布式消息系统有哪些特点?

A:kafka 是作为一个集群运行在一个或者多个服务器上的;kafka集群存储的消息是一个topic为类别记录的;每个消息(也叫record)都是由一个key,一个value和时间戳构成的。

5

Q:kafka节点之间如何备份?

A:Kafka允许用户为每个topic设置副本数量,副本数量决定了有几个broker来存放写入的数据。如果你的副本数量为3,那么一份数据就会被存放在3台不同的机器上,在所有备份节点中,有一个节点作为leader节点,这个节点保存了其它备份节点列表,并维持各个备份间的状态同步。

副本以topic的分区为单位。在正常情况下,kafka每个分区都有一个单独的leader,0个或者多个follower。副本的总数包括leader。所有的读取和写入到该分区的leader。通常,分区数比broker多,leader均匀分布在broker。Follower的日志完全等同于leader的日志,相同的顺序相同的偏移量和消息。Follower作为普通的消费者从leader中消费消息并应用到自己的日志中。并允许follower从leader拉取批量日志应用到自己的日志,这样具有良好的性能。

----------------    --------------

小伙伴们冲鸭,后台留言区等着你!

关于Kafka,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~

----------------    --------------

1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。

推荐阅读

  • Gartner的预言:通向混合IT之旅

  • 崩溃!新浪程序员加班错失 77 万年会大奖

  • 刚刚!华为又被美国盯上了!

  • 阿里“菜鸟”AI?

  • 以太坊升级的拖油瓶,竟只是这几行代码

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?

点击“阅读原文”,打开 CSDN App 阅读更贴心!

喜欢就点击“好看”吧!

Kafka精华问答 | kafka的使用场景是什么?相关推荐

  1. Kafka精华问答 | Kafka的主要应用场景有哪些?​

    Kafka是最初由Linkedin公司开发,具有高性能.持久化.多副本备份.横向扩展能力.今天,我们就看看看关于Kafka的精华问答吧. 1: Q:什么是Kafka? A:Kafka是由Apache软 ...

  2. Kafka精华问答 | Kafka有哪些使用场景?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  3. Kafka精华问答 | kafka节点之间如何备份?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  4. kafka使用_Kafka精华问答 | kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  5. Kafka精华问答 | 为什么要用Message Queue?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  6. Storm精华问答 | Kafka在Storm中的角色是什么?

    戳蓝字"CSDN云计算"关注我们哦! Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高 ...

  7. 批量提交 kafka_Kafka精华问答|kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  8. kafka入门:简介、使用场景、设计原理、主要配置及集群搭建

    为什么80%的码农都做不了架构师?>>>    kafka入门:简介.使用场景.设计原理.主要配置及集群搭建(转) 问题导读: 1.zookeeper在kafka的作用是什么? 2. ...

  9. kafka入门:简介、使用场景、设计原理、主要配置及集群搭建--转载

    问题导读: 1.zookeeper在kafka的作用是什么? 2.kafka中几乎不允许对消息进行"随机读写"的原因是什么? 3.kafka集群consumer和producer状 ...

最新文章

  1. 顶配12699 元、没有5G,“浴霸三摄”的iPhone你会买吗?
  2. linux下配置ip地址四种方法(图文)
  3. 2018年计算机CPU纳米制程,联发科疯狂堆核计划曝光:7纳米制程,12核CPU
  4. Node 之NPM介绍
  5. mysql workbench中文设置 mac系统,win系统,linux系统
  6. 第11章 数据库安全性
  7. bootstrap tab 组合表头
  8. delphi7 安装/卸载控件通用方法
  9. 六级(2020/12-2) Section B
  10. php 主机管理系统,LuManager虚拟主机管理系统
  11. 采用java编写一个软件,100以内的口算题【软件构造大作业】
  12. VMware虚拟机使用记录
  13. 企业财务管理中的数据分析应用
  14. html5多图合成gif,gif动态图片制作 多张图片合成gif动态图片
  15. 面试时如何更好的介绍自己的项目
  16. 2345恶意篡改修复
  17. 计算机专业进国企有什么难度,大学毕业后才发现,国企与私企的差距不是一星半点,希望你没选错...
  18. CobaltStrike 生成office宏病毒进行钓鱼攻击
  19. vr全景展示是什么?vr全景展示有哪些实际功能!
  20. mapX - 基本操作(1)

热门文章

  1. android edittext 正则限制,Android EditText 使用正则表达式进行输入过滤
  2. 计算占比并保证百分比和为1
  3. 主成分分析法_探索主成分分析法
  4. Rust最受喜爱却少有人用,Python仅排第六,2021全球开发者调查报告出炉
  5. 【首次开放】京东商城AI项目实战学习
  6. 此人提出平行线可以相交遭嘲讽,郁郁而终,12年后却被认可
  7. 理论物理-从规范对称的意义说下去
  8. 信息论 哈夫曼编码 与 菲诺编码的实现(对一幅BMP格式的灰度图像(个人 证件照片)进行二元霍夫曼编码和译码。并进行编码效率的计算,对一幅BMP格式的灰度图像进行二 元Fano编码、译码 )
  9. 递归函数两种方式的区别
  10. UnrealEngine4 - 关于UObject被自动GC垃圾回收的巨坑