戳蓝字“CSDN云计算”关注我们哦!

Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特性。今天,就让我们一起来看看关于它的精华问答吧!

1

Q:什么是kafka?

A:kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。

2

Q:kafka的使用场景是什么?

A:1、Messaging   

对于一些常规的消息系统,kafka是个不错的选择;partitons/replication和容错,可以使kafka具有良好的扩展性和性能优势.不过到目前为止,我们应该很清楚认识到,kafka并没有提供JMS中的"事务性""消息传输担保(消息确认机制)""消息分组"等企业级特性;kafka只能使用作为"常规"的消息系统,在一定程度上,尚未确保消息的发送与接收绝对可靠(比如,消息重发,消息发送丢失等)

  2、Websit activity tracking

kafka可以作为"网站活性跟踪"的最佳工具;可以将网页/用户操作等信息发送到kafka中.并实时监控,或者离线统计分析等

3、Log Aggregation

kafka的特性决定它非常适合作为"日志收集中心";application可以将操作日志"批量""异步"的发送到kafka集群中,而不是保存在本地或者DB中;kafka可以批量提交消息/压缩消息等,这对producer端而言,几乎感觉不到性能的开支.此时consumer端可以使hadoop等其他系统化的存储和分析系统。

3

Q:Kafka 与传统的消息系统有什么区别?

A:Kafka系统是一个分布式系统,易于向外扩展;可以同时为发布和订阅高吞吐量;支持多订阅者,当失败时能自动平衡消费者;将消息持久化到磁盘,因此可以用于批量消费,例如ETL。

4

Q:kafka作为分布式消息系统有哪些特点?

A:kafka 是作为一个集群运行在一个或者多个服务器上的;kafka集群存储的消息是一个topic为类别记录的;每个消息(也叫record)都是由一个key,一个value和时间戳构成的。

5

Q:kafka节点之间如何备份?

A:Kafka允许用户为每个topic设置副本数量,副本数量决定了有几个broker来存放写入的数据。如果你的副本数量为3,那么一份数据就会被存放在3台不同的机器上,在所有备份节点中,有一个节点作为leader节点,这个节点保存了其它备份节点列表,并维持各个备份间的状态同步。

副本以topic的分区为单位。在正常情况下,kafka每个分区都有一个单独的leader,0个或者多个follower。副本的总数包括leader。所有的读取和写入到该分区的leader。通常,分区数比broker多,leader均匀分布在broker。Follower的日志完全等同于leader的日志,相同的顺序相同的偏移量和消息。Follower作为普通的消费者从leader中消费消息并应用到自己的日志中。并允许follower从leader拉取批量日志应用到自己的日志,这样具有良好的性能。

----------------    --------------

小伙伴们冲鸭,后台留言区等着你!

关于Kafka,今天你学到了什么?还有哪些不懂的?除此还对哪些话题感兴趣?快来留言区打卡啦!留言方式:打开第XX天,答:……

同时欢迎大家搜集更多问题,投稿给我们!风里雨里留言区里等你~

----------------    --------------

1.微信群:

添加小编微信:color_ld,备注“进群+姓名+公司职位”即可,加入【云计算学习交流群】,和志同道合的朋友们共同打卡学习!

2.征稿:

投稿邮箱:liudan@csdn.net;微信号:color_ld。请备注投稿+姓名+公司职位。

推荐阅读

  • Gartner的预言:通向混合IT之旅

  • 崩溃!新浪程序员加班错失 77 万年会大奖

  • 刚刚!华为又被美国盯上了!

  • 阿里“菜鸟”AI?

  • 以太坊升级的拖油瓶,竟只是这几行代码

  • 程序员有话说 | 程序猿在乘地铁的时候都在想什么?

  • 清华北大“世界排名断崖式下跌”?

点击“阅读原文”,打开 CSDN App 阅读更贴心!

喜欢就点击“好看”吧!

kafka使用_Kafka精华问答 | kafka的使用场景是什么?相关推荐

  1. Kafka精华问答 | kafka节点之间如何备份?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  2. Kafka精华问答 | Kafka的主要应用场景有哪些?​

    Kafka是最初由Linkedin公司开发,具有高性能.持久化.多副本备份.横向扩展能力.今天,我们就看看看关于Kafka的精华问答吧. 1: Q:什么是Kafka? A:Kafka是由Apache软 ...

  3. Kafka精华问答 | Kafka有哪些使用场景?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  4. Kafka精华问答 | kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  5. Storm精华问答 | Kafka在Storm中的角色是什么?

    戳蓝字"CSDN云计算"关注我们哦! Storm是Twitter开源的分布式实时大数据处理框架,被业界称为实时版Hadoop.随着越来越多的场景对Hadoop的MapReduce高 ...

  6. kafka 启动_Kafka管理工具Kafka Manager

    Kafka作为分布式消息系统以其轻量级.可扩展.高通吐等特点而得到广泛应用,最近在项目中用Kafka作为中间件进行数据交互.为了监控Kafka的运行情况,在网上找了个开源的Kafka监控工具Kafka ...

  7. 批量提交 kafka_Kafka精华问答|kafka的使用场景是什么?

    戳蓝字"CSDN云计算"关注我们哦! Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写.作为一种高吞吐量的分布式发布订阅消息系统,有着诸多特 ...

  8. Kafka精华问答 | 为什么要用Message Queue?

    Kafka is a distributed,partitioned,replicated commit logservice.它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS ...

  9. kudu接受kafka消息_Kafka 在车好多

    在 2016 年中旬,车好多集团(瓜子二手车&毛豆新车)开始引入 Kafka 技术栈,起初的目标是作为大数据系统的数据输入,随着使用范围的推广,逐步成为集团数据链路的核心组件. Kafka 在 ...

最新文章

  1. LEMP+memcached
  2. 大数据的“近因偏差”烦恼
  3. C++ SSE运算例子
  4. 实践lnmpde 的安装
  5. 16个超实用的jQuery技巧攻略
  6. DOCKER - 容器抓包
  7. java小细节_为什么我喜欢Java的细节
  8. python3 class init_python3 module中__init__.py的需要注意的地方
  9. git-比对不同-diff
  10. 曾为浮云遮望眼,平沙莽莽黄入天。 终有一缘得一道,拨开云雾见青天! ——论如何快速删除上亿级数据集思路
  11. 【报告分享】线上汉服消费洞察报告.pdf(附下载链接)
  12. evb测试板_DVT测试方案
  13. 20180330试试水
  14. 计量广义差分操作过程_一分钟看完计量经济学
  15. 选择题高分通过系统集成项目管理工程师
  16. Excel如何快速对比数据
  17. Linux内核的WRITE_ONCE函数分析
  18. php收付同分账,php微信分账功能 —— app支付
  19. android webview html 字体大小,Android webview设置字体大小,适配屏幕,夜间模式
  20. 用机械键盘敲代码会不会更带感 ?送 9 套雷柏机械键盘

热门文章

  1. 京东宙斯平台使用方法(accesstoken,appkey,appsecret参数和SDK的获取)
  2. 将一副完整的位图均分成n块位图显示
  3. 左右法则 来解析指针问题
  4. Java代码怎么取消订阅功能,RxJava2 中多种取消订阅 dispose 的方法梳理( 源码分析 )...
  5. 一步一步写算法(之双向链表)
  6. 搜狐html源码,使用css和html模仿搜狐页面
  7. java开源springboot项目_使用Spring Boot的10多个免费开源项目
  8. flutter持久化_开源项目【WanAndroid_Flutter】玩安卓 Flutter 版
  9. linux 查看jvm虚拟内存_看完你还敢说你懂JVM吗?
  10. vspython版本控制_python使用git进行版本控制1