Kafka的介绍之一
kafka官网:http://kafka.apache.org
kafka之前及叫分布式消费系统,现在叫分布式流式平台
1.发布与订阅
像消息系统一样读写数据流。
2.过程
编写实时响应事件的可伸缩流处理应用程序。
3.商店
将数据流安全地存储在分布式、复制的、容错的集群中。
Kafka通常用于两大类应用程序:
构建实时流数据管道,可靠地获取系统或应用程序之间的数据
构建转换或响应数据流的实时流应用程序
首先是几个概念:
Kafka作为集群运行在一个或多个服务器上,这些服务器可以跨多个数据中心。
Kafka集群将记录流存储在称为主题的类别中。
每个记录由一个键、一个值和一个时间戳组成。
Kafka 消息系统
app -----> Flum(收集)—> kafka ----->计算(Spark,Flink) 夯住或者作业失败
Kafka: 3个进程 producer broker consumer
生产者 boker (消息缓冲作用) 消费者
列举项目:
flume --> HDFS --> Hive 再用Spark 离线计算
Flum(收集)—> kafka ----->计算(Spark,Flink) 在线实时
详解:当Flum接受数据要传输给Spark进行计算,例如遇到节假日,双十一等,数据量猛增的时候就必须用到kafka进行缓存,Spark如果只能计算2G的容量,一旦数据增加到100G,如果直接从Flume到Sprak,Spark会夯住,有kafka的存在大大的减少了Spark的压力,做实时就kafka+Sprak,做离线用hive+Spark。
Kafka的源码是Scala写的,一般企业用到的是2.10.4版,
相关概念
1.producer:消息生产者,发布消息到 kafka 集群的终端或服务。
2.broker:kafka 集群中包含的服务器。
3.topic:每条发布到 kafka 集群的消息属于的类别,即 kafka 是面向 topic 的。
4.partition:partition 是物理上的概念,每个 topic 包含一个或多个 partition。kafka 分配的单位是 partition。
5.consumer:从 kafka 集群中消费消息的终端或服务。
6.Consumer group:high-level consumer API 中,每个 consumer 都属于一个 consumer group,每条消息只能被 consumer group 中的一个 Consumer 消费,但可以被多个 consumer group 消费。
7.replica:partition 的副本,保障 partition 的高可用。
8.leader:replica 中的一个角色, producer 和 consumer 只跟 leader 交互。
9.follower:replica 中的一个角色,从 leader 中复制数据。
10.controller:kafka 集群中的其中一个服务器,用来进行 leader election 以及 各种 failover。
12.zookeeper:kafka 通过 zookeeper 来存储集群的 meta 信息。
Kafka的介绍之一相关推荐
- kafka入门介绍「详细教程」
什么是 Kafka Kafka 是一个分布式流式平台,它有三个关键能力 订阅发布记录流,它类似于企业中的消息队列 或 企业消息传递系统 以容错的方式存储记录流 实时记录流 Kafka 的应用 作为消息 ...
- kafka入门介绍(转载)
Kafka作为一个分布式的流平台,这到底意味着什么? 我们认为,一个流处理平台具有三个关键能力: 发布和订阅消息(流),在这方面,它类似于一个消息队列或企业消息系统. 以容错的方式存储消息(流). 在 ...
- ActiveMQ、RabbitMQ、RocketMQ、Kafka的介绍及优缺点说明
ActiveMQ 单机吞吐量:万级 topic数量都吞吐量的影响: 时效性:ms级 可用性:高,基于主从架构实现高可用性 消息可靠性:有较低的概率丢失数据 功能支持:MQ领域的功能极其完备 总结: 非 ...
- Kafka版本介绍Version2.4.0
1.说明 Kafka的版本从0.11.0.X到1.0.X, 再到2.0.X大版本, 其实没有经过几个版本, 只是版本号变化较大. 2.最新发布版本 截止本文章2020年2月22号发布时, Kafka ...
- Kafka原理介绍及安装使用(未完待续)
1.Kafka简介 2.Kafka的安装.管理和配置 3.第一个Kafka程序 4.Kafka的生产者 5.Kafka的消费者
- Kafka命令介绍和使用以及案例
资料 所有脚本 [root@localhost kafka]# ls bin/ -al 总用量 136 drwxr-xr-x. 3 root root 4096 3月 10 2019 . drwxr- ...
- Kafka系列一之架构介绍和安装
Kafka架构介绍和安装 写在前面 还是那句话,当你学习一个新的东西之前,你总得知道这个东西是什么?这个东西可以用来做什么?然后你才会去学习它,使用它.简单来说,kafka既是一个消息队列,如今,它也 ...
- kafka介绍及使用
一.MAC环境下安装启动kafka 1.安装kafka brew install kafka复制代码 安装详情 安装详情里面包含一些使用介绍,主要包括几个部分: 安装kafka前默认安装了zookee ...
- kafka的简单介绍以及docker-compose部署单主机Kafka集群
Kafka简单介绍 Kafka是由Apache软件基金会开发的一个分布式.分区的.多副本的.多订阅者的开源流处理平台,由Scala和Java编写.Kafka是一种高吞吐量的分布式发布订阅消息系统,它可 ...
最新文章
- 【 FPGA 】组合逻辑中的竞争与险象问题(五)
- 录入键盘字母输入并将小写变为大写
- Javaamp;amp;(面试题)初始化顺序总结
- BASH命令和SHELL脚本学习
- android中获取mac地址8.0,关于Android8.0以下手机获取蓝牙Mac地址的问题和扫描周围的手机蓝牙问题 下篇...
- Web 设计中的苹果风
- 综述:Image Caption 任务之语句多样性
- python def函数报错详解_Python函数详解
- IntelliJ 创建main函数、for循环、输出语句快捷键
- ccf魔数c语言,ccf 201609-4 交通规划
- 数据结构和算法———P6 线性表
- 阿里投资小鹏汽车,是提速自动驾驶布局的开端吗?
- 阿里云linux上安装,卸载mysql与重新安装配置Mysql
- 杀毒软件 McAfee 创始人狱中身亡,75 年传奇人生画下句号
- 「 硬核分享」 ❤️ QQ连连看自动消除外挂完整源码❤️「 复制即用」
- python模拟登录浏览器_Python爬虫常用之登录(二) 浏览器模拟登录
- mysql secure file_mysql load data secure-file-priv问题
- 工业平板电脑选择需要注意的地方
- 一张图片切割成九宫格,微信朋友圈发布
- 多元线性回归方程原理及其推导
热门文章
- POJ1011 Sticks
- 整理了js数组去重4种方法
- 通过字符串方法创建新字符串如何打出反斜杠、单引号、双引号、响铃、换行符、水平制表符
- crx文件里面的html文件,javascript – Chrome扩展程序:在crx文件中打开html,标签上没有图标...
- PreparedStatement设置时间
- 基于系统的流量控制(Qos)
- Linux c modbus 线程,Modbus TCP Slave Thread - 设置和获取寄存器值
- php如何计算精确,简单谈谈php浮点数精确运算
- 解决CentOS 6 字体变成方框的方法
- ubunto应用软件