《kafka权威指南》学习记录1

本博客只作为自己学习的一个记录。

一.kafka生产者

1.kafka生产者组件

main线程 send线程 producerrecord对象序列化器分区器。

Producerrecord对象格式:topic [key] [partition] value

2.生产者发送消息过程

3.kafka生产者应用程序开发步骤

创建生产者

Properties KafkaProducer 三个必须配置：kafka ip,key和value的序列化方式。

发送消息到kafka

发送并忘记

同步发送：feature对象的get方法

异步发送：send()方法里传入一个回调函数

其他的一些配置能说出几个

顺序保证：retries设为0 max.in.flight.requests.per.connection topic分区数为1

4.序列化器

自定义序列化器

实现serializer接口，重写configure() serialize() close()方法，不建议自定义，kafka自带已够用。

arvo序列化方式

什么是arvo?

答：是一种与编程语言无关的序列化格式，提供一种共享文件的方式。

arvo的一个很重要的特性非常适合kafka？

答：

arvo的原理？

答：它的原理在于描述序列化对象的schema格式：{“namespace”:"***","type":"***","name","类名"，["fields":{"name":"字段名","type":"字段类型"}]}，这样的结构就算修改数据的schema,不用修改所有负责读取数据的应用程序，不会出现异常或阻断性错误。

schema注册表解决的问题？

答:

arvo序列化和反序列化流程？

答：通过序列化将数据序列化为字节数组，数据中包括schema的ID信息，同时将schema注册到注册表（一个组件），读取反序列化时通过schema id从注册表获取schema.

arvo在kafka中的具体使用？

答：

5.分区

分区策略：默认三种注：其中一种根据key的散列值，进行取余时是根据所有的分区，而不是所有的可用分区。这就存在一个问题，如果分区不可用，就会发生错误。

自定义分区策略

能想出一种应用场景？

答：

具体实现方法？

答：实现partitioner接口，重写三个方法config() partition() close()

自定义分区器实现好了怎么使用？

答：

6.拦截器

《kafka权威指南》学习记录1相关推荐

《Kafka权威指南》记录
生产者生产流程 32页生产者创建 Kafka生产者需要三个必须参数:broker地址清单,key和value的序列化方式 (如StringSerializer) 生产者发送 ACKS acks 参 ...
kafka权威指南_Kafka-分区、片段、偏移量
[分区.片段.偏移量] 1. 每个分区是由多个Segment组成,当Kafka要写数据到一个partition时,它会写入到状态为active的segment中.如果该segment被写满,则一个新的 ...
symfony权威指南学习之一：symfony 介绍
symfony权威指南学习之一:symfony 介绍一.symfony 简介 symfony 是一个完整的 web 应用开发框架,它为加速开发提供了几个关键功能. 首先,它把 web ...
送5本《Kafka权威指南》第二版
文末送书科学家们每一次发生分歧都是因为掌握的数据不够充分.所以,我们可以先就获取哪一类数据达成一致,只要获取了数据,问题也就迎刃而解了.要么我是对的,要么你是对的,要么我们都是错的,然后继续. -- ...
《JS权威指南学习总结--开始简介》
本书共分成了四大部分: 1.JS语言核心 2.客户端JS 3.JS核心参考 4.客户端JS核心参考其中 <JS权威指南学习总结--1.1语法核心> 是:第一部分JS语言核心各章节重点 ...
JavaScript 权威指南-学习笔记（一）
本文所有教程及源码.软件仅为技术研究.不涉及计算机信息系统功能的删除.修改.增加.干扰,更不会影响计算机信息系统的正常运行.不得将代码用于非法用途,如侵立删! JavaScript 权威指南-学习笔记 ...
Hadoop权威指南学习笔记三
HDFS简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考.有什么不到之处还望指出,一起学习一起进步. 转载请注明:http://blog.csdn.net/my ...
Hadoop权威指南学习笔记一
Hadoop简单介绍声明:本文是本人基于Hadoop权威指南学习的一些个人理解和笔记,仅供学习參考,有什么不到之处还望指出.一起学习一起进步. 转载请注明:http://blog.csdn.net/ ...
802.11基本概念介绍【802.11 无线网络权威指南学习总结1】
802.11基本概念介绍[802.11 无线网络权威指南学习总结1] 1.802.11网络技术介绍 IEEE 802 规格的重心放在 OSI 模型最底下的两层,因为它们同时涵盖了实体(physical ...
mysql权威指南代码_mysql权威指南学习札记
mysql权威指南学习笔记 1,mysql的标示符最多就64个字符 2,drop table table1,table2,table3;删除多个table的时候用,号分隔开,为了避免不必要的错误,我们 ...

《kafka权威指南》学习记录1

《kafka权威指南》学习记录1相关推荐

最新文章

热门文章