Kafka-produce(发送者)

produce是kafka的消息发送者，负责将消息发送到kafka代理服务器（broker）指定的topic下的某个partition

一：消息的分布
假设现在一个topic下有两个partition，下面是一个produce按照顺序发送四条消息之后，partition中的情况

注意：partition1和partition2都是leader，它俩可不是副本关系

可以看到消息是大致按照图中的样子存储的，主要想阐述的就是分片这个概念，目的是为了减少每个partition的存储数据量，同时也为了消费端可以从多个partition同时取数据，那么这四条数据真实情况到底都存储到哪个partition呢？其实我也不知道，我没有测试，但是只要是分布式架构的中间件，必定遵循分布式理论，也就是说数据的分布方式只有可能是下面三种：
1.hash分布（kafka默认的分布方式）
2.按照数据范围分布（按照数据特征分布）
3.按照数据量分布
所以感兴趣的朋友可以自己测试一下，数据使用hash算法之后，分布到哪个partition，不过我觉得意义不大，我们研究的是kafka的设计思想，而不是这种小事

二：消息的持久化（如何确保消息不丢失）
在研究消息质量保证之前，必须要了解partition副本同步机制，你可以点击这里查看关于partition同步机制

producer只是跟broker中的leader partition交互，不与follower partition交互
参数acks有四个值，分三种情况
acks=0：producer将消息扔给broker（就是leader partition）之后，就认为发送成功，如果出现网络瞬断，这种情况有可能消息丢失
acks=1：producer将消息扔给leader partition之后，等待leader partition数据持久到本地（commit log文件中），持久化完毕之后，认为发送成功
acks=-1：producer讲消息扔给leader partition之后，不但要等待leader partition将数据持久到本地，还要等待follower将leader数据同步过去之后，才认为发送成功，这场景很适合重要的数据，比如订单，银行
acks=all：与-1完全一样

日记：acks=-1可以和min.insync.replicas参数配合使用，假设一共有3个副本，
设置min.insync.replicas=2，
设置acks=-1，
那等待两个副本写入完毕，就返回，而不是三个副本全都写入完毕

三：缓冲区
buffer_memory参数：发送者会将要发送的数据都扔到缓冲区，然后在缓冲区组装batch包，最后将batch发送出去，注意这不是缓冲多少再发送，而是从缓冲区拿数据，拼装batch，然后发送batch
batch_size参数：当每条消息的总大小达到多少时，发送该条消息
linger_ms参数：如果batch不满，总不能不发吧，这个就是达到多少毫秒后，如果batch还没满，依然会发送出去

Kafka-produce(发送者)相关推荐

Boost：基于Boost的发送者和接收者的测试程序
Boost:基于Boost的发送者和接收者的测试程序实现功能 C++实现代码发送者源码接收者源码实现功能基于Boost的发送者和接收者的测试程序 C++实现代码发送者源码 #include ...
在as3中只有事件（或该事件的子级）的发送者才能侦听事件
在as3中只有事件(或该事件的子级)的发送者才能侦听事件, 与该发送者无关系的对象是侦听不到的, 因为事件流模型,冒泡,事件目标对象解决办法可以用stage统一发送和侦听补:用stage统一是 ...
请求发送者与接收者解耦——命令模式
本文转载自 :http://blog.csdn.net/lovelion/article/details/8796736 装修新房的最后几道工序之一是安装插座和开关,通过开关可以控制一些电器的打开和关 ...
windows7 python 指定源组播 10049_Python3组播通信编程实现教程（发送者+接收者）
一.说明 1.1 标准组播解释通信分为单播.多播(即组播).广播三种方式单播指发送者发送之后,IP数据包被路由器发往目的IP指定的唯一一台设备的通信形式,比如你现在与web服务器通信就是单播形式 ...
php弹幕反检测,【原理讲解附源码】找到B站弹幕的发送者
本帖最后由厄斐琉斯于 2020-7-31 23:19 编辑特别鸣谢:感谢Hatsune_miku前辈在github上开源的部分源码声明:任何人不得将其用于任何商业目的,否则后果自负! 前言:之 ...
广播发送者广播接收者介绍
1.广播接收者广播接收者简单地说就是接收广播意图的Java类,此Java类继承BroadcastReceiver类,重写: public void onReceive(Context context ...
追踪邮件发送者的地理位置
今天偶然发现Gmail可以追踪发送者的IP位置,于是忍不住跃跃欲试. 邮件不只有文本内容,还有额外的信息在每个邮件的header里面,一般的邮件客户端都是不能查看header的,Gmail和雅虎邮箱可 ...
php发送日历邮件_如何阻止垃圾邮件发送者攻击您的Google日历
php发送日历邮件 Spammers have found a way to add unwanted phishing and scam events to people's Google Cal ...
使用ESP8266信标垃圾邮件发送者来跟踪智能手机用户
使用ESP8266信标垃圾邮件发送者来跟踪智能手机用户智能手机和笔记本电脑不断发送Wi-Fi无线电信号,其中许多信号可用于跟踪我们.在本指南中,我们将在Arduino中编写一个廉价的物联网设备,以创 ...

Kafka-produce(发送者)

Kafka-produce(发送者)相关推荐

最新文章

热门文章