【官方文档】Fluent Bit 数据管道之输出插件（Kafka）

文章目录

1. 配置参数
2. 入门指南
- 2.1. 命令行
- 2.2. 配置文件

官方文档地址： Kafka

Kafka 输出插件允许将你的记录输入到 Apache Kafka 服务中。这个插件使用官方的 librdkafka C library（内置依赖）。

1. 配置参数

参数	描述	默认值
format	指定数据格式，可选项：json，msgpack。	json
message_key	用于存储消息的可选键。
message_key_field	如果设置，记录中的 Message_Key_Field 的值将指示消息键。如果没有设置也没有在记录中找到，Message_Key 将被使用（如果设置了）。
timestamp_key	设置存储记录时间戳的键。	@timestamp
timestamp_format	‘iso8601’ 或者 ‘double’	double
brokers	单个或多个 Kafka broker 列表，例如：192.168.1.3:9092,192.168.1.4:9092。
topics	单个 topic 或 topic 列表，由逗号(,)分隔，Fluent Bit 将使用它向 Kafka 发送消息。如果只设置了一个 topic，则该主题将用于所有记录。相反，如果存在多个 topic，将使用 Topic_Key 的值在记录中对应的字段的值匹配的那个 topic。	fluent-bit
topic_key	如果存在多个 topic，记录中的 Topic_Key 的值对应的字段的值将会指示要使用的 topic。例如：如果 Topic_Key 是 router，并且记录是 {“key1”: 123， “router”: “route_2”}， Fluent Bit 将使用的 topic 为 route_2。请注意，如果 Topic_Key 指定的值对应的字段的值不在 Topics 中，那么默认情况下，将使用 Topics 列表中的第一个 topic。
dynamic_topic	将未知主题（在 Topic_Key 中找到）添加到 Topics。因此，在 Topics 中只需要配置一个默认主题	Off
queue_full_retries	Fluent Bit 将数据排队到 rdkafka 库中，如果由于某种原因底层库不能刷新记录，队列可能会填满，阻塞新添加的记录。queue_full_retries 选项设置本地数据排队的重试次数。缺省值为10次，每次重试间隔时间为1秒。将 queue_full_retries 值设置为0表示无限的重试次数。	10
rdkafka.{property}	`{property}`可以是任何 librdkafka 属性

将rdkafka.log.connection.close设置为false和将rdkafka.request.required.acks设置为1是 librdfkafka 属性的推荐设置示例。

2. 入门指南

为了在 Apache Kafka 中插入记录，你可以从命令行或者配置文件中运行插件：

2.1. 命令行

kafka 插件，可以通过两种方式从命令行读取参数，通过-p参数（属性），例如：

$ fluent-bit -i cpu -o kafka -p brokers=192.168.1.3:9092 -p topics=test

2.2. 配置文件

在你的主配置文件中添加以下输入和输出部分：

[INPUT]Name  cpu[OUTPUT]Name        kafkaMatch       *Brokers     192.168.1.3:9092Topics      test

【官方文档】Fluent Bit 数据管道之输出插件（Kafka）相关推荐

【官方文档】Fluent Bit 数据管道之过滤插件（Kubernetes）
文章目录 1. 配置参数 2. 处理 'log' 值 3. Kubernetes Annotations 3.1. Pod 定义中的 annotations 示例 3.1.1. 建议一个解析器 3.1 ...
【官方文档】Fluent Bit 数据管道之输入插件（Tail）
文章目录 1. 配置参数 2. 多行支持 2.1. 多行核心 (v1.8) 2.2. 多行和容器 (v1.8) 2.3. 旧的多行配置参数 2.4. 旧的 Docker 模式配置参数 3. 入门指南 ...
【官方文档】Fluent Bit 数据管道之过滤插件（Parser）
文章目录 1. 配置参数 2. 配置文件 3. 保留原始字段 3.1. Reserve_Data 3.2. Preserve_Key 官方文档地址: Parser Parser 过滤器插件允许解析事件 ...
pandas官方文档_电影数据轻松学习 Pandas
还记得刚开始接触 Pandas 的时候,没有找到比较系统的教程,印象最深的是看过别人翻译的官方教程< 10 Minutes to Pandas >,遇到不懂的地方就去官网查查 API,后来 ...
Angular 4官方文档(二)【数据的展现】
通过把 Angular 组件的属性绑定到 HTML 模板的控件上,我们可以展示数据. 本小节中,我们将会创建一个英雄列表组件.我们将展示英雄名字的列表,并根据条件来决定是否在列表下方展示一条信息. 最 ...
【官方文档】Fluent Bit 1.8 官方文档
文章目录 1. 产品特点 2. Fluent Bit,Fluentd,CNCF 官方文档地址: Fluent Bit v1.8 Documentation Fluent Bit 简介 Fluent B ...
【官方文档】Fluent Bit 概念
文章目录 1. 关键概念 1.1. 事件或记录(Event or Record) 1.2. 过滤(Filtering) 1.3. 标签(Tag) 1.4. 时间戳(Timestamp) 1.5. 匹配 ...
【官方文档】Fluent Bit 简介
文章目录 1. 什么是 Fluent Bit ? 2. Fluent Bit 简史 3. Fluentd & Fluent Bit 4. 许可证官方文档地址: What is Fluent ...
【官方文档】Fluent Bit 安装在 Linux
文章目录 1. Amazon Linux 2. Redhat / CentOS 2.1. 安装在 Redhat / CentOS 上 2.2. 配置 Yum 2.3. 安装 3. Debian 4. ...