kafka官方文档学习笔记3--配置简述
Kafka使用key-value键值对格式的配置,这些配置即可以在进程启动时,根据指定的properties文件加载,也可以通过编程的方式,在程序中动态指定;根据集群中角色的不同分为6种配置:
- broker配置:broker实例使用的默认配置;
- topic配置:某个topic所使用的配置,如果显式指定,则覆盖broker实例的同名默认配置;
- producer配置:针对producer实例;
- consumer配置:针对consumer实例;
- Connect配置:针对connector实例;
- Stream配置:针对stream实例;
- 管理端配置:用于管理集群权限的配置;
broker配置
常用配置:
- broker.id:用于唯一标识集群中的一个broker实例;每个broker实例的id在集群中必须是全局唯一的;如果未指定,则由zookeeper自动生成;
- log.dirs:区别于log.dir配置,指定日志数据存放路径;若没有指定,则使用log.dir配置指定的路径;如果配置多个路径,则broker会根据"最少使用"原则,把同一个分区的日志保存到同一个路径下;
broker会向拥有最少分区数量的路径下新增分区;
- zookeeper.connect:broker集群所使用的zookeeper集群连接信息;格式:hostname:port/path,多个地址使用逗号分隔;/path是zookeeper的路径,作为kafka集群的chroot环境。默认使用/根路径;如果chroot路径不存在,broker启动时会自动创建;
使用chroot路径是一种最佳实践,可以将zookeeper集群共享给其它应用或者kafka集群使用;
- num.recovery.threads.per.data.dir:每个目录处理消息日志的线程数;默认每个目录使用1个线程;对于有大量partition的broker来说,增加线程数,可以加快消息日志的处理速度;
如下情况会使用消息日志处理线程:
1)服务器正常启动时,用于打开每个分区的日志片段;
2)服务器崩溃重启时,用于检查和截断每个分区的日志片段;
3)服务器正常关闭时,用于关闭日志片段;
- auto.create.topics.enable:如果topic不存在,是否允许自动创建topic;
如下几种情况下会创建topic:
1)生产者写入消息时;
2)消费者读取消息时;
3)客户端发送元数据请求时;
topic配置
topic相关的配置即可以使用broker的默认配置,也可以重写每个topic个自的配置;
- 在创建topic时重写配置:在命令行创建topic时,可以通过--config重写配置;示例如下:
> bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 1 --replication-factor 1 --config max.message.bytes=64000 --config flush.messages=1
- 在更新topic时重写配置:通过--add-config添加配置,示例如下:
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --add-config max.message.bytes=128000
通过--describe查看配置,示例如下:
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --describe
通过--delete-config删除配置,示例如下:
> bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type topics --entity-name my-topic --alter --delete-config max.message.bytes
各个模块详细配置详见官方文档;
kafka官方文档学习笔记3--配置简述相关推荐
- kafka官方文档学习笔记2--QuickStart
下载kafka https://www.apache.org/dyn/closer.cgi?path=/kafka/1.0.0/kafka_2.11-1.0.0.tgz 解压安装包 > tar ...
- ZooKeeper官方文档学习笔记03-程序员指南03
我的每一篇这种正经文章,都是我努力克制玩心的成果,我可太难了,和自己做斗争. ZooKeeper官方文档学习笔记04-程序员指南03 绑定 Java绑定 客户端配置参数 C绑定 陷阱: 常见问题及故障 ...
- Open3D官方文档学习笔记
Open3D官方文档学习笔记 第一部分--点云 1 可视化点云 2 体素降采样 3 顶点法线评估 4 访问顶点法线 补充:Numpy在Open3D中的应用 5 裁剪点云 补充1:获取点云坐标 补充2: ...
- ZooKeeper官方文档学习笔记01-zookeeper概述
纠结了很久,我决定用官方文档学习 ZooKeeper概述 学习文档 学习计划 ZooKeeper:分布式应用程序的分布式协调服务 设计目标 数据模型和分层名称空间 节点和短命节点 有条件的更新和监视 ...
- vue.js 2.0 官方文档学习笔记 —— 01. vue 介绍
这是我的vue.js 2.0的学习笔记,采取了将官方文档中的代码集中到一个文件的形式.目的是保存下来,方便自己查阅. !官方文档:https://cn.vuejs.org/v2/guide/ 01. ...
- Android 开发之ViewPage官方文档学习笔记
2019独角兽企业重金招聘Python工程师标准>>> 以下为官网的官方文档,我将从翻译该文档开始学习. ViewPager extends ViewGroup java.lang. ...
- xarray官方文档 学习笔记(序章)
个人需要开了这个坑 不定时更新 希望能和大家共同学习和交流 工作中难免有不足和错误,希望大家多多批评指正 xarray官方文档首页:http://xarray.pydata.org/en/stable ...
- OpenCV-Python官方文档学习笔记(上)
整理自OpenCV-Python官方文档 一. OpenCV-Python Tutorials 1 安装及验证 2 图片读写,展示 3 视频读写,展示 4 绘图功能(绘制几何形状:线.圆.椭圆.矩形. ...
- Django企业开发读书笔记(及官方文档学习笔记) 老男孩2019Go语言视频学习
目标:深入理解Django以及web开发深入知识,掌握Gin ,Go micro 框架 ,Kafka ,Zookeeper 为kubernetes Istio 做微服务,服务网格做铺垫 实现Pytho ...
最新文章
- mysql启动和关闭外键约束的方法
- python requests 重新定向错误 requests.exceptions.TooManyRedirects: Exceeded xx redirects 解决方法
- Spring框架中bean的生命周期
- nginx优化worker进程最大打开文件数worker_rlimit_nofile 65535
- 微信小程序时间标签与范围联动设计实现
- Insider Dev Tour 2019巡演中国站
- 函数传参string_JavaScript 高阶函数入门浅析
- Java与Http协议
- 【转载】java中Date与String的相互转化
- JAVA读取EMF文件并转化为PNG,JPG,GIF格式
- Perl篇:常用调试命令
- 全球及中国差旅费管理系统行业趋势分析与投资前景建议研究报告2022-2028年版
- Django中的views
- 给网页添加背景图片 html+css
- 华三交换机基本配置命令
- Unix/Linux编程:操作系统中的TCP/IP软件结构
- mysql语句生成,SQL语句生成器
- python3中利用serial模块实现单片机与python上位机的通信(串口调试助手)
- Android开发艺术探索--第二章IPC机制(2)之Binder
- KOL营销→品牌IP,小红书品牌升级方法论
热门文章
- python pdf表格识别不出来_Python识别pdf表格
- php++背景自适应屏幕宽度,背景图片+自适应屏幕
- mysql 服务器 utf8_MySQL编码设置方法 MySQL编码为utf8设置方法
- seo按天扣费系统_网站seo优化多少钱,SEO快速排名按天扣费怎么样
- 人工智能的数学基础(一):绪论
- C++中extern关键字
- 实现 消息提醒图标_Mac 上自带的「提醒事项」千万别错过
- java反编译工具_推荐Java反编译工具luyten、jd-gui
- nodejs 前端 返回数组给_互联网寒冬,一年经验字节跳动、虾皮、快手、拼多多前端面试总结...
- php 函数漏洞,PHP绕过禁用函数漏洞的原理与利用分析