文章目录

版本查看
命令
- 创建主题
- 查看有哪些主题
- 查看某个主题的描述
- 生产和消费
- 压测
- - 1、创建单分区单副本主题
  - 2、写测试
  - 3、读测试
配置
- 最大Java堆大小
- 日志数据存储路径
- 默认副本数
- 日志保留策略
- 接受消息的大小
- 其它

版本查看

在页面查看：点击具有Kafka服务的主机，然后点击组件

在服务器查看

如图2.11是Scala版本，2.2.1是Kafka版本
如果不知道CDH装哪，就把/opt/cloudera换成/

find /opt/cloudera -name \*kafka_\* | grep '\.jar'

命令

创建主题

kafka-topics --create \
--bootstrap-server hadoop105:9092 \
--replication-factor 副本数 \
--partitions 分区数 \
--topic 主题名称

注：
若使用--bootstrap-server hadoop105:9092创建，则消费者偏移量保存在Kafka中
若使用--zookeeper hadoop105:2181/kafka创建，则消费者偏移量保存在ZooKeeper中

查看有哪些主题

kafka-topics --list --bootstrap-server hadoop105:9092

或

kafka-topics --list --zookeeper hadoop105:2181/kafka

查看某个主题的描述

kafka-topics --describe \
--zookeeper hadoop105:2181/kafka \
--topic 主题名称

生产和消费

生产

kafka-console-producer \
--broker-list Kafka地址:9092 \
--topic 主题名称

消费（--from-beginning会把主题以往所有数据都读取出来）

kafka-console-consumer \
--bootstrap-server Kafka地址:9092 \
--topic 主题名称 \
--from-beginning \
--group 消费者组名称

压测

1、创建单分区单副本主题

kafka-topics --create \
--replication-factor 1 \
--partitions 1 \
--bootstrap-server hadoop105:9092 \
--topic StressTesting

2、写测试

生产者参数	描述	备注
`--throughput`	最大消息吞吐量限制，`-1`不限制	messages/sec
`--print-metrics`	打印指标	默认不打印
`--num-records`	生产多少条消息
`--record-size`	每条消息的大小	bytes
`--producer-props`	生产者相关配置，如服务器地址	优先级高于`--producer.config`
`--producer.config`	生产者配置文件路径

kafka-producer-perf-test \
--throughput -1 \
--print-metrics \
--num-records 1000000 \
--record-size 1024 \
--producer-props bootstrap.servers=hadoop105:9092 \
--print-metrics \
--topic StressTesting

某写测试结果

records sent	records/sec	MB/sec	avg latency	max latency
1000000	24396.789383	23.82	1232.27 ms	2096.00 ms

3、读测试

消费者参数	描述
`--messages`	消费的消息数量

kafka-consumer-perf-test \
--print-metrics \
--messages 1000000 \
--broker-list hadoop105:9092 \
--topic StressTesting

某读测试结果

data.consumed.in.MB	MB.sec	data.consumed.in.nMsg	nMsg.sec	rebalance.time.ms	fetch.time.ms	fetch.MB.sec	fetch.nMsg.sec
976.5625	56.8695	1000000	58234.3350	3087	14085	69.3335	70997.5151

配置

最大Java堆大小

broker_max_heap_size

建议给4~6G每个Broker

日志数据存储路径

log.dirs

默认副本数

default.replication.factor

建议>1

日志保留策略

log.retention

log.retention.ms：日志保留时长，设-1时无限制，建议3天
log.retention.bytes：每个主题分区保留在日志中的数据量，设-1时无限制
log.retention.check.interval.ms：如图示，每5分钟，日志清理程序会根据日志保留策略来清理符合删除条件的日志

接受消息的大小

可接收的单个消息的最大值（message.max.bytes）

replica.fetch.max.bytes应大于message.max.bytes

按需调大

其它

配置	说明	备注
`delete.topic.enable`	是否允许删除主题	CDH的Kafka默认启用，不用改
`broker.id`	broker 编号，唯一的，每台机都不同	通常不用改
`num.network.threads`	处理网络请求的线程数
`num.io.threads`	处理网络请求的线程数
`num.partitions`	每个主题的默认分区数	默认1不用改
`log.segment.bytes`	日志片段最大字节数	必须大于`message.max.bytes`

CDH6.3.2之Kafka配置和命令相关推荐

2021年大数据Kafka（四）：❤️kafka的shell命令使用❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的shell命令使用一.创建topic 二.生产 ...
Kafka配置SASL_SSL认证传输加密
Kafka配置SASL_SSL认证传输加密一.SSL证书配置 1.生成证书如我输入命令如下:依次是密码-重输密码-名与姓-组织单位-组织名-城市-省份-国家两位代码-密码-重输密码,后面告警不用 ...
Windos环境下kafka配置启动Zookeeper时,报错：Invalid config, exiting abnormally.
Windos环境下kafka配置启动ZooKeeper时,报错:Invalid config, exiting abnormally. 执行命令: D:\kafkaOnWindows\kafka_2. ...
Kafka 配置指南
文章目录一.简介 1.1.概述 1.1.1.Apache Kafka是一个分布式流处理平台. 1.1.2 .Kafka适合什么样的场景? 1.1.3 Kafka的特性 1.1.4 .Topics和 ...
Linux网络属性配置相关命令
Linux网络属性配置相关命令: 前言: Linux属性配置可以分为两类.一类通过命令配置,另一类通过修改配置文件配置. Linux属性配置的相关命令可以分为三大类: 一.ifcfg命令家族:①ifc ...
Linux 上配置网络设备命令举例
Linux 上配置网络设备命令举例 PS:本来内容来自http://www.ibm.com/developerworks/cn/linux/1310_xiawc_networkdevice/ 以 Re ...
h3c配置snmp配置命令_配置单元命令
h3c配置snmp配置命令 In this lesson on Apache Hive commands, we will go through the most common commands in ...
盛科交换机配置命令_cisco2960交换机清除配置的命令
cisco2960交换机清除配置的命令 1.计算机通过COM端口连接到交机,如果电脑不带COM,需要使用USB转串口线连接交换机,通过超级终端调试. 2.当开关通电时,按住开关前面的"模式 ...
2021年4月7日关于三层交换机的配置及命令！！！
关于三层交换机的配置及命令!!! 一.三层交换技术 1.使用三层交换技术实现VLAN间的通信 2.三层交换=二层交换+三层转发三层交换机通过硬件来交换和路由选择数据包.为了在硬件中处理数据包的高层信 ...

CDH6.3.2之Kafka配置和命令

文章目录

版本查看

命令

创建主题

查看有哪些主题

查看某个主题的描述

生产和消费

压测

1、创建单分区单副本主题

2、写测试

3、读测试

配置

最大Java堆大小

日志数据存储路径

默认副本数

日志保留策略

接受消息的大小

其它

CDH6.3.2之Kafka配置和命令相关推荐

最新文章

热门文章