Kafka SCRAM和PLAIN实战
1.概述
目前Kafka ACL支持多种权限认证,今天笔者给大家介绍一下SCRAM和PLAIN的权限认证。验证环境如下:
- JDK:1.8
- Kafka:2.3.0
- Kafka Eagle:1.3.8
2.内容
2.1 PLAIN认证
首先,在$KAFAK_HOME/config目录新建一个文本文件,名为kafka_server_plain_jaas.conf,配置内容如下:
KafkaServer {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="admin"password="admin-secret"user_admin="admin-secret"user_ke="ke"; };
接着,将脚本文件kafka-server-start.sh重命名为kafka-server-plain-start.sh,并修改最后一行的内容为:
# 添加鉴权文件 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_plain_jaas.conf kafka.Kafka "$@"
然后,复制server.properties文件并重命名为plain.properties,接着修改服务端配置文件plain.properties,内容如下:
# Protocol listeners=SASL_PLAINTEXT://127.0.0.1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=PLAIN sasl.enabled.mechanisms=PLAIN# ACL allow.everyone.if.no.acl.found=false super.users=User:admin authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
最后,创建客户端用户认证文件,kafka_client_plain_jaas.conf内容如下:
KafkaClient {org.apache.kafka.common.security.plain.PlainLoginModule requiredusername="ke"password="ke"; };
2.2 启动PLAIN认证集群
2.2.1 启动Zookeeper
# Zookeeper的配置比较简单,这里不多做介绍 zkServer.sh start
2.2.2 启动Kafka集群
# 进入到Kafka安装bin目录 ./kafka-server-plain-start.sh ../config/plain.properties &
2.2.3 创建Topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181/plain --replication-factor 1 --partitions 3 --topic test_plain
2.2.4 添加读写权限
# 添加读权限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Read --topic test_plain # 添加写权限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Write --topic test_plain # 添加消费者组权限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --add --allow-principal User:ke --operation Read --group g_plain_test # 查看权限列表 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/plain --list
2.2.5 执行结果
2.3 SCRAM认证
PLAIN认证有个问题,就是不能动态新增用户,每次添加用户后,需要重启正在运行的Kafka集群才能生效。为此,在生产环境,这种认证方式不符合实际业务场景。而SCRAM不一样,使用SCRAM认证,可以动态新增用户,添加用户后,可以不用重启正在运行的Kafka集群即可进行鉴权。
新增kafka_server_scram_jaas.conf,配置内容如下:
KafkaServer {org.apache.kafka.common.security.scram.ScramLoginModule requiredusername="admin"password="admin-secret"; };
接着,将脚本文件kafka-server-start.sh重命名为kafka-server-scram-start.sh,并修改最后一行的内容为:
# 添加鉴权文件 exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_scram_jaas.conf kafka.Kafka "$@"
然后在$KAFKA_HOME/config目录中,复制server.properties文件并重命名为scram.properties,接着修改服务端配置文件scram.properties,内容如下:
# Protocol listeners=SASL_PLAINTEXT://dn1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256 sasl.enabled.mechanisms=SCRAM-SHA-256# ACL allow.everyone.if.no.acl.found=false super.users=User:admin authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
2.3.1 启动Zookeeper
# Zookeeper的配置比较简单,这里不多做介绍 zkServer.sh start
2.3.2 添加管理员权限和普通用户
# 添加管理员./kafka-configs.sh --zookeeper 127.0.0.1:2181/scram --alter --add-config 'SCRAM-SHA-256=[password=admin-secret],SCRAM-SHA-512=[password=admin-secret]' --entity-type users --entity-name admin# 添加普通用户(ke)./kafka-configs.sh --zookeeper 127.0.0.1:2181/scram --alter --add-config 'SCRAM-SHA-256=[iterations=8192,password=ke],SCRAM-SHA-512=[password=ke]' --entity-type users --entity-name ke
2.3.3 启动SCRAM认证集群
./kafka-server-scram-start.sh ../config/scram.properties &
2.3.4 创建Topic
./kafka-topics.sh --create --zookeeper 127.0.0.1:2181/scram --replication-factor 1 --partitions 3 --topic test_scram
2.3.5 添加权限
# 添加读权限./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Read --topic test_scram # 添加写权限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Write --topic test_scram# 添加消费者组权限 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Read --group g_scram_test# 查看权限列表 ./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --list
2.3.6 执行结果
3.Kafka权限级别
Kafka权限级别包含Topic、Group、Cluster、TransactionalId,每个维度涉及的权限内容如下:
Resource | Operations |
Topic | Read,Write,Describe,Delete,DescribeConfigs,AlterConfigs,All |
Group | Read,Describe,All |
Cluster | Create,ClusterAction,DescribeConfigs,AlterConfigs,IdempotentWrite,Alter,Describe,All |
TransactionalId | Describe,Write,All |
例如,统计Topic的Capacity大小时,如果抛出异常“Cluster authorization failed”,这是由于没有开启Cluster级别的Describe权限,执行如下命令即可:
./kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=127.0.0.1:2181/scram --add --allow-principal User:ke --operation Describe --cluster
4.Kafka Eagle集成SCRAM认证
那么如何使用Kafka Eagle来集成有SCRAM认证的Kafka集群,进行监控呢?访问http://www.kafka-eagle.org/,下载安装包,解压并配置如下内容:
# 这里对启动一个拥有SCRAM认证的Kafka集群(别名为cluster1)进行配置 cluster1.kafka.eagle.sasl.enable=true cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256 cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="ke" password="ke"; # 这里ClientId如果不需要,可以不用配置 cluster1.kafka.eagle.sasl.client.id=
然后,执行ke.sh start进行启动Kafka Eagle监控系统。
4.1 Topic预览
4.2 使用KSQL查询Topic
执行如下SQL语句,代码如下:
select * from "test_scram" where "partition" in (0) limit 1
执行结果如下:
5.总结
生产环境中,用户可能随着业务需要,增加或者删除,此时动态控制用户时很有必要的。而且,生产环境Kafka集群不可能随随便便重启,因此采用SCRAM来进行Kafka鉴权非常适合。
6.结束语
这篇博客就和大家分享到这里,如果大家在研究学习的过程当中有什么问题,可以加群进行讨论或发送邮件给我,我会尽我所能为您解答,与君共勉!
另外,博主出书了《Kafka并不难学》和《Hadoop大数据挖掘从入门到进阶实战》,喜欢的朋友或同学, 可以在公告栏那里点击购买链接购买博主的书进行学习,在此感谢大家的支持。关注下面公众号,根据提示,可免费获取书籍的教学视频。
转载于:https://www.cnblogs.com/smartloli/p/11404610.html
Kafka SCRAM和PLAIN实战相关推荐
- Kafka SCRAM和PLAIN权限认证
目前Kafka ACL支持多种权限认证,今天笔者给大家介绍一下SCRAM和PLAIN的权限认证.验证环境如下: JDK: 1.8 Kafka: 2.3.0 Kafka Eagle: 1.3.8 2.1 ...
- Kafka配置SASL/PLAIN认证
1.安装zk,kafka 2.配置server.properties security.inter.broker.protocol=SASL_PLAINTEXT sasl.mechanism.inte ...
- Kafka—配置SASL/PLAIN认证客户端及常用操作命令
介绍 SASL/PLAIN 是一种简单的 username/password安全认证机制,本文主要总结服务端开启该认证后,命令行客户端进行配置的操作流程. 配置 增加jaas.properties ...
- Kafka集群搭建实战
Kafka集群搭建实战 集群结构: 集群环境信息: 192.168.157.130 192.168.157.131 192.168.157.129 Zookeeper集群搭建 三台机器上均安装JDK( ...
- 领取20万字《Kafka运维与实战宝典》PDF文档
作者:石臻臻, CSDN博客之星Top5.Kafka Contributor .nacos Contributor.华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 . KnowStreami ...
- 【Kafka】Kafka SCRAM认证 ERROR [ZooKeeperClient] Auth failed
1.概述 PLAIN认证有个问题,就是不能动态新增用户,每次添加用户后,需要重启正在运行的Kafka集群才能生效.为此,在生产环境,这种认证方式不符合实际业务场景.而SCRAM不一样,使用SCRAM认 ...
- ELK+kafka日志系统搭建-实战
日志主要包括系统日志.应用程序日志和安全日志.系统运维和开发人员可以通过日志了解服务器软硬件信息.检查配置过程中的错误及错误发生的原因.经常分析日志可以了解服务器的负荷,性能安全性,从而及时采取措施纠 ...
- java kafka设置偏移量_kafka实战宝典:手动修改消费偏移量的两种方式
kafka实战宝典:手动修改消费偏移量的两种方式 工作中遇到过消费端报错的问题:包括数据Invalid Message和Failed_to_UNcompress等报错信息,导致消费端的iterator ...
- sparkStreaming+kafka+redis小项目实战
一.项目说明 1.需求 实时更新每个用户走的总步数: 每隔5s统计一次,包括某个用户新统计时的时间.所在地点.新增步数: 这里为了方便只将每个用户以及实时更新的步数总和两个维度保存到redis数据库中 ...
最新文章
- 一步一步创建ASP.NET MVC5程序[Repository+Autofac+Automapper+SqlSugar](三)
- 微信tocken后台后台保存方法
- mysql备份工具xtr_mysql-xtrbackup备份与恢复
- 将java.util.concurrent.BlockingQueue用作rx.Observable
- php wdatepicker,WdatePicker时间控件的使用
- 函数式编程让你忘记设计模式
- Redis概念与架构
- 蔡司数码视疲劳测试软件_居家办公期间,频繁使用电子数码产品小心患上这种眼病...
- c++11 多线程编程(六)------条件变量(Condition Variable)
- 一文详解传统金融与数字资产衍生品的区别
- 关于英伟达显卡驱动程序(GeForce)无法下载的问题
- win10的mysql密码忘记了怎么办_win10忘记mysql密码怎么办
- hotmail 获取邮箱授权码
- Ruby完全读书指南
- ThinkPHP3.2.3 实现微信小程序微信授权登录
- win10计算机中删除桌面,win10系统电脑桌面壁纸历史记录怎么删除
- 软电话 开源的和免费的大全
- Win11账号被锁定无法登录怎么办?Win11账号被锁定无法登录
- 我的第一篇博客(激动无比!!!)
- R语言【列联表与独立性检验(皮尔逊卡方检验、Fisher 检验)】
热门文章
- python下载后是黑的_python下载文件记录黑名单的实现代码
- java+mysql性能优化_Java培训实战教程之mysql优化
- rmi远程反序列化rce漏洞_Oracle WebLogic 反序列化远程命令执行漏洞预警
- python csv性能_Python 使用和高性能技巧总结
- java thread.sleep 声明_java 线程Thread.Sleep详解(转载)
- db2有主键时默认hash分区_彻底搞懂 MySQL 分区!
- detectandcompute 图像尺寸太大_基于深度局部特征的图像检索
- Ubuntu20.04配置ip地址
- Python 将字符串转换成单个字符;将单个字符合并成字符串
- 1、程序员常用工具网站