kafka集群如何内外网均可访问
有3台kafka集群broker,以下ip地址均属杜撰,仅仅做举例用
hostname | 内网ip | 外网Ip |
---|---|---|
kafka1 | 10.0.0.1 | 139.0.0.1 |
kafka2 | 10.0.0.2 | 139.0.0.2 |
kafka3 | 10.0.0.3 | 139.0.0.3 |
配置hosts方式
本来kafka集群配置的listener参数如下:
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://10.0.0.1:9092
然后配置了内网访问kafka集群机子的hosts文件,配置kafka集群内网地址和hostname的映射关系以及外网访问kafka集群机子的hosts文件,配置kafka集群内网地址和hostname的映射关系
结果发现内网能正常访问kafka集群,外网访问不了!
那么怎么解决呢?
采取如下解决方案,成功处理掉问题!!!
注释如上listener配置,然后打开下面的advertised listener配置:
# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
# FORMAT:
# listeners = listener_name://host_name:port
# EXAMPLE:
# listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://10.0.0.1:9092# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured. Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://kafka1:9092
然后在内网需要连接kafka集群的机子上配上kafka集群的hostname和内网ip地址对应关系
在外网需要连接kafka集群的机子上配上kafka集群的hostname和外网ip地址对应关系即可
不需要配置hosts方式
直接屏蔽listener配置,然后advertised.listeners处改用监听外网ip方式,然后内网连接的时候仍然用内网kafka集群地址,外网用外网地址,不需要重新配置hosts映射
更新注意事项:经过一段时间线上测试,发现配置监听外网ip方式实现内外网都访问,有安全隐患,并且kafka集群之间节点的连接会走外网, 网络抖动,导致服务出现不可用,因此按需选择
kafka集群如何内外网均可访问相关推荐
- Kafka集群无法外网访问问题解决攻略
Kafka无法集群外网访问问题解决方法 讲解本地消费者和生产者无法使用远程Kafka服务器的处理办法 服务搭建好Kafka服务后,机本.测试 OK,外面机器却无法访问,很是怪异. 环境说明: ...
- kafka集群的搭建
本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...
- kafka集群原理介绍
kafka集群原理介绍 @(KAFKA)[kafka, 大数据] kafka集群原理介绍 一基础理论 二配置文件 一java调优 二参数说明 三错误处理 四zookeeper中的内容 1brokers ...
- 避坑指南:Kafka集群快速扩容的方案总结
什么是数据迁移 Apache Kafka 对于数据迁移的官方说法是分区重分配.即重新分配分区在集群的分布情况.官方提供了kafka-reassign-partitions.sh脚本来执行分区重分配操作 ...
- KafKa集群安装、配置
一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...
- 安装搭建kafka集群
文章目录 一.简介 二.kafka架构 三.kafka安装部署 四.启动kafka集群 五.测试 一.简介 Kafka,分布式的消息队列系统(Message Queue)官网:https://kafk ...
- Zookeeper+kafka集群搭建,问题(zoo.cfg file is running,it‘s probably not running,option ‘UseCompressedOops‘)
1. 下载Zookeeper 1.1 从Zookeeper官网选择对应版本下载,我这边是3.4.5,如下图. 1.2 将下载的压缩包拉到要安装集群主机的 /usr/local 目录(你也可以进入 /u ...
- Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建
Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kaf ...
- kafka 集群_单机版kafka集群部署
前言 分布式消息队列是大型分布式系统不可缺少的中间件,主要解决应用耦合.异步消息.流量削锋等问题.实现高性能.高可用.可伸缩和最终一致性架构. 今天跟大家讲解下如何部署单机Kafka集群,希望大家喜欢 ...
最新文章
- snipaste截图软件滚动截图_截图工具的逆袭,Snipaste 还可以这么玩
- 云计算与星辰大海的结合
- web服务器检测工具
- python自学网站-自学Python网站推荐 从入门到精通
- Csharp: Searching Within a String
- springboot官方文档PDF下载指北
- rf扫描枪_RF枪(RF手持扫描枪)是什么,有什么用途?
- 8086CPU段寄存器笔记
- java读取word目录
- google广告分类
- CodeForces - 1005A . Tanya and Stairways
- JPEG算法解密 JPEG原理详解 (转载 by jinchao)
- 一眼就能看懂的Android自学手册,深度好文
- [K8S]error execution phase preflight: couldn‘t validate the identity of the API Server
- 工作6年多的码农ios职位面试总结(续)
- @media screen and 不起作用原因汇总。(转载)
- python iot hub_IoT Hub入门(2)-设备发送消息到云端(d2c)
- 解决 Unable to determine application id: com.android.tools.idea.run.ApkProvisionException
- 再度公开少林内修心法(易筋经和洗髓经)欢迎转载,让全人类共享学习,过得更健康!
- python模拟登录qq账号密码_python3.2模拟登录webqq