有3台kafka集群broker,以下ip地址均属杜撰,仅仅做举例用

hostname 内网ip 外网Ip
kafka1 10.0.0.1 139.0.0.1
kafka2 10.0.0.2 139.0.0.2
kafka3 10.0.0.3 139.0.0.3

配置hosts方式

本来kafka集群配置的listener参数如下:

# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://10.0.0.1:9092

然后配置了内网访问kafka集群机子的hosts文件,配置kafka集群内网地址和hostname的映射关系以及外网访问kafka集群机子的hosts文件,配置kafka集群内网地址和hostname的映射关系
结果发现内网能正常访问kafka集群,外网访问不了!

那么怎么解决呢?

采取如下解决方案,成功处理掉问题!!!
注释如上listener配置,然后打开下面的advertised listener配置:

# The address the socket server listens on. It will get the value returned from
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
#listeners=PLAINTEXT://10.0.0.1:9092# Hostname and port the broker will advertise to producers and consumers. If not set,
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://kafka1:9092

然后在内网需要连接kafka集群的机子上配上kafka集群的hostname和内网ip地址对应关系
在外网需要连接kafka集群的机子上配上kafka集群的hostname和外网ip地址对应关系即可

不需要配置hosts方式

直接屏蔽listener配置,然后advertised.listeners处改用监听外网ip方式,然后内网连接的时候仍然用内网kafka集群地址,外网用外网地址,不需要重新配置hosts映射

更新注意事项:经过一段时间线上测试,发现配置监听外网ip方式实现内外网都访问,有安全隐患,并且kafka集群之间节点的连接会走外网, 网络抖动,导致服务出现不可用,因此按需选择

kafka集群如何内外网均可访问相关推荐

  1. Kafka集群无法外网访问问题解决攻略

    Kafka无法集群外网访问问题解决方法   讲解本地消费者和生产者无法使用远程Kafka服务器的处理办法 服务搭建好Kafka服务后,机本.测试 OK,外面机器却无法访问,很是怪异. 环境说明:   ...

  2. kafka集群的搭建

    本系列文章主要阐述大数据计算平台相关框架的搭建,包括如下内容: 基础环境安装 zookeeper集群的搭建 kafka集群的搭建 hadoop/hbase集群的搭建 spark集群的搭建 flink集 ...

  3. kafka集群原理介绍

    kafka集群原理介绍 @(KAFKA)[kafka, 大数据] kafka集群原理介绍 一基础理论 二配置文件 一java调优 二参数说明 三错误处理 四zookeeper中的内容 1brokers ...

  4. 避坑指南:Kafka集群快速扩容的方案总结

    什么是数据迁移 Apache Kafka 对于数据迁移的官方说法是分区重分配.即重新分配分区在集群的分布情况.官方提供了kafka-reassign-partitions.sh脚本来执行分区重分配操作 ...

  5. KafKa集群安装、配置

    一.事前准备 1.kafka官网:http://kafka.apache.org/downloads. 2.选择使用版本下载. 3.kafka集群环境准备:(linux) 192.168.145.12 ...

  6. 安装搭建kafka集群

    文章目录 一.简介 二.kafka架构 三.kafka安装部署 四.启动kafka集群 五.测试 一.简介 Kafka,分布式的消息队列系统(Message Queue)官网:https://kafk ...

  7. Zookeeper+kafka集群搭建,问题(zoo.cfg file is running,it‘s probably not running,option ‘UseCompressedOops‘)

    1. 下载Zookeeper 1.1 从Zookeeper官网选择对应版本下载,我这边是3.4.5,如下图. 1.2 将下载的压缩包拉到要安装集群主机的 /usr/local 目录(你也可以进入 /u ...

  8. Kafka学习之(五)搭建kafka集群之Zookeeper集群搭建

    Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kaf ...

  9. kafka 集群_单机版kafka集群部署

    前言 分布式消息队列是大型分布式系统不可缺少的中间件,主要解决应用耦合.异步消息.流量削锋等问题.实现高性能.高可用.可伸缩和最终一致性架构. 今天跟大家讲解下如何部署单机Kafka集群,希望大家喜欢 ...

最新文章

  1. snipaste截图软件滚动截图_截图工具的逆袭,Snipaste 还可以这么玩
  2. 云计算与星辰大海的结合
  3. web服务器检测工具
  4. python自学网站-自学Python网站推荐 从入门到精通
  5. Csharp: Searching Within a String
  6. springboot官方文档PDF下载指北
  7. rf扫描枪_RF枪(RF手持扫描枪)是什么,有什么用途?
  8. 8086CPU段寄存器笔记
  9. java读取word目录
  10. google广告分类
  11. CodeForces - 1005A . Tanya and Stairways
  12. JPEG算法解密 JPEG原理详解 (转载 by jinchao)
  13. 一眼就能看懂的Android自学手册,深度好文
  14. [K8S]error execution phase preflight: couldn‘t validate the identity of the API Server
  15. 工作6年多的码农ios职位面试总结(续)
  16. @media screen and 不起作用原因汇总。(转载)
  17. python iot hub_IoT Hub入门(2)-设备发送消息到云端(d2c)
  18. 解决 Unable to determine application id: com.android.tools.idea.run.ApkProvisionException
  19. 再度公开少林内修心法(易筋经和洗髓经)欢迎转载,让全人类共享学习,过得更健康!
  20. python模拟登录qq账号密码_python3.2模拟登录webqq

热门文章

  1. 形态学运用(去除图像噪点,提取水平线,垂直线)--OPenCV08
  2. 中国老百姓一生要交多少税?
  3. esxi下搭建软路由
  4. 【我奶奶都能看懂系列005】☀️python基础语法——容器,小学生也可以学!
  5. 我的谷歌变成了金色传说!
  6. 嵌入式入门基础知识有哪些?
  7. 【华人学者风采】马帅 北京航空航天大学
  8. 抓取淘宝天猫的商品的促销价格
  9. 应用场景一:西门子PLC通过桥接器连接MQTT服务器
  10. FAST-LIO,FAST-LIO2与FASTER-LIO