最近,因为上级主管部门需要通过使用Kafka向其传输文件,又因为此前没有接触过kafka,所以在部署测试kafka程序期间遇到很多问题,在这里总结4个问题与1个建议,方便入门者参考也便于遇到类似问题进行查阅完善。

1.Kafka java代码与Kafka 软件的关系

Kafka java代码与Kafka 软件之间究竟有什么关系呢?Kafka java代码中已经使了kafka-clients-0.8.2.1.jar,kafka_2.11-0.8.2.1.jar,那么还需要安装kafka_2.11-0.10.2.1么?并可Kafkaproducer.properties已经包含了Kafka软件中 server.propertiy zookeeper.connect,等等属性,那么是不是可以取代Kafka 软件了呢?

Kafka 软件:目前使用版本为kafka_2.11-0.10.2.1,\kafka_2.11-0.10.2.1\bin\windows,可启动Kafka,可创建Topic,可启动一个生产者进程来发送消息,也可以启动一个消费者进程来消费消息,见下:

#创建topic
bin\windows\kafka-topics.bat --create --zookeeper 101.201.177.100:2181 --replication-factor 1 --partitions 1 --topic mytest-topic
#启动一个生产者进程来发送消息
bin\windows\kafka-console-producer.bat --broker-list 101.201.177.100:9092 --topic mytest-topic
#启动一个消费者进程来消费消息
bin\windows\kafka-console-consumer.bat --zookeeper localhost:2181 --topic my-topic --from-beginning

Kafka java代码:用于编写Kafka的Producer端与Consumer端,完成消息的发送与接收;

区别:也就是Kafka java代码运行,离不开Kafka 软件,因为是调用Kafka 软件中的kafka-console-consumer.bat、kafka-console-producer.bat;

2.ZooKeeper与Kafka 软件的关系

zooKeeper集群与Kafka集群之间有什么关系,之前一位对Kafka有所研究的朋友说,作为Kafka的客户端,只需要在此机安装Zookeeper就可以了?然而,在参考各种Kafka集群配置的时候有每台机器都部署zookeeper与kafka的,也有只有1台部署zookeeper的(同时部署Kafka),3台部署kafka的;那究竟是怎样的呢?

在读此篇博文,顿觉一语中的 “”Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。” 图文参考 http://www.cnblogs.com/luotianshuai/p/5206662.html;

3.Kafka 单机测试通过,集群部署发送文件失败

单机通过kafka发送文件、接收文件均无问题,根据配置文件修改为远程服务端,却发送失败???期间原因很多,但总结如下:

1.在修改配置文件后,因为运行后会产生新文件,修改配置文件,容易产生新的错误;

2.学会看log,根据log提示的错误,查找问题原因,或百度找到解决方法;也需要学会判断判断程序是否正确启动。

3.Kafka配置时host主机名字不能设置为127.0.0.1 !!!困扰了我18个小时的原因

4.Kafka 测试

为了避免重复的额部署、测试,程序能够使用,测试环境是必不可少的啦,建议测试方法如下:

配置本地环境测试与生产环境测试的程序、与配置文件、启动命令;

更建议本地使用编程工具(比如 Idea)进行调试,因为编程工具运行起来不需要部署,贼方便哦;

本地测试OK,进行生产环境测试,只要您的测试与生产环境相似度很高,也就基本OK啦。

转载于:https://www.cnblogs.com/bide/p/7081230.html

Kafka 入门之集群部署遇到问题相关推荐

  1. linux下kafka与zookeeper集群部署

    *********************************配置主机名,通过主机名连接机器********************************* 比如说,已经有了三台主机 1,在li ...

  2. Kubernetes(k8s)入门及集群部署文档

    文章目录 一.k8s 快速入门 简介 部署方式的进化 k8s能做什么 架构 整体主从方式 Master 节点架构 Node 节点架构 概念 快速体验 流程叙述 二.k8s 集群安装 前置要求 了解ku ...

  3. zookeeper学习笔记(一)--快速入门与集群部署

    分布式文件存储FASTDFS 目录 概 述 小结 参考资料和推荐阅读 LD is tigger forever,CG are not brothers forever, throw the pot a ...

  4. zookeeper+kafka集群部署+storm集群

    zookeeper+kafka集群部署+storm集群 一.环境安装前准备: 准备三台机器 操作系统:centos6.8 jdk:jdk-8u111-linux-x64.gz zookeeper:zo ...

  5. Hyperledger Fabric 1.4 Kafka集群部署教程

    Hyperledger Fabric 1.4 Kafka集群部署教程 作者:区块链教程 时间:2019/12/08 10:36 标签:Docker ComposeDockerYMLHyperledge ...

  6. Kafka集群部署详细步骤(包含zookeeper安装步骤)

    Kafka集群部署 注意:如果jdk1.8和zookeeper都安装设置过之后可以直接安装kafka跳过其它步骤 kafka基础简介及基本命令 1.环境准备 1.1集群规划 node01  node0 ...

  7. Linux下搭建 kafka集群 + zookeeper集群部署 安装、启动、停止

    文章目录 一.环境部署总览 1. 软件版本选型 2. 服务器软件部署总览 二.软件部署手册 2.1. JDK 2.2. kafka 2.3. Kafka Eagle 2.4. mysql 2.5. z ...

  8. Kafka集群部署搭建完美标准版

    Kafka集群部署并启动 在本文中将从演示如何搭建一个Kafka集群开始,然后简要介绍一下关于Kafka集群的一些基础知识点.但本文仅针对集群做介绍,对于Kafka的基本概念不做过多说明,这里假设读者 ...

  9. kafka学习总结之集群部署和zookeeper

    1.  集群部署 kafka集群的瓶颈主要在网络和磁盘上:kafka依赖于zookeeper,zookeeper集群的节点采用奇数个,3个节点允许一个节点失败,5个节点允许2个节点失败. 图 1 ka ...

最新文章

  1. TorchVision中通过AlexNet网络进行图像分类
  2. 全球顶级语音技术比赛中获双料冠军,这家中国公司靠什么?
  3. ssrf 服务器端请求伪造 简介
  4. python导出json
  5. linux常用命令解析
  6. Scala基于Akka模拟Spark Master Worker进程间通信(二):Worker定时向Master心跳
  7. 计算机电缆2x2x1.5,计算机电缆djypvp1x2x1.5
  8. 三星核S5PV210AH-A0 SAMSUNG
  9. 盘点分库分表中,你一定要避开的那些坑!
  10. 双屏鼠标经常跑到副屏_这个电脑的双屏幕,让我重新找回了修图的乐趣
  11. [译] Scala 类型的类型(一)
  12. 堆排序(heap sort)
  13. 基于Python实现相关分析案例
  14. 浅谈最近公共祖先(LCA)
  15. 组件源码——拖动条Slider
  16. 服务器操作系统本备份,服务器操作系统本备份
  17. 游戏爱好者如何选购计算机,通俗易懂,游戏本该怎么挑
  18. Android股票列表联动
  19. Oracle11g RAC 启动流程梳理(二)OHASD简析和启停实验
  20. C#通信,结构体和byte数组互转

热门文章

  1. Mysql数据库的使用总结之ERROR 1146 (42S02)
  2. ie11 不能调试 因为 ie的bug
  3. chrome开发总结(交互/权限/存储)-爬虫
  4. Ubuntu常用安装源
  5. [转]IP动态切换脚本
  6. 算法导论练习 10.4-5及12.1-3
  7. Docker在window系统中的安装
  8. Android Weekly Notes Issue #225
  9. 团队冲刺站立会议03
  10. tail实时监控日志qps