Kafka 安装和测试

• 博客分类：
• middleware

1. 简介

kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。

i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。

ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。

iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。

iv. broker端不维护数据的消费状态，提升了性能。

v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。

vi. Kafka使用scala编写，可以运行在JVM上。

2. 安装：

a. 首先安装JRE/JDK

Linux安装JDK

b. 下载kafka

进入下载页面：http://kafka.apache.org/downloads.html

选择Binary downloads下载 （Source download需要编译才能使用）

也可以直接在linux终端下载：

c. 解压

目录：

/bin 启动和停止命令等。 
/config 配置文件 
/libs 类库

d. 修改配置 
Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件

找到如下行：

去除-XX:+UseCompressedOops参数

3. 启动和停止

启动Zookeeper server：

&是为了能退出命令行

启动Kafka server:

停止Kafka server

停止Zookeeper server:

4. 单机连通性测试

运行producer：

早版本的Kafka，--broker-list localhost:9092需改为--zookeeper localhost:2181

运行consumer：

在producer端输入字符串并回车，查看consumer端是否显示。

5. 分布式连通性测试

Zookeeper Server, Kafka Server, Producer都放在服务器server1上，ip地址为192.168.1.10 
Consumer放在服务器server2上，ip地址为192.168.1.12。

分别运行server1的producer和server2的consumer，

在producer的console端输入字符串，consumer报Connection refused错误： 

broker, producer和consumer都注册到zookeeper上，producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上：

host名称没有指定，就是127.0.0.1，consumer去broker拿数据就有问题。设置为192.168.1.10，重启服务就好了。

====================================================================================================

注意:配置的时候一定要把host.name这项打开,写上真是IP,所有的配置项最好都写真是IP,不要写localhost或者127.0.0.1容易出幺蛾子.

还有一个值得注意的问题是,按照上面的说的做,实际操作中发现,consumer消费消息的时候总是出错,我弄了一边又一遍,把zookeeper和kafka的版本换了又换弄了两天才发现需要在系统下配置点东西才行,具体错误就是 

InetAddress.getLocalHost() java.net.UnknownHostException 异常 

java.net.InetAddress.getLocalHost会抛出java.net.UnknownHostException异常.

之类的,Java异常,

解决办法:

在/etc/hosts 文件中添加如下(znskftc是主机名)

127.0.0.1   znskftc

==================================================================

多个broker时,shell版的producer应该链接哪个broker呢(producer和broker没有负载均衡,consumer和broker的负载均衡有zookeeper来负责)?

链接哪个broker都可以的(实测),但是建立topic的时候replication-factor后面的数字要不能小于broker的数目 

bin/kafka-topics.sh --create --zookeeper 172.16.6.78:2181 --replication-factor 1 --partitions 1 --topic test

==================================================================

后记:

若果看了上面的博客搭建还是失败的话,建议看看下面这些视频

kafka 消息处理过程与集群维护:
http://www.jikexueyuan.com/course/2238.html

Kafka 核心源码剖析:
http://www.jikexueyuan.com/course/2362.html

Kafka 基础实战 ：消费者和生产者实例:
http://www.jikexueyuan.com/course/2036.html

kafka的初认识
http://www.jikexueyuan.com/course/1716.html

kafka官方说明文档(英文版,网上大多博客都是翻译这篇文章的):

http://kafka.apache.org/documentation.html#quickstart