Kafka_Zookeeper_环境搭建使用

Kafka 安装和测试

1. 简介

kafka （官网地址：http://kafka.apache.org）是一款分布式消息发布和订阅的系统，具有高性能和高吞吐率。

i. 消息的发布（publish）称作producer，消息的订阅（subscribe）称作consumer，中间的存储阵列称作broker。

ii. 多个broker协同合作，producer、consumer和broker三者之间通过zookeeper来协调请求和转发。

iii. producer产生和推送(push)数据到broker，consumer从broker拉取(pull)数据并进行处理。

iv. broker端不维护数据的消费状态，提升了性能。

v. 直接使用磁盘进行存储，线性读写，速度快：避免了数据在JVM内存和系统内存之间的复制，减少耗性能的创建对象和垃圾回收。

vi. Kafka使用scala编写，可以运行在JVM上。

2. 安装：

a. 首先安装JRE/JDK

Linux安装JDK

b. 下载kafka

进入下载页面：http://kafka.apache.org/downloads.html

选择Binary downloads下载（Source download需要编译才能使用）

也可以直接在linux终端下载：

Shell代码

wget -q http://apache.fayea.com/apache-mirror/kafka/0.8.1/kafka_2.8.0-0.8.1.tgz

c. 解压

Shell代码

tar -xzvf kafka_2.8.0-0.8.1.tgz
rm kafka_2.8.0-0.8.1.tgz
cd kafka_2.8.0-0.8.1

/bin 启动和停止命令等。
/config 配置文件
/libs 类库

d. 修改配置
Kafka默认开启JVM压缩指针，但只是在64位的HotSpot VM受支持，如果安装了32位的HotSpot VM，需要修改/bin/kafka-run-class.sh文件

Shell代码

vi bin/kafka-run-class.sh

找到如下行：

Sh代码

KAFKA_JVM_PERFORMANCE_OPTS="-server -XX:+UseCompressedOops -XX:+UseParNewGC -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+DisableExplicitGC -Djava.awt.headless=true"

去除-XX:+UseCompressedOops参数

3. 启动和停止

启动Zookeeper server：

Shell代码

bin/zookeeper-server-start.sh config/zookeeper.properties &

&是为了能退出命令行

启动Kafka server:

Shell代码

bin/kafka-server-start.sh config/server.properties &

停止Kafka server

Shell代码

bin/kafka-server-stop.sh

停止Zookeeper server:

Shell代码

bin/zookeeper-server-stop.sh

4. 单机连通性测试

运行producer：

Shell代码

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

早版本的Kafka，--broker-list localhost:9092需改为--zookeeper localhost:2181

运行consumer：

Shell代码

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning

在producer端输入字符串并回车，查看consumer端是否显示。

5. 分布式连通性测试

Zookeeper Server, Kafka Server, Producer都放在服务器server1上，ip地址为192.168.1.10
Consumer放在服务器server2上，ip地址为192.168.1.12。

分别运行server1的producer和server2的consumer，

Shell代码

bin/kafka-console-producer.sh --broker-list 192.168.1.10:9092 --topic test

Shell代码

bin/kafka-console-consumer.sh --zookeeper 192.168.1.10:2181 --topic test --from-beginning

在producer的console端输入字符串，consumer报Connection refused错误：

broker, producer和consumer都注册到zookeeper上，producer和consumer的参数明确指定。问题出在broker的配置文件server.properties上：

Properties代码

# Hostname the broker will bind to. If not set, the server will bind to all interfaces
#host.name=localhost

host名称没有指定，就是127.0.0.1，consumer去broker拿数据就有问题。设置为192.168.1.10，重启服务就好了。

转载blog：http://czj4451.iteye.com/blog/2041096

Kafka_Zookeeper_环境搭建使用相关推荐

Anaconda3+python3.7.10+TensorFlow2.3.0+PyQt5环境搭建
Anaconda3+python3.7.10+TensorFlow2.3.0+PyQt5环境搭建一.Anaconda 创建 python3.7环境 1.进入 C:\Users\用户名目录下,找到 ...
Windows10+Anaconda3+Pycharm环境搭建
Windows10+Anaconda3+Pycharm环境搭建一.安装Anaconda3 1.进入 anconda官网,下载Anaconda3 2.安装,选项默认继续安装(可以自行更改安装位置),等 ...
SpringCloud Alibaba微服务实战(一) - 基础环境搭建
说在前面 Spring Cloud Alibaba 致力于提供微服务开发的一站式解决方案.此项目包含开发分布式应用微服务的必需组件,方便开发者通过 Spring Cloud 编程模型轻松使用这些组件来 ...
2021年大数据环境搭建（二）：分布式环境搭建
2021大数据领域优质创作博客,带你从入门到精通,该博客每天更新,逐渐完善大数据各个知识体系的文章,帮助大家更高效学习. 有对大数据感兴趣的可以关注微信公众号:三帮大数据目录分布式环境搭建集群规 ...
2021年大数据Spark（八）：环境搭建集群模式 Standalone HA
环境搭建-Standalone HA 高可用HA Spark Standalone集群是Master-Slaves架构的集群模式,和大部分的Master-Slaves结构集群一样,存在着Master单 ...
2021年大数据Spark（六）：环境搭建集群模式 Standalone
目录环境搭建-Standalone 前言 Standalone 架构集群规划修改配置并分发修改slaves 分发到其他机器修改spark-env.sh 集群启动和 ...
CentOS7环境搭建使用PhpStorm上传代码
一.虚拟机介绍虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的.运行在一个完全隔离环境中的完整计算机系统. 虚拟系统通过生成现有操作系统的全新虚拟镜像,它具有真实win ...
window10 系统上 ecplise 环境搭建
ecplise 安装需要用到 JDK 环境的搭建以及ecplise 的下载这两部完成即可一: JDK环境搭建到官网上下载JDK并且安装即可(下载的时候注意选择Accept License Ag ...
centOS7 LNMP+phpmyadmin环境搭建第三篇phpmyadmin安装
这篇文章主要介绍了CentOS7 LNMP+phpmyadmin环境搭建,第三篇phpmyadmin安装,具有一定的参考价值,感兴趣的小伙伴们可以参考一下之前我们已经安装了lnmp的环境,现在让我们 ...

Kafka_Zookeeper_环境搭建使用

Kafka 安装和测试

Kafka_Zookeeper_环境搭建使用相关推荐

最新文章

热门文章