1.下载并解压至/app/

官网下载地址:http://kafka.apache.org/downloads

https://archive.apache.org/dist/kafka/1.1.1/kafka_2.11-1.1.1.tgz

2.配置环境变量

[hadoop@hadoop000 tmp]$ vi ~/.bash_profile

export KAFKA_HOME=/home/hadoop/app/kafka_2.11-1.1.1
export PATH=$KAFKA_HOME/bin:$PATH

[hadoop@hadoop000 tmp]$ source ~/.bash_profile

3.修改配置文件

[hadoop@hadoop000 config]$ vi server.properties

host.name=hadoop000
log.dirs=/home/hadoop/app/tmp/kafka-logs
zookeeper.connect=hadooop000:2181

4.启动server

参照:http://kafka.apache.org/quickstart
前提:启动zookeeper
然后:启动kafka

[hadoop@hadoop000 config]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

[hadoop@hadoop000 ~]$ jps -m

5.创建和查看topic

查看帮助:
[hadoop@hadoop000 config]$  kafka-topics.sh

创建:zookeeper

kafka-topics.sh --create --create --zookeeper hadoop000:2181 --replication-factor 1 --partitions 1 --topic hello_topic

查看有哪些topic:zookeeper

kafka-topics.sh --list --zookeeper hadoop000:2181

查看所有topic的信息:

kafka-topics.sh --describe --zookeeper hadoop000:2181

查看单个topic的信息:

kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic hello_topic

6.发送消息和消费消息

发送消息:broker

kafka-console-producer.sh --broker-list hadoop000:9092 --topic hello_topic

消费消息:zookeeper

kafka-console-consumer.sh --zookeeper hadoop000:2181 --topic hello_topic --from-beginning

如果上面报错，可能是Kafka版本过低，那么为替换为下面的代码

kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mapengsen_topic

–from-beginning:表示从头开始消费,每次打开控制台以前的消息还会收到

txt文档：

python生产者，java消费者redies
granfan
influx
mysql==>弄过去kafka-topics.sh --create --create --zookeeper 39.105.171.192:2181 --replication-factor 1 --partitions 10 --topic schoolsensorsTopic发送消息
kafka-console-producer.sh --broker-list 39.105.171.192:9092 --topic test001_topic收到消息
kafka-console-consumer.sh --bootstrap-server 39.105.171.192:9092 --topic sensorsTopic查看单个topic的信息
kafka-topics.sh --describe --zookeeper localhost:2181 --topic sensorsTopic
kafka-topics.sh --alter  --zookeeper localhost:2181  --topic test02  --partitions 10查看所有的topic
kafka-topics.sh --list --zookeeper 39.105.171.192:2181启动
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties
[hadoop@hadoop000 bin]$ ./zkServer.sh start

Kafka单节点单broker的部署和使用相关推荐

Kafka单节点多broker的部署和使用
拷贝配置文件三份:[hadoop@hadoop000 config]$ cp server.properties server-1.properties[hadoop@hadoop000 config ...
单节点mongodb的安装部署和授权的总结
单节点mongodb的安装部署和授权的总结 1. 到mongodb官网下载对应系统的压缩包,我下载的是mongodb-linux-x86_64-3.4.19.tgz版本,官网链接https://www ...
Elasticsearch——Windows下ES集群部署 Linux下ES单节点、集群部署
1.开篇在之前的两篇文章中,说白了就是在windows下部署的ES单节点的环境. 这篇文章主要是说一下windows下部署ES集群.Linux下单节点部署. 单台 Elasticsearch 服务器 ...
统信UOS系统Kafka_2.13-2.5.0单节点安装包方式部署
1.安装包官网下载地址:Apache Kafkahttps://kafka.apache.org/downloads 2.将安装包放到/usr/local/目录下,并进行解压 tar -zxvf 文件 ...
Hadoop1.0.4单节点StandAlone及Pseudo-Distributed部署方法
环境: centos6.2 jdk1.6 hadoop-1.0.4.tar.gz required software 1.java 1.6.x 2.ssh must be installed and ...
k8s二进制单节点部署
k8s二进制单节点部署常见的k8s部署方式 Kubernetes二进制部署(单节点) 环境准备部署etcd集群(这里就不在单独的服务器上部署,直接部署在各节点上,节省资源) 下载证书制作工具利用 ...
OpenShift 4 - 在单节点 OpenShift 上部署 ODF 存储软件
<OpenShift / RHEL / DevSecOps 汇总目录> 说明:本文已经在支持 OpenShift 4.12 的 OpenShift Local 环境中验证文章目录什么是 ...
使用cephadm部署单节点ceph集群，后期可扩容（基于官方文档，靠谱，读起来舒服）
目录 ceph各种部署工具比较(来自官方文档的翻译,靠谱!) 材料准备 cephadm使用条件服务器有外网访问能力服务器没有外网访问能力安装cephadm cephadm的功能两种安装方式基 ...
①RabbitMQ 消息中间件/消息队列、单节点、集群、镜像集群
文章目录 RabbitMQ 消息中间件/消息队列 1.消息中间件 1.简介 2.作用消息中间件的两种模式 P2P模式 Rabbitmq Pub/Sub模式(发布/订阅:Topic,可以重复消费) K ...

Kafka单节点单broker的部署和使用

文章目录