mac下kafka环境搭建测试

kafka介绍：https://blog.csdn.net/see_you_see_me/article/details/78468108

1、安装工具brew install kafka 会自动安装依赖zookeeper

2、安装配置文件位置 /usr/local/etc/kafka|zookeeper

3、启动 zookeeper

cd /usr/local/Cellar/kafka/0.10.0.1

./bin/zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &

4、启动kafka服务

./bin/kafka-server-start /usr/local/etc/kafka/server.properties &

5、创建topic

./bin/kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test1

6、查看创建的topic

./bin/kafka-topics --list --zookeeper localhost:2181

7、生产数据

./bin/kafka-console-producer --broker-list localhost:9092 --topic test1

8、消费数据

./bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test1--from-beginning

下面给出一个python代码演示demo，首先保证你已经安装python-kafak。

创建生产者：procucer.py

from kafka import KafkaProducer
import time
import logging
import syslogging.basicConfig(stream=sys.stdout,level=logging.INFO,format='%(asctime)s.%(msecs)d %(filename)s[line:%(lineno)d] %(levelname)s: %(message)s',datefmt='%Y/%m/%d %H:%M:%S'
)log = logging.getLogger('kafka demo')def list_file():while True:log.info("===>>>running")time.sleep(2)producer.send('world',key=b'foo', value=b'bar')producer.flush()if __name__ == '__main__':producer = KafkaProducer(bootstrap_servers='localhost:9092')list_file()producer.close()

创建消费者：consumer.py

# -*- encoding=utf-8 -*-
from kafka import KafkaConsumer
import logging
import syslogging.basicConfig(stream=sys.stdout,level=logging.INFO,format='%(asctime)s.%(msecs)d %(filename)s[line:%(lineno)d] %(levelname)s: %(message)s',datefmt='%Y/%m/%d %H:%M:%S'
)log = logging.getLogger('kafka demo')if __name__ == '__main__':consumer = KafkaConsumer('world', group_id='consumer-20171017', bootstrap_servers=['localhost:9092'])for msg in consumer:recv = "%s:%d:%d: key=%s value=%s" % (msg.topic, msg.partition, msg.offset, msg.key, msg.value)log.info(recv)

然后，分别运行这2个文件就可以模拟了。

完整源代码：https://github.com/sujeek/python_data_stract/tree/master/src/pds/python_kafka/py_kafka_demo1

参考：

1. https://kafka-python.readthedocs.io/en/master/index.html

2.https://github.com/dpkp/kafka-python/blob/master/docs/index.rst

mac下kafka环境搭建测试相关推荐

mac 本地php环境搭建,mac下php环境搭建的方法
mac下php环境搭建的方法是:首先切换到root用户:然后查看80端口是否被占用:接着开启apache,并在"httpd.conf"中开启php模块:最后编写php代码进行测试即 ...
简单易行的用windows系统虚拟苹果mac操作系统 mac下android环境搭建笔记(android studio)
作者:韩梦飞沙 QQ:313134555 ios模拟器电脑版中文版(iPadian)下载 - 『精品软件区』 - 吾爱破解论坛 - LCG - LSG |安卓破解|病毒分析|破解软件|www.52po ...
Mac下Boost环境搭建
Boost,一个功能强大.跨平台.开源而且免费的C++程序库,可以在其官网了解更多:http://www.boost.org,C++标准经过不断的升级完善,现在已经功能越来越吸引人了,Boost开发过 ...
mac下android环境搭建笔记(android studio)
本文记录了本人在mac上配置android开发环境的一些过程,为了方便直接选用了官方的IDE– Android Studio .本文包括了android studio的安装.创建第一个hello wo ...
windows10下Kafka环境搭建
内容小白,包含JDK+Zookeeper+Kafka三部分. JDK: 1) 安装包:Java SE Development Kit 9.0.1 下载地址:http://www.ora ...
MAC下 ant 环境搭建
(1)官网下载 http://ant.apache.org/bindownload.cgi 我使用的是1.9.4最新版本我一般是将东西放到Document目录具体放到什么位置大家任意啦 (2)解 ...
virtualbox php mac,详解mac下通过docker搭建LEMP环境
在mac下通过docker搭建LEMP环境境 1.安装virtualbox.由于docker是在lxc环境的容器 2.安装boot2docker,用于与docker客户端通讯 > brew up ...
windows kafka环境搭建
Kafuka-windows环境搭建流程说明一.安装JDK 1.JDK下载路: http://www.oracle.com/technetwork/java/javase/downloads/jdk ...
qt工程在linux系统里颜色显示错误_【飞凌嵌入式RK3399开发板试用体验】+QT开发环境搭建测试（二）...
作者:飞扬的青春在拿到开发板之后,已经体验了Android操作系统,接下来就是体验Linux下的开发,本次以QT的一个小案例来测试下. 首先是自己先搭建了一个Ubuntu18．04的虚拟机,使用真机 ...

mac下kafka环境搭建测试

mac下kafka环境搭建测试相关推荐

最新文章

热门文章

mac下kafka环境搭建 测试

mac下kafka环境搭建 测试相关推荐

最新文章

热门文章

mac下kafka环境搭建测试

mac下kafka环境搭建测试相关推荐