Python测试Kafka集群(pykafka)

生产者代码：

# -* coding:utf8 *-
from pykafka import KafkaClient  host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)  print client.topics  # 生产者
topicdocu = client.topics['my-topic']
producer = topicdocu.get_producer()
for i in range(100):  print i  producer.produce('test message ' + str(i ** 2))
producer.stop()

消费者代码：

# -* coding:utf8 *-
from pykafka import KafkaClient  host = 'IP:9092, IP:9092, IP:9092'
client = KafkaClient(hosts = host)  print client.topics  # 消费者
topic = client.topics['my-topic']
consumer = topic.get_simple_consumer(consumer_group='test', auto_commit_enable=True, auto_commit_interval_ms=1,  consumer_id='test')
for message in consumer:  if message is not None:  print message.offset, message.value

转载于:https://www.cnblogs.com/zhangtianyuan/p/7832373.html

Python测试Kafka集群(pykafka)相关推荐

python读写kafka集群(转载+自己验证)
###############################版本信息######################################### 组件/系统版本 Python 3.6 Kaf ...
kafka 集群启动失败：FATAL [KafkaServer id=0] Fatal error during KafkaServer startup.
在测试 kafka 集群时,关闭 kafka 后,再次启动 kafka 集群时,遇到此问题,具体内容如下: FATAL [KafkaServer id=0] Fatal error during Ka ...
大数据之超级详细的KafKa集群搭建过程
大数据大数据之超级详细的KafKa集群搭建过程文章目录大数据大数据之超级详细的KafKa集群搭建过程前言一.Kafka集群配置方法 1.1 将Kafka的安装包上传到虚拟机,并解压(三个虚 ...
Kafka集群安装--测试--关闭
一.前提 1.kafka安装包下载:http://kafka.apache.org/downloads 2.jdk已安装 3.scala已安装 4.zookeeper集群已安装并运行二.步骤 1.对 ...
Kafka集群部署与测试
目录 Kafka集群部署与测试一.安装Kafka 二.启动kafka服务 Kafka集群部署与测试一.安装Kafka ①.Alt+P 拷贝安装包 cd /opt/module tar -zxvf ...
kafka集群下载、启动、部署、测试
文章目录一.kafka基础操作 1. kafka下载 2. 解压 3. 重命名 4. 在kafka目录下创建 data 数据文件夹 5. 修改配置文件 6. 配置kafka环境变量 7. 刷新环境变 ...
Kafka集群间同步数据方案-Flume
Apache Flume 是一个分布式.高可靠.高可用的用来收集.聚合.转移不同来源的大量日志数据到中央数据仓库的工具. 系统要求 Java运行环境 - Java 1.8或更高版本体系结构 Even ...
转-Kafka【第一篇】Kafka集群搭建
转自: https://www.cnblogs.com/luotianshuai/p/5206662.html Kafka[第一篇]Kafka集群搭建 Kafka初识 1.Kafka使用背景在我们大 ...
kafka集群搭建(消息)
1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户的搜索关键词进行 ...
zookeeper 和 kafka 集群搭建
Kafka初识 1.Kafka使用背景在我们大量使用分布式数据库.分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位我想对用户 ...

Python测试Kafka集群(pykafka)

Python测试Kafka集群(pykafka)相关推荐

最新文章

热门文章