pykafka连接重要使用pykafka，kafka-python的api开发kafka生产者和消费者

https://pykafka.readthedocs.io/en/latest/api/producer.html
说明文档

                                </div><h2 class="header">python通过Pykafka库来连接kafka并收发消息<div class="ui teal label horizontal" data-tooltip="原创">原</div></h2><div class="extra ui horizontal list meta-wrap"><div class="item"><a href="https://my.oschina.net/u/2263272" class="__user">                        <div class="osc-avatar small-portrait _35x35 avatar" title="啊哈关关" data-user-id="2263272"><img src="https://static.oschina.net/uploads/user/1131/2263272_50.jpeg?t=1496295926000" alt="啊哈关关" title="啊哈关关"></div>&nbsp;<span>啊哈关关</span></a>发布于 2016/11/15 11:31</div><div class="item">字数 444</div><div class="item">阅读 9146</div><div class="item collect-btn " data-id="788006" data-user-id="2263272" data-obj-type="3" data-max="99" data-tag-required="" data-current-user-id="" data-recommend-tags="Kafka,Python,pykafka">收藏 <span data-collect-count="" data-id="788006" data-obj-type="3">1</span></div><div class="item"><a class="normal like article-like " data-id="788006">点赞 <span data-article-like-count="">1</span></a></div><div class="item comment-count"><a href="#comments" class="normal"><i class="comment outline icon"></i> 评论 <span data-article-reply-count="">1</span></a></div></div><div class="tags"><a class="ui horizontal label" href="https://my.oschina.net/u/2263272?q=Kafka">Kafka</a><a class="ui horizontal label" href="https://my.oschina.net/u/2263272?q=Python">Python</a><a class="ui horizontal label" href="https://my.oschina.net/u/2263272?q=pykafka">pykafka</a>                            </div><div class="content" id="articleContent"><div class="ad-wrap"><p style="margin:0 0 10px 0;"><a data-traceid="blog_detail_above_text_link_1" data-tracepid="blog_detail_above_text_link" style="color:#A00;font-weight:bold;" href="https://my.oschina.net/u/2663968/blog/3120060" target="_blank">同样是后端开发，年薪50万和年薪20万的差距在哪里&gt;&gt;&gt; </a>  <img src="https://www.oschina.net/img/hot3.png" align="absmiddle" style="max-height: 32px; max-width: 32px;"></p></div><p><strong>1.安装pykafka</strong></p>

pip install pykafka

2.下载安装

git clone https://github.com/Parsely/pykafka.git

然后将下载下来的pykafka文件夹下的pykafka文件（pykafka的库文件）放到/Library/Python/2.7/site-packages/路径下即可

3.假设你有至少一个卡夫卡实例在本地运行，你可以使用pykafka连接它。

consumer.py 消费者

#!/usr/bin/python
# -*- coding:utf-8 -*-
from pykafka import KafkaClient

#kafka默认端口为9092
client = KafkaClient(hosts=‘192.168.1.140:9092,192.168.1.141:9092,192.168.1.142:9092’)#这里连接多个客户端
topic = client.topics[‘test_kafka_topic’]

#从zookeeper消费，zookeeper的默认端口为2181
balanced_consumer = topic.get_balanced_consumer(
consumer_group=‘test_kafka_group’,
auto_commit_enable=True, # 设置为False的时候不需要添加consumer_group，直接连接topic即可取到消息
zookeeper_connect=‘192.168.1.140:2181,192.168.1.141:2181,192.168.1.142:2181’#这里就是连接多个zk
)

for message in balanced_consumer:
# print message
if message is not None:
print message.offset, message.value#打印接收到的消息体的偏移个数和值

producer.py 生产者

#!/usr/bin/python
# -*- coding:utf-8 -*-

from pykafka import KafkaClient

client = KafkaClient(hosts =“192.168.1.140:9092,192.168.1.141:9092,192.168.1.142:9092”) #可接受多个client
#查看所有的topic
client.topics
print client.topics

topic = client.topics[‘test_kafka_topic’]#选择一个topic

message =“test message test message”
#当有了topic之后呢，可以创建一个producer,来发消息，生产kafka数据,通过字符串形式，
with topic.get_sync_producer() as producer:
producer.produce(message)
#The example above would produce to kafka synchronously -
#the call only returns after we have confirmation that the message made it to the cluster.
#以上的例子将产生kafka同步消息，这个调用仅仅在我们已经确认消息已经发送到集群之后

#但生产环境，为了达到高吞吐量，要采用异步的方式，通过delivery_reports =True来启用队列接口；
with topic.get_sync_producer() as producer:
producer.produce(‘test message’,partition_key=’{}’.)
producer=topic.get_producer()
producer.produce(message)
print message

                                    </div></div><div class="ui hidden divider"></div><p style="text-align:center;">© 著作权归作者所有</p></div>

本文链接：https://blog.csdn.net/learn_tech/article/details/81115996

         <!--一个博主专栏付费入口结束--><link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-d284373521.css"><link rel="stylesheet" href="https://csdnimg.cn/release/phoenix/template/css/ck_htmledit_views-d284373521.css"><div class="htmledit_views" id="content_views"><p><strong>转载地址：</strong><a href="https://blog.csdn.net/ricky110/article/details/79157043" rel="nofollow" data-token="e71796bcb09ebee8196ab936461e656a">https://blog.csdn.net/ricky110/article/details/79157043</a></p>

http://www.taodudu.cc/news/show-64229.html

apache镜像源
kafka+zookeeper搭建步骤kafka问题
linux模拟器 cygwin源
linux下使用source /etc/profile保存配置后，新的环境变量只能在一个终端里面有效
linux 问题
dataframe 转json
python：Json模块dumps、loads、dump、load介绍
virtualenv创建虚拟环境为主_多版本
python性能分析之line_profiler模块-耗时,效率时间
snagit屏幕截图转pdf
什么是采样层（pooling）
彻底解决python打印结果省略号的问题显示宽度
谷歌BERT预训练源码解析（二）：模型构建
PyTorch 学习笔记（六）：PyTorch hook 和关于 PyTorch backward 过程的理解 call
Python __dict__属性详解
Pytorch nn.init 参数初始化方法
Bert代码详解（一）重点详细
Bert代码详解（二）重点
一本读懂BERT(实践篇)重点
pytorch学习中 torch.squeeze() 和torch.unsqueeze()的用法
关于pytorch--embedding的问题
pytorch中的transpose()
view(*args)改变张量的大小和形状_pytorch reshape numpy
gelu
【PyTorch学习笔记】4：在Tensor上的索引和切片
Ramsey定理数学
如何将模糊的扫描版pdf转为清晰的pdf或word_pdf问题小结
Python怎么利用多核cpu
使用Pycharm给Python程序传递参数
获取准确路径目录

pykafka连接重要使用pykafka，kafka-python的api开发kafka生产者和消费者相关推荐

kafka学习总结（含java生产者、消费者、Topic操作代码）
kafka(http://kafka.apache.org)是一款分布式消息发布和订阅的系统,具有高性能和高吞吐率.它的优点是能够直接使用磁盘进行存储.线性读写.速度快,避免了数据在JVM内存和系统内 ...
python怎么连接前端_前端调用Python后端API的小贴士
前言: 在仿造廖雪峰的大作业做一个博客教程的过程中,我发现后端要利用jinja模板渲染然后前端还需要什么VUE的屌丝玩儿,而这让我在原先项目上直接写html代码然后调用API 的RESTFUL 很 ...
python 多线程并发编程（生产者、消费者模式），边读图像，边处理图像，处理完后保存图像实现提高处理效率
文章目录需求实现先导入本次需要用到的包一些辅助函数如下函数是得到指定后缀的文件如下的函数一个是读图像,一个是把RGB转成BGR 下面是主要的几个处理函数在上面几个函数构建对应的处理函数 ...
2021年大数据Kafka（三）：❤️Kafka的集群搭建以及shell启动命令脚本编写❤️
全网最详细的大数据Kafka文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章 Kafka的集群搭建以及shell启动命令脚本编写一.搭建 ...
pythonspark实践_基于Python的Spark Streaming Kafka编程实践
版权声明:本文为CSDN博主原创文章,未经博主允许不得转载. 说明 Spark Streaming的原理说明的文章很多,这里不做介绍.本文主要介绍使用Kafka作为数据源的编程模型,编码实践,以及一些 ...
python kafka消费实时数据,python生产和消费kafka数据
安装kafka-python pip install kafka-python 生产者 from kafka import KafkaProducer # 有时候导入包会报错,使用pip uninst ...
kafka python 性能_使用 Python 监控 Kafka Consumer LAG
我在要完成这个需求的时候大概有两个思路. 第一种方法: 我们直接使用 Kafka 提供的 bin 工具,去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来.例如: 我们可以起个远程的 ...
python flink kafka_Apache Flink:Python流API中的Kafka连接器，“无法加载用户类” - python...
我正在尝试Flink的新Python流API,并尝试使用./flink-1.6.1/bin/pyflink-stream.sh examples/read_from_kafka.py运行我的脚本. p ...
python连接plc_Python与PLC踩坑实录：成功解决西门子 PLC S7-200_SMART与PC连接时不能同时用Python的snap7包和step7软件同时连接...
解决西门子 PLC S7-200_SMART与PC连接时不能同时用Python的snap7包和step7软件同时连接问题描述在与西门子 PLC(型号S7-200_SMART)进行Python编程操 ...

pykafka连接重要使用pykafka，kafka-python的api开发kafka生产者和消费者

相关文章：

pykafka连接重要使用pykafka，kafka-python的api开发kafka生产者和消费者相关推荐

最新文章

热门文章