Python操作Kafka例子

Kafka作为消息中间件是非常受欢迎的，对应Python库名为kafka-python；

import json
import traceback
from kafka.errors import kafka_errors
from kafka import KafkaProducer, KafkaConsumerproducer = KafkaProducer(bootstrap_servers=['localhost:9092'], key_serializer=lambda key: json.dumps(key).encode(),value_serializer=lambda value: json.dumps(value).encode())for i in range(3):msg = 'message ' + str(i)future = producer.send('kafka_topic', key='count', value=msg)  print(f"send {msg}")try:future.get(timeout=10)    # 看是否发送成功           except kafka_errors:traceback.print_exc()

上段为Kafka生产者，下段对应Kafka消费者，KafkaConsumer会进入持续接收状态；

consumer = KafkaConsumer('kafka_topic', bootstrap_servers=['localhost:9092'], group_id='test')
for msg in consumer:print(f"receive, key: {json.loads(msg.key.decode())}, value: {json.loads(msg.value.decode())}")

Python操作Kafka例子相关推荐

Python 操作 Kafka --- kafka-python
kafka-python:https://github.com/dpkp/kafka-python kafka-python 文档:https://kafka-python.readthedocs.i ...
kafka实战教程(python操作kafka)，kafka配置文件详解
全栈工程师开发手册 (作者:栾鹏) 架构系列文章应用往Kafka写数据的原因有很多:用户行为分析.日志存储.异步通信等.多样化的使用场景带来了多样化的需求:消息是否能丢失?是否容忍重复?消息的吞吐量 ...
Python操作kafka实现数据定时推送和获取，并解决中文乱码问题
上篇介绍了kafka环境的搭建以及实现了Python如何简单操作kafka.本篇实现如何定时向kafka推送和接收数据,并解决了中文乱码问题. 设置Producer每隔5秒推送一次数据,Consume ...
Python操作Kafka爬坑
组内做大数据,需要kafka写入数据,最近在看python正好,练练手,网上找了一圈,都是用的pykafka,经过一整圈的安装,最终搞定,代码如下 #coding:u8 import sys impo ...
python使用kafka原理详解_Python操作Kafka原理及使用详解
Python操作Kafka原理及使用详解一.什么是Kafka Kafka是一个分布式流处理系统,流处理系统使它可以像消息队列一样publish或者subscribe消息,分布式提供了容错性,并发处理 ...
使用Python读写kafka
目录 1. Kafka安装与使用 1.1 下载 1.2 安装 1.3 配置 1.4 运行 1.4.1 启动zookeeper 1.4.2 启动kafka 1.5 第一个消息 1.5.1 创建一个top ...
使用python读取kafka实时topic数据demo，包括安装kafka module
1. 安装kafka module kafka-python安装,转载:https://blog.csdn.net/see_you_see_me/article/details/78468421 1. ...
知识图谱实战（03）：python操作neo4j实战
Python操作Neo4j例子(官方版本) Neo4j的Python版本驱动 Neo4j 提供了一个Python版本的驱动包,用来连接Neo4j数据库,从而完成图数据库的增删改查操作. 1.安装指定版 ...
python连接excel存放数据_有了这篇python操作Excel学习笔记，以后储存数据办公很轻松！...
最近在做一些数据处理和计算的工作,因为数据是以.csv格式保存的,因此刚开始直接用Excel来处理.但是做着做着发现重复的劳动其实并没有多大的意义,于是就想着写个小工具帮着处理.以前正好在一本书上看到 ...
Python操作数据库之 MySQL
Python操作数据库之MySQL 一.安装Python-MySQLdb模块 Python-MySQLdb是一个操作数据库的模块,Python 通过它对 mysql 数据实现各种操作. 如果要源码安装 ...

Python操作Kafka例子

Python操作Kafka例子相关推荐

最新文章

热门文章