Kafka_producer

1、将日志数据收集并发送到Kafka topic中(循环周期CEL\Time)

//创建producer对象Properties props = new Properties();props.put("metadata.broker.list", "node1:9092,node2:9092,node3:9092");//属性设置props.put("serializer.class", "kafka.serializer.StringEncoder"); //属性设置props.put("request.required.acks", "1");//属性设置ProducerConfig config = new ProducerConfig(props);Producer<String, String> producer = new Producer<String, String>(config);//创建reader对象  reader 对象中自己封装了1、读取最后一行 2、将数据存入一维数组 3、日期转换 等方法Reader reader = new Reader();double[] rtData;String rtmsg;while (true) {long time = System.currentTimeMillis();for (String tagName : tags) {rtData = reader.getrtdata(tagName, DataPath);rtmsg = tagName + " " + rtData[0] + " " + rtData[1] + " " + rtData[2] + " " + rtData[3] + " " + rtData[4] + " " + rtData[5];String ip = "";try {ip = InetAddress.getLocalHost().getHostAddress();} catch (UnknownHostException e) {// TODO Auto-generated catch blocke.printStackTrace();}KeyedMessage<String, String> data = new KeyedMessage<String, String>("test2", ip, rtmsg);//数据格式producer.send(data);发送到topic}long _long = System.currentTimeMillis()-time;System.out.println(_long);Utils.sleep(CEL\Time-_long);}

Kafka_producer相关推荐

python3各个版本是通用的吗-python3各版本
广告关闭 2017年12月,云+社区对外发布,从最开始的技术博客到现在拥有多个社区产品.未来,我们一起乘风破浪,创造无限可能. 目录编码输入输出中文除法长整形内置函数mapxrangeinitredu ...
kafka Windows客户端Linux服务器---转
原文:http://blog.csdn.net/jingshuigg/article/details/25001979 一.对于服务器端的搭建可以参考上一篇文章:kafka单机版环境搭建与测试服务器 ...
如何从 0 到 1 开发 PyFlink API 作业
简介:以 Flink 1.12 为例,介绍如何使用 Python 语言,通过 PyFlink API 来开发 Flink 作业. Apache Flink 作为当前最流行的流批统一的计算引擎,在实时 ...
python连接kafka-python连接kafka生产者，消费者脚本
#-*- coding: utf-8 -*- """"" 使用kafka-Python 1.3.3模块 # pip install kafka==1. ...
消息中间件 --- Kafka快速入门
消息中间件 --- Kafka 快速入门消息中间件:https://blog.51cto.com/u_9291927/category33 GitHub: GitHub - scorpiostudi ...
Python 操作 Kafka --- kafka-python
kafka-python:https://github.com/dpkp/kafka-python kafka-python 文档:https://kafka-python.readthedocs.i ...
CentOS7 搭建Kafka消息队列环境，以及Python3操作Kafka Demo
Kafka适合什么样的场景? 它可以用于两大类别的应用: 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据. (相当于message queue) 构建实时流式应用程序,对这些流数据进行转换或 ...
我们使用 Kafka 生产者在发消息的时候我们关注什么（Python 客户端 1.01 broker）...
之前使用 Kafka 的客户端消费者比较多一点,而且也是无脑订阅使用也没有深入了解过具体的参数.总的来说使用不够细节. 这次公司项目活动期间暴露非常多的问题,于是有了这篇文章. 首先我们来拆解一下 K ...
利用selenium 爬取豆瓣武林外传数据并且完成数据可视化情绪分析
全文的步骤可以大概分为几步: 一:数据获取,利用selenium+多进程(linux上selenium 多进程可能会有问题)+kafka写数据(linux首选必选耦合)windows直接采用的是写my ...

Kafka_producer

1、将日志数据收集并发送到Kafka topic中(循环周期CEL\Time)

Kafka_producer相关推荐

最新文章

热门文章