kafka项目启动_使用Kafka Connect 同步Kafka数据到日志服务

简介

Kafka作为最流行的消息队列，在业界有这非常广泛的使用。不少用户把日志投递到Kafka之后，再使用其他的软件如ElasticSearch进行分析。Kafka Connect 是一个专门用于在Kafka 和其他数据系统直接进行数据搬运插件，如将Kafka数据写入到S3，数据库等。

Kafka Connect

阿里云日志服务是一个日志采集，查询分析与可视化的平台，服务于阿里云上数十万用户。借助于日志服务提供的Kafka Connect插件，我们可以使用Kafka Connect 把Kafka里面的数据同步到阿里云日志服务，利用日志服务强大的查询能力与丰富的可视化图表类型，对数据进行分析与结果展示。

环境准备

如果还没有开通日志服务，前往日志服务控制台开通。
准备测试用的 Kafka 集群。
创建用于访问阿里云日志服务的Access Key。
在日志服务控制台创建Project 和Logstore，并开启索引。

Kafka Connect安装

下载Kafka 日志服务connect 插件并打包：

打包之后，在项目根目录下，会生成一个压缩包 target/kafka-connect-logservice-1.0.0-jar-with-dependencies.jar 。这个文件包含了插件和所有依赖，把这个文件复制到Kafka运行的机器上。

Kafka connect的工作模式分为两种，分别是standalone模式和distributed模式。standalone模式可以简单理解为只有一个单独的worker，只需在启动时指定配置文件即可。而distributed模式可以启动多个worker，可以水平扩展和failover，插件本身的配置通过REST API的方式传递。这里我们为了演示方便仅演示standalone模式，在生产环境中建议使用distributed模式。

启动Connect

1)修改日志服务插件配置文件

在项目目录下config目录内有一个配置文件sink.properties，里面包含了日志服务插件运行所必须的配置信息：

除了放日志服务必需的配置外，还可以指定数据格式。目前日志服务Connector只支持字符串类型的数据，format可以选择 json 或者 raw：

json：每条纪录的value作为一个JSON字符串解析，自动提取字段并写入日志服务。
raw：每条纪录的value作为一个字段，写入日志服务。

2)修改connect配置文件

在Kafka下载目录下，找到 config/connect-standalone.properties，修改如下配置：

plugin.path即为上文构建的jar 所在目录。在Kafka 下载目录内执行启动命令：

生成测试数据

替换其中的Kafka配置：

在IDE中运行产生测试数据的程序，会通过Kafka Producer往Kafka中写入一些模拟数据。

写入结果查询

日志服务控制台查看数据写入成功：

更多精彩

在线看大会！就来云栖号！

揭秘 RocketMQ 新特性以及在金融场景下的实践 动动小手指 这里有采购季最强攻略！

kafka项目启动_使用Kafka Connect 同步Kafka数据到日志服务相关推荐

Spring boot 项目Kafka Error connecting to node xxx:xxx Kafka项目启动异常 Failed to construct kafka consumer
Spring boot 项目Kafka Error connecting to node xxx:xxx Spring boot Kafka项目启动异常新建了一个springBoot集成Kafka的 ...
infor wms 项目启动_全一，企业物流定制专家——企业客户项目管理流程解析
全一快递自2014年开始尝试业务转型,即由原来单一的快递类服务向"以企业客户需求为导向,为客户提供多元化的产品+服务体验"."致力于提供一站式专业物流解决方案与服务的综合 ...
kafka源码_终于看到有人把Kafka讲清楚了，阿里面试官推荐你看这份源码笔记
这几年,大数据发展迅猛,其中 Kakfa 凭借高可靠.高吞吐.高可用.可伸缩几大特性,成为数据管道技术的首选. 越来越多人开始使用 Kafka,对学习源码的需求也愈发强烈,原因主要有这么几个方面: 了 ...
infor wms 项目启动_广汽本田增城工厂No.2L WMS项目正式启动
Warehouse 导读:近日,在生管科No.2L办公室,广汽本田增城工厂No.2L WMS项目启动大会如期召开.生产管理科,IT科,FNL以及汉得信息有限公司的WMS项目组成员参加了本次启动大会. ...
infor wms 项目启动_派诺科技数字工厂MES/WMS系统项目正式启动
在电力领域,一场基于互联网和物联网技术的变革正在发生.数字化升级动员令无声的响起,大批嗅觉灵敏的用电系统供应商闻风而动.积极推进企业数字化,以便更好适配客户需求. 专注于公共建筑领域用电系统与能源监管 ...
kafka项目启动_Kafka 探险源码环境搭建
这个 Kafka 的专题,我会从系统整体架构,设计到代码落地.和大家一起杠源码,学技巧,涨知识.希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 前言在阅读源码之前,首先 ...
微服务openid等_使用OpenID Connect在Quarkus中保护微服务
微服务openid等 This is the fourth part in a series on building a microservice from the ground up with Qu ...
处理Springboot项目启动时streamBridge.send导致的卡住卡死问题
现象我们的Spring Boot 项目启动时,偶现卡死的现象,启动到一半卡主不动了 2023-01-16 10:23:10.338 INFO 1 --- [ restartedMain] com.h ...
项目启动会ppt_公司召开SAPERP项目启动会
点击上方" 南硬公司"关注我们 11月19日,公司在多媒体会议室召开SAP-ERP项目启动会.中钨高新驻南硬数据组顾问.SAP顾问.公司领导.各事业部.职能部门主要负责人.种子选手 ...
Vue项目启动成功，但是在浏览器访问缺异常，提示“网页无法正常运作‘“
近期在项目开发中,在调整登录认证模块,发现项目启动成功,本地也正常打开,但是发布服务的时候,发现网页无法正常打开,并提示"该网页无法正常运作",如图1.1 图1.1 在确保其他代码 ...

kafka项目启动_使用Kafka Connect 同步Kafka数据到日志服务

kafka项目启动_使用Kafka Connect 同步Kafka数据到日志服务相关推荐

最新文章

热门文章