flume数据丢失与重复_Flume监听文件到kafka，文件通道，kafka消费重复问题

该楼层疑似违规已被系统折叠隐藏此楼查看此楼

#me the components on this agent

a1.sources = r1

a1.sinks = k1

a1.channels = c1

# Describe/configure the source

a1.sources.r1.type = exec

a1.sources.r1.command = tail -F /usr/local/test1.txt

a1.sources.r1.fileHeader = true

a1.sources.r1.deserializer.outputCharset=UTF-8

# Describe the sink

a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink

a1.sinks.k1.brokerList = c100:9092,c200:9092,c300:9092

a1.sinks.k1.topic = test5

a1.sinks.k1.requiredAcks = 1

a1.sinks.k1.batchSize = 20

a1.sinks.k1.channel = memcnl

#a1.sinks.k1.type = avro

#a1.sinks.k1.hostname = 192.168.28.134

#a1.sinks.k1.port = 44444

# Use a channel which buffers events in memory

a1.channels.c1.type = file

a1.channels.c1.checkpointDir = /usr/local/chk

a1.channels.c1.dataDirs = /usr/local/flumeData

a1.channels.c1.checkpointOnClose = true

# Bind the source and sink to the channel

a1.sources.r1.channels = c1

a1.sinks.k1.channel = c1

把flume停掉，重启后，数据会重复，怎么解决呢

flume数据丢失与重复_Flume监听文件到kafka，文件通道，kafka消费重复问题相关推荐

oracle监听错误与hosts文件配置
ORACLE数据库的监听起不来报错,很快解决了.在这里记录一下遇到的问题,方便备查.在数据库listener.ora文件里面HOST后面到底应该输入IP地址还是主机名?很多人可能有不同的做法.我的经验 ...
node --- 监听路由,读取json文件,向MongoDB中写入数据
开始假设读取的文件为newGoods.json 假设数据的在MongoDB数据库中,集合的规则是Goods 下面将用到 koa-router:监听路由,并调用指定的函数 mongoose:node中 ...
Java实时监听文件夹，实现实时监听微信接收的文件，去掉文件的只读属性
前言众所周知,小而美软件每次更新都不干人事啊.上次忘了哪个版本更新的,接收到的文件一律是只读文件,虽然只需要右键属性把只读勾选去掉就行,但是每次接收了个文件都要这么做属实是有点麻烦.所以就自己写了个 ...
监听input type=file 文件上传取消事件
在做项目的时候,需要根据是否上传图片,(前提是已经上传文件,再次上传取消时,监听取消事件)进而判断页面变化.通过查阅相关资料,发现chane事件并不能监听取消,于是从另外一种角度:判断上传的文件是否有 ...
java 监听队列_spring+activemq实战之配置监听多队列实现不同队列消息消费
摘选:https://my.oschina.net/u/3613230/blog/1457227 摘要: 最近在项目开发中,需要用到activemq,用的时候,发现在同一个项目中point-to-po ...
sparkstreaming监听hdfs目录_flume kafka和sparkstreaming整合
本文介绍Flume.Kafka和Sparkstreaming的整合.代码流程是,我们通过shell脚本重播测试轨迹数据到指定轨迹文件中,使用Flume监听该轨迹数据文件,实时将轨迹数据发送到Kafka ...
Java实现监听文件变化的三种方法，推荐第三种
背景在研究规则引擎时,如果规则以文件的形式存储,那么就需要监听指定的目录或文件来感知规则是否变化,进而进行加载.当然,在其他业务场景下,比如想实现配置文件的动态加载.日志文件的监听.FTP文件变动监 ...
python监听文件最后修改人_Python持续监听文件变化代码实例
在日常的工作中,有时候会有这样的需求,需要一个常驻任务,持续的监听一个目录下文件的变化,对此作出回应. pyinotify就是这样的一个python包,使用方式如下: 一旦src.txt有新的内容,程 ...
java 接口文件夹_Java NIO.2 使用Path接口来监听文件、文件夹变化
Java7对NIO进行了大的改进,新增了许多功能: •对文件系统的访问提供了全面的支持 •提供了基于异步Channel的IO 这些新增的IO功能简称为 NIO.2,依然在java.nio包下. 早期的 ...

flume数据丢失与重复_Flume监听文件到kafka，文件通道，kafka消费重复问题

flume数据丢失与重复_Flume监听文件到kafka，文件通道，kafka消费重复问题相关推荐

最新文章

热门文章