消费滚动滴log日志文件(flume监听,kafka消费,zookeeper协同)

第一步:数据源

　　手写程序实现自动生成如下格式的日志文件:

　　　　15837312345,13737312345,2017-01-09 08:09:10,0360

　　打包放到服务器,使用如下命令执行,模拟持续不断的日志文件:

　　　　java -cp ct_producter-1.0-SNAPSHOT.jar producter.ProductLog ./awen.tsv

第二步:监听log.tsv日志

　　使用Flume监控滚动的awen.tsv日志,编写flume

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/datas/awen.tsv
a1.sources.r1.shell = /bin/bash -c# Describe the sink
a1.sinks.k1.type = org.apache.flume.sink.kafka.KafkaSink
a1.sinks.k1.topic=flume01
a1.sinks.k1.brokerList = hadoop1:9092
a1.sinks.k1.requiredAcks = 1
a1.sinks.k1.batchSize = 20
a1.sinks.k1.channel = c1# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

　　执行如下命令进行监控awen.tsv日志文件的滚动

　　　　bin/flume-ng agent --conf conf/ --name a1 --conf-file /home/hadoop/datas/tsv-flume-kafka/flume-kafka.conf

第三步:消费topic数据

　　　　bin/kafka-console-consumer.sh --zookeeper hadoop1:2181 --topic flume01 --consumer.config config/consumer.properties

转载于:https://www.cnblogs.com/gentle-awen/p/10045215.html

消费滚动滴log日志文件(flume监听,kafka消费,zookeeper协同)相关推荐

flume监听服务器文件,flume监听服务器端口数据库
flume监听服务器端口数据库内容精选换一换本章节为您介绍以下内容:准备弹性云服务器作为GDS服务器在使用GDS导入导出数据之前,需要准备一台或多台与GaussDB(DWS) 集群在相同VPC内 ...
log4j.properties配置与将异常输出到Log日志文件实例
将异常输出到 log日志文件实际项目中的使用: <dependencies><dependency><groupId>org.slf4j</groupId& ...
Flume监听多个文件目录，并根据文件名称不同，输出到kafka不同topic中
一.Flume监听多个文件目录 1. flume的环境搭建和基础配置参考 https://blog.csdn.net/qinqinde123/article/details/128130131 2. ...
linux日志手机,通过 shell 脚本自动发送 log日志文件内容到手机邮箱
该楼层疑似违规已被系统折叠隐藏此楼查看此楼需要用到 mail 命令如果你的系统中没有安装需要执行 (yum install -y mail sendmail) 安装 sendmail 是因为需要 ...
Android中对Log日志文件的分析
Android中对Log日志文件的分析如何分析和研究Log文件 ,如何看日志信息 Log 在android中的地位非常重要,要是作为一个android程序员不能过分析log这关,算是android没 ...
解决Linux下Tomcat日志目录下的catalina.log日志文件过大的问题
解决Linux下Tomcat日志目录下的catalina.log日志文件过大的问题参考文章: (1)解决Linux下Tomcat日志目录下的catalina.log日志文件过大的问题 (2)http ...
解决log4j生成的log日志文件读写权限问题
java web项目使用非管理员用户部署到Unix/Linux Weblogic服务器上时,由于weblogic 的$DOMAINS_HOME/bin/startWeblogic.sh文件中配置的um ...
linux清理日志 hack,Linux系统的LOG日志文件及入侵后日志的清除
UNIX网管员主要是靠系统的LOG,来获得入侵的痕迹.当然也有第三方工具记录入侵系统的痕迹,UNIX系统存放LOG文件,普通位置如下: /usr/adm - 早期版本的UNIX /var/adm - ...
Window10通过cmd终端实时查看log日志文件
在数据处理的时候,除了直接在终端打印日志以外,还可以通过cmd实时查看log日志文件的变化. 第一步: 下载tail.exe.tail是Linux上的一个插件,后来有人写了win10版本的. 下载链接 ...
服务器删除c盘日志文件,win7系统怎么删除c盘中的log日志文件
有很多用户在进行电脑软件操作的时候,会产生大量的日志文件,这些日志文件都是以log为后缀,而产生的文件会存放在c盘当中,多了就会影响到系统的运行速度,所以需要将其删除,那么win7系统如何删除c盘的l ...

消费滚动滴log日志文件(flume监听,kafka消费,zookeeper协同)

消费滚动滴log日志文件(flume监听,kafka消费,zookeeper协同)相关推荐

最新文章

热门文章