flume监控一个文件实时采集新增的数据输出到控制台

Agent选型:exec source + memory channel + logger sink

# Name the components on this agent
a1.sources = r1
a1.sinks = k1
a1.channels = c1# Describe/configure the source
a1.sources.r1.type = exec
a1.sources.r1.command = tail -F /home/hadoop/data/data.log
a1.sources.r1.shell = /bin/sh -c# Describe the sink
a1.sinks.k1.type = logger# Use a channel which buffers events in memory
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100# Bind the source and sink to the channel
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1

flume-ng agent  \
--name a1 \
--conf $FLUME_HOME/conf \
--conf-file $FLUME_HOME/conf/exec-memory-logger.conf \
-Dflume.root.logger=INFO,console

[hadoop@hadoop000 data]$ echo hello >> data.log

flume监控一个文件实时采集新增的数据输出到控制台相关推荐

采用Flume实时采集和处理数据
它已成功安装Flume在...的基础上.本文将总结使用Flume实时采集和处理数据,详细过程,如下面: 第一步,在$FLUME_HOME/conf文件夹下,编写Flume的配置文件,命名为flume_ ...
DirectSound播放PCM(可播放实时采集的音频数据)
前言该篇整理的原始来源为http://blog.csdn.net/leixiaohua1020/article/details/40540147.非常感谢该博主的无私奉献,写了不少关于不同多媒体库的 ...
输出一个文件的最后n行数据，如果文件总行数不足n行，则显示全部数据
C程序,功能如题,代码如下: /* 功能:输出一个文件的最后n行数据,如果文件总行数不足n行,则显示全部数据基本思路:产生一个长度为n的二维数组,将它作为一个循环队列来看待 */ #include ...
python远程监控服务器多个日志_flume远程监控一个文件
Flume学习指南前言好好的学习,才是正道! 一.Flume简介 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广泛应用.Flume 初始的发行版本目前被统称为 F ...
第二章数据采集模块之FlinkCDC实时采集Mysql业务数据（源码资料见文末）
1.Mysql数据准备 (1)创建实时同步数据库 create database flink_gmall (2)将Mysql.sql文件导入到Mysql中 source /opt/data/Mysql ...
电商客源采集源码_福利！送你一个爬虫批量采集阿里巴巴商品数据
本文主要介绍如何免费采集阿里巴巴批发网商品的批发价格.发货时间.是否代发等信息. 采集字段: 商品标题.商品链接.图片链接.标签1.标签2.标签3.价格.30天成交数. 评价.店铺功能点目录: 采集 ...
python中把输出结果写到一个文件中_如何将脚本输出写入文件和命令行？
你看不到任何东西的事实可能与缓冲正在发生的事实有关.所以你只能得到每4千分左右的文本输出. 相反,试试这样的方法:class OutputSplitter(object): def __init__( ...
flume从指定网络端口采集数据输出到控制台
a1:agent的名称 r1:source的名称 k1:sink的名称 c1:channel的名称 # Name the components on this agent a1.sources = r ...
Jmeter+Prometheus+Grafana性能监控平台：将JMeter压测数据输出到Prometheus
前言 1.小编之前写过一篇文章详细讲解了如何搭建一个HTTP接口性能实时监控测试平台,是用Grafana+Influxdb+Jmeter组合实现的,可以参考我写的这篇博客https://editor. ...

flume监控一个文件实时采集新增的数据输出到控制台

flume监控一个文件实时采集新增的数据输出到控制台相关推荐

最新文章

热门文章