flume多个source

2019独角兽企业重金招聘Python工程师标准>>>

agent1.channels=ch1

agent1.sources=exec-source1 exec-source2

agent1.sinks=hdfs-sink1

agent1.channels.ch1.type=memory

agent1.channels.ch1.capacity=1000

agent1.channels.ch1.transactionCapacity=1000

agent1.channels.ch1.keep-alive=30

agent1.sources.exec-source1.type=exec

agent1.sources.exec-source1.command=/usr/bin/vmstat 1

agent1.sources.exec-source1.channels=ch1

agent1.sources.exec-source1.threads=5

agent1.sources.exec-source2.type=exec

agent1.sources.exec-source2.command=tail -F /root/date.txt

agent1.sources.exec-source2.channels=ch1

agent1.sources.exec-source2.threads=5

agent1.sinks.hdfs-sink1.channel=ch1

agent1.sinks.hdfs-sink1.type=hdfs

agent1.sinks.hdfs-sink1.hdfs.path=hdfs://slaver3:8020/root/

agent1.sinks.hdfs-sink1.hdfs.writeFormat=Text

agent1.sinks.hdfs-sink1.hdfs.fileType=DataStream

agent1.sinks.hdfs-sink1.hdfs.rollInterval=2000

agent1.sinks.hdfs-sink1.hdfs.rollSize=2000

agent1.sinks.hdfs-sink1.hdfs.rollCount=20

agent1.sinks.hdfs-sink1.hdfs.batchSize=1000

agent1.sinks.hdfs-sink1.hdfs.txnEventMax=1000

agent1.sinks.hdfs-sink1.hdfs.callTimeout=60000

agent1.sinks.hdfs-sink1.hdfs.appendTimeout=60000

agent1.sinks.hdfs-sink1.hdfs.filePrefix=%Y-%m-%d

agent1.sinks.hdfs-sink1.hdfs.useLocalTimeStamp=true

转载于:https://my.oschina.net/u/1421929/blog/467383

flume多个source相关推荐

flume 多个source sinks channel 配置记录
a1.sources = r1 r2 a1.sinks = k1 k2 a1.channels = c1 c2##### source a1.sources.r1.type =spooldir a1. ...
[ETL] Flume 理论与demo（Taildir Source Hdfs Sink）
一.Flume简介 1. Flume概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据: ...
Flume之Source
Source Flume内置了大量的Sourece,其中Avro Source(集群).Thrift Source.Spooling Directory Source(目录).Kafka Source ...
flume avro java_flume之Avro Source和Avro Sink
一.Avro Souce介绍 Flume主要的RPC Source是Avro Source Avro Source被设计为高扩展的RPC服务器端,能从其他的Flume Agent的Avro Sink或 ...
大数据——Flume组件Source、Channel和Sink具体使用
Flume组件Source.Channel和Sink使用说明 Flume Sources Avro Source 配置范例 Thrift Source 配置范例 Exec Source 配置范例 JM ...
Flume基础及Flume高质量博客合集
最近在学习Flume基础,Flume适用场景,及将源码修改为按文件读取数据,Flume监控目录文件夹,监控文件的原理: Flume基础 1. Flume简介 2. Flume 3要素 3. 适用场景 ...
Flume原理初探：基本执行原理概述
Flume Flume是一款在数据收集领域使用较多的一个apache的开源工具,是一款分布式.可靠和高可用的系统,能够高效的从不同的源中收集.聚合上传大量的日志数据到结构化的存储模块中,Flume的使 ...
大数据flume日志采集系统详解
一.flume介绍 flume 是一个cloudera提供的高可用高可靠,分布式的海量日志收集聚合传输系统.Flume支持日志系统中定制各类数据发送方,用于收集数据.同时flume提供对数据进行简单 ...
flume自定义Interceptor
2019独角兽企业重金招聘Python工程师标准>>> 背景: 在工作中遇到这样一个问题,nginx老的收集的日志格式为前面使用","分割,后面使用"空 ...

flume多个source

flume多个source相关推荐

最新文章

热门文章