flume-elasticsearch-sink indexName

indexName自动追加日期，可以自定义header头，改变时间，源码如下：

http://grepcode.com/file/repository.cloudera.com/content/repositories/releases/org.apache.flume.flume-ng-sinks/flume-ng-elasticsearch-sink/1.3.0-cdh4.3.0/org/apache/flume/sink/elasticsearch/AbstractElasticSearchIndexRequestBuilderFactory.java

转载于:https://www.cnblogs.com/sunxucool/p/3939084.html

flume-elasticsearch-sink indexName相关推荐

flume hdfs sink 文件滚动策略
一般使用hdfs sink都会采用滚动生成文件的方式,hdfs sink滚动生成文件的策略有: 基于时间基于文件大小基于hdfs文件副本数(一般要规避这种情况) 基于event数量基于文件闲置时 ...
Flume 自定义 Sink
Flume 自定义 Sink 1)介绍 Sink 不断地轮询 Channel 中的事件且批量地移除它们,并将这些事件批量写入到存储或索引系统.或者被发送到另一个 Flume Agent.Sink 是完 ...
flume自定义sink
用户不仅可以自定义flume的source,还可以自定义flume的sink,用户自定义sink在flume中只需要继承一个基类:AbstractSink,然后实现其中的方法就可以了,例如我现在的需求 ...
自定义Flume Sink：ElasticSearch Sink
Flume Sink的目的是从Flume Channel中获取数据然后输出到存储或者其他Flume Source中.Flume Agent启动的时候,它会为每一个Sink都启动一个SinkRunner ...
flume+elasticsearch日志收集分析
2019独角兽企业重金招聘Python工程师标准>>> 由于不同版存在不兼容问题也试了好多次,网上找别人写的博客版本最后终于成功了. flume:1.6.0 elasticsearc ...
Flume的Sink类型
1.HDFS Sink 该sink把events写进Hadoop分布式文件系统(HDFS).它目前支持创建文本和序列文件.它支持在两种文件类型压缩.文件可以基于数据的经过时间或者大小或者事件的数量周期 ...
【Flume】【源码分析】flume中sink到hdfs，文件系统频繁产生文件，文件滚动配置不起作用？
本人在测试hdfs的sink,发现sink端的文件滚动配置项起不到任何作用,配置如下: a1.sinks.k1.type=hdfs a1.sinks.k1.channel=c1 a1.sinks.k1 ...
FLume 常用Sink配置说明
1.Sink 常用的Sink类型 HDFS Sink 这个Sink将Event写入Hadoop分布式文件系统(也就是HDFS). 目前支持创建文本和序列文件. 它支持两种文件类型的压缩. 可以根据写入 ...
flume http sink
# 指定Agent的组件名称 a1.sources = r1 a1.sinks = k1 a1.channels = c1# 指定Flume source(要监听的路径) a1.sources.r1. ...
Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/f ...

flume-elasticsearch-sink indexName

flume-elasticsearch-sink indexName相关推荐

最新文章

热门文章