Flume 常见配置zo

1. Source

NetCat Source：绑定的端口（tcp、udp），将流经端口的每一个文本行数据作为Event输入；

type：source的类型，必须是netcat。

bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。

port：绑定的本地的端口。

Avro Source：监听一个avro服务端口，采集Avro数据序列化后的数据；

type：avrosource的类型，必须是avro。

bind：要监听的(本机的)主机名或者ip。此监听不是过滤发送方。一台电脑不是说只有一个IP。有多网卡的电脑，对应多个IP。

port：绑定的本地的端口。

Exec Source：于Unix的command在标准输出上采集数据；

type: source的类型：必须是exec。

command：要执行命令。tail -F ***.log

2. sink

HDFS Sink：将数据传输到hdfs集群中。

type：sink的类型必须是hdfs。

hdfs.path：hdfs的上传路径。

hdfs.filePrefix：hdfs文件的前缀。默认是:FlumeData

hdfs.rollInterval: 间隔多久产生新文件，默认是:30（秒） 0表示不以时间间隔为准。

hdfs.rollSize：文件到达多大再产生一个新文件，默认是:1024（bytes）0表示不以文件大小为准。

hdfs.rollCount：event达到多大再产生一个新文件，默认是:10（个）0表示不以event数目为准。

hdfs.batchSize：每次往hdfs里提交多少个event，默认为100

hdfs.fileType：hdfs文件的格式

hdfs.codeC：压缩方式：gzip, bzip2, lzo, lzop, snappy

Logger Sink将数据作为日志处理（根据flume中的设置的日志方式来显示）

要在控制台显示在运行agent的时候加入：-Dflume.root.logger=INFO,console 。Flume的目录的 Logs/flume.log。

type：sink的类型：必须是 logger。

maxBytesToLog：打印body的最长的字节数默认为16

Avro Sink：数据被转换成Avro Event，然后发送到指定的服务端口上。

type：sink的类型：必须是 avro。

hostname：指定发送数据的目的地主机名或者ip

port：指定发送数据的端口

3. channel

Memory Channel使用内存作为数据的存储。

channel的类型：必须为memory

capacity：channel中的最大event数目

transactionCapacity：channel中允许事务的最大event数目

4. Interceptor

Timestamp Interceptor 时间戳拦截器在header里加入key为timestamp，value为当前时间。

type：拦截器的类型，必须为timestamp

preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

Host Interceptor 主机名或者ip拦截器，在header里加入ip或者主机名

type：拦截器的类型，必须为host

preserveExisting：如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

useIP：如果设置为true则使用ip地址，否则使用主机名，默认为true

hostHeader：使用的header的key名字，默认为host

Static Interceptor 静态拦截器，是在header里加入固定的key和value。

type：avrosource的类型，必须是static。

preserveExisting: 如果此拦截器增加的key已经存在，如果这个值设置为true则保持原来的值，否则覆盖原来的值。默认为false

key: 静态拦截器添加的key的名字

value: 静态拦截器添加的key对应的value值

5. Channel Selector

Multiplexing Channel Selector 根据header的key的值分配channel

selector.type 默认为replicating

selector.header：选择作为判断的key

selector.default：默认的channel配置

selector.mapping.*：匹配到的channel的配置

Flume 常见配置zo相关推荐

PyCharm软件常见配置
官网下载地址:https://www.jetbrains.com/pycharm/download/#section=windows PyCharm软件安装 Pycharm下载 Python后期会有很 ...
《Drupal实战》——1.4　常见配置
1.4 常见配置安装好简体中文以后,对于我们这些中文用户.开发者来说,还有几个地方需要特别设置一下(毕竟Drupal是欧美人开发的,用户习惯不同).其中的一个就是地区设置里面的默认国家.默认时区.在 ...
Struts2学习笔记(一）--入门常见配置
Struts2框架的学习路线 l 第一天:Struts2的概述.Struts2的入门.Struts2常见的配置.Struts2的Action的编写 l 第二天:Struts2的数据的封装.结果页面配 ...
Android 系统（140）---android.mk中几个常见配置
android.mk中几个常见配置 1.LOCAL_JACK_ENABLED 这个变量可以禁止使用Jack编译工具链编译该模块.在工作中,个人感觉目前jack工具链不是很稳定,经常会出现一些错误,比如 ...
[转]nginx常见配置详解
一.nginx的配置文件配置文件默认为安装目录下的conf/nginx.conf,如果有使用到其他子配置文件,可以在nginx.conf中使用include 文件路径;的方式加载使用,比如serve ...
大数据——Flume安装配置和使用
Flume安装配置和使用 Flume安装和配置测试监控端口数据监控文件信息监控文件夹中的新文件监控文件写入HDFS中监控文件上传到HDFS并去除首条字段信息(拦截器) 内置拦截器自定义拦 ...
SpringBoot 常见配置注解使用:
SpringBoot 配置注解解析会不断更新! 一起学习呀! application.yml 常见配置: server server.servlet.context-path 应用上下文路径 ser ...
web服务器常见配置搭建详解(超详细)
前言: 本博客借鉴一些写的比较好的博客,进行归纳总结,整理了一篇比较详细的服务器常见配置搭建教程一来是和大家一起分享,二来也是作为自己的学习笔记记录一下. 温馨提示: 篇幅较长,请分阶段选择性查看. ...
Flume之——配置多个Sink源（一个Source对应多个Channel和Sink）
转载请注明出处:https://blog.csdn.net/l1028386804/article/details/98055100 配置模型如下图: Flume的配置如下: myagent.sour ...

Flume 常见配置zo

Flume 常见配置zo相关推荐

最新文章

热门文章