Flume的Collector

　　Collector的作用是将多个Agent的数据汇总后，加载到Storage中。它的source和sink与agent类似。

数据源（source），如：

　　collectorSource[(port)]：Collector source，监听端口汇聚数据。

　　autoCollectorSource：通过master协调物理节点自动汇聚数据。

　　logicalSource：逻辑source，由master分配端口并监听rpcSink。

sink，如：
　　collectorSink( “fsdir”,”fsfileprefix”,rollmillis)：collectorSink，数据通过collector汇聚之后发送到hdfs, fsdir 是hdfs目录，fsfileprefix为文件前缀码。

　　customdfs(“hdfspath”[, "format"])：自定义格式dfs。

转载于:https://www.cnblogs.com/zlslch/p/6784963.html

Flume的Collector相关推荐

Flume Sinks
Flume Sinks 1.Flume's Collector Tier Event Sinks collectorSink( "fsdir","fsfil ...
Hadoop 和 Spark 知识点整理汇总
文章目录前言一.LINUX 系统常用命令汇总二.Hadoop 常用命令汇总三.Hadoop 基本概念 1. Hadoop 特性 2. Hadoop 架构 2.1 Hadoop 集群 2.2 H ...
QCon速递：亚马逊AWS技术应用实践
2015年4月23日,为期3天的QCon全球软件开发大会(北京站)正式拉开帷幕.在『亚马逊AWS技术应用实践』专题中,讨论了亚马逊AWS热门服务与工具及典型架构,涉及自动化运维.混合云.移动应用开发和 ...
Hadoop数据收集与入库系统Flume与Sqoop
之前说了,大数据平台技术栈 (可点击查看),今天就来说说其中的采集层Sqoop和Flume! Hadoop数据收集与入库系统Flume与Sqoop 背景知识 ·简单介绍· 1. Hadoop提供了一个 ...
大数据flume日志采集系统详解
一.flume介绍 flume 是一个cloudera提供的高可用高可靠,分布式的海量日志收集聚合传输系统.Flume支持日志系统中定制各类数据发送方,用于收集数据.同时flume提供对数据进行简单 ...
Flume日志收集系统架构详解--转
2017-09-06朱洁大数据和云计算技术任何一个生产系统在运行过程中都会产生大量的日志,日志往往隐藏了很多有价值的信息.在没有分析方法之前,这些日志存储一段时间后就会被清理.随着技术的发展和分析能 ...
Flume NG 简介及配置实战
2019独角兽企业重金招聘Python工程师标准>>> Flume NG 简介及配置实战博客分类: 分布式计算 1.Flume 的一些核心概念: 1.1 数据流模型 1.2 高可靠 ...
storm基础系列之五---------接入数据收集系统flume
1.基本结构介绍 flume是三层架构,agent,collector,storage.每一层都可水平扩展. 其中,agent就是数据采集方:collector是数据整合方:storage是各种数据落 ...
flume高可用-failover-配置文件编写
Node01 安装和配置将node03机器上面的flume安装包以及文件生产的两个目录拷贝到node01机器上面去 node03机器执行以下命令 cd /export/servers scp -r ...

Flume的Collector

Flume的Collector相关推荐

最新文章

热门文章