【Flume】Flume简单介绍

1. 概述

Flume是一个分布式、可靠和高可用的海量日志采集、聚合和传输系统。
Flume可以采集多种数据，如：文件、socket数据包、文件夹、Kafka等，还可以将采集到的数据输出到HDFS、HBase、Hive等多种存储系统。
Flume官网有更详细的介绍。

2. 运行机制

Flume中最核心部分是agent，每个agent都是一个JVM进程。
agent由三个组件组成：
source: 采集组件，用于获取数据；
sink：下沉组件，用于将数据传输至下一级agent或写入存储系统；
channel：传输通道组件，用于将source采集的数据传输至sink；

3. 采集方式

根据实际情况的复杂程度，可以配置多种Flume处理方式：

3.1 单agent

3.2 agent串联

数据可以由一个agent发往另一个agent，agent位于不同主机时，使用avro类型连接两agent。

3.3 汇总多个agent

也可以由多个agent采集不同源端数据，汇总至一个agent后写入某个存储系统。

3.4 发往多目的地

同一份源端数据，可以通过多个agent传输，分别输入不同目的地。

总结

Flume主要用于海量日志传输，可灵活配置agent实现多种传输方案。

agent三组件: source、sink、channel。

【Flume】Flume简单介绍相关推荐

hadoop简单介绍_Hadoop：简单介绍
hadoop简单介绍什么是Hadoop: Hadoop是用Java编写的框架,用于在大型商品硬件群集上运行应用程序,并具有类似于Google File System和MapReduce的功能 . H ...
Hadoop：简单介绍
什么是Hadoop: Hadoop是一种用Java编写的框架,用于在大型商品硬件集群上运行应用程序,并具有类似于Google File System和MapReduce的功能 . HDFS是高度容错的 ...
玩转人工智能（3）常用的大数据框架简单介绍
时光不老,我们不散. 讲大数据框架前,简单的介绍下大数据的文化.信息时代人类社会的进步得益于分享和开源.大数据时代属于信息时代的第三代发展阶段(2001年到2011年可以认为是CT行业的黄金期,200 ...
遗传算法的简单介绍以及模式定理的简单证明
遗传算法遗传算法(Genetic Algorithm,GA),最早是由美国的John holland在20世纪70年代提出.算法通过模拟达尔文生物进化论的自然选择以及遗传学机理的生物进化过程来搜 ...
2021年大数据ELK（十八）：Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理一.Beats 二.FileB ...
2021年大数据ELK（十五）：Elasticsearch SQL简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch SQL简单介绍一.SQL与Elasticsear ...
2021年大数据ELK（二）：Elasticsearch简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录系列历史文章一.Elasticsearch简介 1.介绍 2.创始人二.E ...
iOS开发UI篇—多控制器和导航控制器简单介绍
iOS开发UI篇-多控制器和导航控制器简单介绍一.多控制器一个iOS的app很少只由一个控制器组成,除非这个app极其简单.当app中有多个控制器的时候,我们就需要对这些控制器进行管理有多个vi ...
简单介绍一下R中的几种统计分布及常用模型
统计学上分布有很多,在R中基本都有描述.因能力有限,我们就挑选几个常用的.比较重要的简单介绍一下每种分布的定义,公式,以及在R中的展示. 统计分布每一种分布有四个函数:d――density(密度函数) ...
LVS(Linux Virtual Server)三种负载均衡模型和十种调度的简单介绍
LVS(Linux Virtual Server)三种负载均衡模型和十种调度的简单介绍 LVS (Linux Virtual Server) LVS(Linux Virtual Server)其实就是 ...