flume-ng简单介绍

flume 官网：http://flume.apache.org/FlumeUserGuide.html

先把flume做一个简单的比喻帮助理解：

有一个池子，它一头进水，另一头出水，进水口可以配置各种管子，出水口也可以配置各种管子，可以有多个进水口、多个出水口，

水术语称为Event，进水口术语称为Source、出水口术语成为Sink、池子术语成为Channel，Source+Channel+Sink，术语称为Agent。

flume主要是由 source channel sink 三部分组成，这三个组件的主要作用是搜集信息，传递信息，存储信息；

flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。支持在日志系统中定制各类数据发送方，用于收集数据;

同时，Flume提供对数据进行简单处理，并写到各种数据接受方(比如文本、HDFS、Hbase等)的能力。flume的数据流由事件(Event)贯穿始终。

事件是Flume的基本数据单位，它携带日志数据(字节数组形式)并且携带有头信息，这些Event由Agent外部的Source生成，当Source捕获事件

后会进行特定的格式化，然后Source会把事件推入(单个或多个)Channel中。你可以把Channel看作是一个缓冲区，它将保存事件直到Sink处理完该事件。Sink负责持久化日志或者把事件推向另一个Source。

下面这个图是他的一个基本原理：

当然flume 也可是实现多个agent之间的互联：

或者

官网提供了多种source和skin，可以根据自己的需要进行选择：

官网提供了多种source和skin还有channel，可以根据自己的需要进行选择：

官网提供的source：

skin：

channel：

当然官网也提供了Interceptors等过滤器可以通过正则等一些过滤规则实现日志的过滤；

下面一篇博客为大家详细给出应用配置： source 是avro ，skin是 hdfs的一个列子。用来收集java项目中的log4j日志；

地址是 http://blog.csdn.net/linlinv3/article/details/50053333

flume-ng简单介绍相关推荐

Flume NG 简介及配置实战
2019独角兽企业重金招聘Python工程师标准>>> Flume NG 简介及配置实战博客分类: 分布式计算 1.Flume 的一些核心概念: 1.1 数据流模型 1.2 高可靠 ...
玩转人工智能（3）常用的大数据框架简单介绍
时光不老,我们不散. 讲大数据框架前,简单的介绍下大数据的文化.信息时代人类社会的进步得益于分享和开源.大数据时代属于信息时代的第三代发展阶段(2001年到2011年可以认为是CT行业的黄金期,200 ...
hadoop简单介绍_Hadoop：简单介绍
hadoop简单介绍什么是Hadoop: Hadoop是用Java编写的框架,用于在大型商品硬件群集上运行应用程序,并具有类似于Google File System和MapReduce的功能 . H ...
Hadoop：简单介绍
什么是Hadoop: Hadoop是一种用Java编写的框架,用于在大型商品硬件集群上运行应用程序,并具有类似于Google File System和MapReduce的功能 . HDFS是高度容错的 ...
Flume OG和Flume NG的区别
应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeep ...
关于5G技术和应用场景的简单介绍
关于5G技术和应用场景的简单介绍 5G的商业成功,取决于高价值的物联网应用普及 5G的网络架构国内各运营商5G频谱划分专网方式1:本地专网完全独立,与公网物理隔离专网方式2:专网核心网和公网核心 ...
Flume NG 学习笔记（五）Sinks和Channel配置
一.HDFS Sink Flume Sink是将事件写入到Hadoop分布式文件系统(HDFS)中.主要是Flume在Hadoop环境中的应用,即Flume采集数据输出到HDFS,适用大数据日志场景. ...
遗传算法的简单介绍以及模式定理的简单证明
遗传算法遗传算法(Genetic Algorithm,GA),最早是由美国的John holland在20世纪70年代提出.算法通过模拟达尔文生物进化论的自然选择以及遗传学机理的生物进化过程来搜 ...
2021年大数据ELK（十八）：Beats 简单介绍和FileBeat工作原理
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Beats 简单介绍和FileBeat工作原理一.Beats 二.FileB ...
2021年大数据ELK（十五）：Elasticsearch SQL简单介绍
全网最详细的大数据ELK文章系列,强烈建议收藏加关注! 新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点. 目录 Elasticsearch SQL简单介绍一.SQL与Elasticsear ...

flume-ng简单介绍

flume-ng简单介绍相关推荐

最新文章

热门文章