flume ng之组件介绍

1、channel

2、source

3、sink

4、直接读取文件Source，有哪两种方式？

5、Channel有几种方式？

6、Sink在设置存储数据时，数据较多，较少的情况下，该如何处理？

Flume是一个非常不错的日志收集系统，其设计理念非常易用，简洁。并且是一个开源项目，基于Java开发，可以进行一些自定义的功能开发。运行Flume时，机器必须安装JDK6.0以上的版本，并且，Flume目前只有Linux的启动脚本，没有Windows环境的启动脚本。

Flume主要由3个重要的组件构成：

Source：完成对日志数据的手机，分成trasition和event打入到channel之中。

Channel:主要提供一个队列的功能，对Source提供中的数据进行简单的缓存。

Sink:取出Channel中的数据，进行相应的存储文件系统，数据库，或者提交到远程服务器。

对现有程序改动最小的使用方式是使用直接读取程序原来记录的日志文件，基本可以实现无缝接入，不需要对现有程序进行任何改动。

对于直接读取文件Source，有两种方式：

ExecSource：以运行Linux命令的方式，持续的输出最新的数据，如tail -F 文件名指令，在这种方式下，取的文件名必须是指定的。

SpoolSource：是检测配置的目录下新增的文件，并将文件中的数据读取出来。

需要注意两点：

1、拷贝到spool目录下的文件不可以再打开编辑。

2、spool目录下不可包含相应的子目录。

在实际使用的过程中，可以结合log4j使用，使用log4j的时候，将log4j的文件分割机制设为1分钟一次，将文件拷贝到spool的监控目录。log4j有一个TimeRolling的插件，可以把log4j分割的文件拷贝到spool目录。基本实现了实时的监控。

Flume在传完文件之后，将会修改文件的后缀，变为.COMPLETED（后缀也可以在配置文件中灵活指定）

ExecSource， SpoolSource对比:

ExecSource可以实现对日志的实时手机，但是存在Flume不运行或者指令执行出错时，将无法收集到日志数据，无法保证日志数据的完整性。SpoolSource虽然无法实现实时的收集数据，但是可以使用以分钟的方式分割文件，趋近于实时。如果应用无法实现以分钟切割日志文件的话，可以两种收集方式结合使用。

Channel有多重方式：

有MemoryChannel，JDBC Channel，MemoryRecoverChannel， FileChannel。MemoryChannel可以实现告诉的吞吐，但是无法保证数据的完整性。MemoryRecoverChannel在官方文档的件以上已经建议使用FileChannel来替换。FileChannel保证数据的完整性与一致性。在具体配置实现的FileChannel时，建议FileChannel设置的目录和程序的日志文件保存的目录设成不同的磁盘，以便提高效率。

Sink在设置存储数据时，可以向文件系统中，数据库中，hadoop中存储数据，在日志数据较少时，可以将数据存储在文件系统中，并且设定一定的时间间隔保存数据。在日志数据较多时，可以将相应的日志数据存储到Hadoop中，便于日后进行相应的数据分析。

转载于:https://www.cnblogs.com/man-li/p/4362152.html

flume ng之组件介绍相关推荐

Flume NG 简介及配置实战
2019独角兽企业重金招聘Python工程师标准>>> Flume NG 简介及配置实战博客分类: 分布式计算 1.Flume 的一些核心概念: 1.1 数据流模型 1.2 高可靠 ...
java hbase创建_hadoop组件介绍及python 连接Hbase
Ambari Apache Ambari是一种基于Web的工具,支持Hadoop集群的供应.管理和监控.是Apache顶级开源项目之一,由Hortonworks公司开源. Ø 官方网站地址: http ...
Hadoop生态Flume（一）介绍
一.概述 Apache Flume是一个分布式,可靠且可用的系统,用于有效地收集,聚合大量日志数据并将其从许多不同的源移动到集中式数据存储中. Apache Flume的使用不仅限于日志数据聚合.由于 ...
Flume OG和Flume NG的区别
应用场景 Flume作为Hadoop中的日志采集工具,非常的好用,但是在安装Flume的时候,查阅很多资料,发现形形色色,有的说安装Flume很简单,有的说安装Flume很复杂,需要依赖zookeep ...
Flume NG 学习笔记（五）Sinks和Channel配置
一.HDFS Sink Flume Sink是将事件写入到Hadoop分布式文件系统(HDFS)中.主要是Flume在Hadoop环境中的应用,即Flume采集数据输出到HDFS,适用大数据日志场景. ...
客快物流大数据项目(六)：Docker与虚拟机的形象比喻及组件介绍
目录 Docker与虚拟机的形象比喻及组件介绍一.Docker与虚拟机的形象比喻
2021年大数据Hadoop（二十六）：YARN三大组件介绍
全网最详细的Hadoop文章系列,强烈建议收藏加关注! 后面更新文章都会列出历史文章目录,帮助大家回顾知识重点. 目录本系列历史文章前言 Yarn三大组件介绍 ResourceManager No ...
【Netty】Netty组件介绍
Netty组件介绍 Netty有 Bootstrap/ServerBootstrap,Channel,EventLoop,ChannelFuture, ChannelHandler,ChannelPi ...
Flume(NG)架构设计要点及配置实践
Flume(NG)架构设计要点及配置实践 http://shiyanjun.cn/archives/915.html 转载于:https://blog.51cto.com/vikenxu/165732 ...

flume ng之组件介绍

flume ng之组件介绍相关推荐

最新文章

热门文章