Flume 介绍

概述

Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。

Flume可以采集文件，socket数据包、文件、文件夹、kafka等各种形式源数据，又可以将采集到的数据(下沉sink)输出到HDFS、hbase、hive、kafka等众多外部存储系统中

一般的采集需求，通过对flume的简单配置即可实现

Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

运行机制

1. Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成

2. 每一个agent相当于一个数据传递员，内部有三个组件：

1. Source：采集组件，用于跟数据源对接，以获取数据
2. Sink：下沉组件，用于往下一级agent传递数据或者往最终存储系统传递数据
3. Channel：传输通道组件，用于从source将数据传递到sink

Flume 结构图

简单结构

单个 Agent 采集数据

复杂结构

多级 Agent 之间串联

flume的概述和运行机制相关推荐

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. 2.Flume可以采集文件,socket数据包等各 ...
日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）...
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. 2.Flume可以采集文件,socket数据包等各 ...
python语言程序的特点_Python语言概述及其运行机制详解
即日起,我们将打开一个新的编程世界的大门--Python语言.Python是一种跨平台的计算机程序设计语言.是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新 ...
Python语言概述及其运行机制详解
即日起,我们将打开一个新的编程世界的大门--Python语言.Python是一种跨平台的计算机程序设计语言.是一种面向对象的动态类型语言,最初被设计用于编写自动化脚本(shell),随着版本的不断更新 ...
http和https的区别与 SSL/TLS协议运行机制的概述
http和https的区别与 SSL/TLS协议运行机制的概述参考1 1 http 是不使用的SSL/TSL的通信通道窃听风险:第三方获取通信内容篡改风险:修改通信内容冒充风险:冒充他人身份 ...
【Java开发语言 01】第一章 Java语言概述（基础常识+Java语言概述+Java程序运行机制及运行过程+Java语言环境的搭建+开发体验hello world+错误：编码GBK的不可映射字符)
java入门-第一章Java语言概述 1基础常识软件开发人机交互方式常用的DOS命令(win系统,有一些直接通过命令执行的) 2 Java语言概述什么是计算机语言关于面向对象和面向过程 Ja ...
【转】SSL/TLS协议运行机制的概述
互联网的通信安全,建立在SSL/TLS协议之上. 本文简要介绍SSL/TLS协议的运行机制.文章的重点是设计思想和运行过程,不涉及具体的实现细节.如果想了解这方面的内容,请参阅RFC文档. 一.作用 ...
实时计算框架：Flink集群搭建与运行机制
一.Flink概述 1.基础简介 Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算.Flink被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算.主要特性包 ...
浅谈SQL Server内部运行机制
原文:浅谈SQL Server内部运行机制对于已经很熟悉T-SQL的读者,或者对于较专业的DBA来说,逻辑的增删改查,或者较复杂的SQL语句,都是非常简单的,不存在任何挑战,不值得一提,那么,SQL ...

flume的概述和运行机制