1. 日志采集框架Flume

1.1 Flume介绍

1.1.1 概述

1.Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。
2.Flume可以采集文件，socket数据包等各种形式源数据，又可以将采集到的数据输出到HDFS、hbase、hive、kafka等众多外部存储系统中
3.一般的采集需求，通过对flume的简单配置即可实现
4.Flume针对特殊场景也具备良好的自定义扩展能力，因此，flume可以适用于大部分的日常数据采集场景

1.1.2 运行机制

1、 Flume分布式系统中最核心的角色是agent，flume采集系统就是由一个个agent所连接起来形成
2、 每一个agent相当于一个数据传递员，内部有三个组件：
a) Source：采集源，用于跟数据源对接，以获取数据
b) Sink：下沉地，采集数据的传送目的，用于往下一级agent传递数据或者往最终存储系统传递数据
c) Channel：angent内部的数据传输通道，用于从source将数据传递到sink

1.1.3 Flume采集系统结构图

1. 简单结构
单个agent采集数据

2. 复杂结构
多级agent之间串联

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）相关推荐

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）...
1. 日志采集框架Flume 1.1 Flume介绍 1.1.1 概述 1.Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. 2.Flume可以采集文件,socket数据包等各 ...
GitLab-CI持续集成（CI）的介绍与运行机制
GitLab持续集成(CI)的介绍与运行机制 GitLab-CI GitLab-CI就是一套配合GitLab使用的持续集成系统(当然,还有其它的持续集成系统,同样可以配合GitLab使用,比如Jen ...
日志采集框架Flume以及Flume的安装部署（一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统）...
Flume支持众多的source和sink类型,详细手册可参考官方文档,更多source和sink组件 http://flume.apache.org/FlumeUserGuide.html Flum ...
Apache Flume（1）：Apache Flume原理
1.概述 Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集.聚合和传输的软件.Flume的核心是把数据从数据源(source)收集过来,再将收集到的数据送到指定的目的地( ...
flume的概述和运行机制
Flume 介绍概述 Flume是一个分布式.可靠.和高可用的海量日志采集.聚合和传输的系统. Flume可以采集文件,socket数据包.文件.文件夹.kafka等各种形式源数据,又可以将采集到的 ...
【Flume】Flume简单介绍
1. 概述 Flume是一个分布式.可靠和高可用的海量日志采集.聚合和传输系统. Flume可以采集多种数据,如:文件.socket数据包.文件夹.Kafka等,还可以将采集到的数据输出到HDFS.H ...
大数据之路读书笔记-02日志采集
大数据之路读书笔记-02日志采集数据采集作为阿里大数据系统体系的第环尤为重要.因此阿里巴巴建立了一套标准的数据采集体系方案,致力全面.高性能.规范地完成海量数据的采集,并将其传输到大数据平台.本章 ...
企业案例 | 以阿里巴巴为例，解析大数据采集中的日志采集
[导读]数据采集是大数据系统体系的第一环,如何全面.高效.规范地完成海量数据的采集 ,并将其传输到大数据平台,建立一套标准的数据采集体系方案尤为重要. 下面从浏览器的页面日志采集.无线客户端的日志采集 ...
深入浅出JavaScript运行机制
一.引子本文介绍JavaScript运行机制,这一部分比较抽象,我们先从一道面试题入手: console.log(1); setTimeout(function(){ console.log(3); ...

日志采集框架Flume、Flume介绍、概述、运行机制、Flume采集系统结构图（1、简单结构、复杂结构）