Flume的Channel

一、Memory Channel

事件将被存储在内存中（指定大小的队列里）

非常适合那些需要高吞吐量且允许数据丢失的场景下

属性说明：

二、JDBC Channel

事件会被持久化（存储）到可靠的数据库里，目前支持嵌入式Derby数据库。即source=》channel=》sink。在传输的过程中，会先把事件存到关系型数据库里。但是Derby数据库不太好用，所以JDBC Channel目前仅用于测试，不能用于生产环境。

三、FileChannel

好处：数据不丢失

坏处：极大的降低flume的吞吐量，因为要频繁的发生磁盘I/O

性能比较低，但是即使程序出错数据不会丢失

性能会比较低下，但是即使程序出错数据不会丢失

配置实例：

a1.sources=r1
a1.channels=c1
a1.sinks=s1a1.sources.r1.type=netcat
a1.sources.r1.bind=0.0.0.0
a1.sources.r1.port=8888a1.sinks.s1.type=loggera1.channels.c1.type=file
a1.channels.c1.dataDirs=/home/filechannela1.sources.r1.channels=c1
a1.sinks.s1.channel=c1

四、内存溢出通道

优先把Event存到内存中，如果存不下，在溢出到文件中，目前处于测试阶段，还未能用于生产环境

转载于:https://www.cnblogs.com/chuijingjing/p/10149774.html

Flume的Channel相关推荐

flume ChannelSelector -- channel 选择器
首先是flume中三个组件的单词的意思,flume:水道:笕槽:引水槽,source:水源,channel:水渠,sink:水槽.见文知意,就是水从源头流出来,经过水渠或者管道,最终流到终点,也就是水 ...
大数据——Flume组件Source、Channel和Sink具体使用
Flume组件Source.Channel和Sink使用说明 Flume Sources Avro Source 配置范例 Thrift Source 配置范例 Exec Source 配置范例 JM ...
flume 1.7在windows下的安装与运行
flume 1.7在windows下的安装与运行一.安装安装java,配置环境变量. 安装flume,flume的官网http://flume.apache.org/,下载地址,下载后直接解压即可 ...
【原创】flume-1.3.0安装配置以及flume启动说明
Flume介绍一 flume基本介绍 Apache flume是一个分布式的.可靠的和可用的用来高效收集.同济和移动大量数据从众多不同sources到一个集中的数据存储库的系统. Flume eve ...
大剑无锋之flume面试题【面试推荐】
1 你是如何实现Flume数据传输的监控的使用第三方框架Ganglia实时监控Flume. 2 Flume的Source,Sink,Channel的作用?你们Source是什么类型? 1.作用 (1 ...
Flume原理及使用案例
本文为转载篇!原文: https://www.cnblogs.com/zhangyinhua/p/7803486.html https://www.cnblogs.com/ciade/p/549521 ...
Flume 实战开发指南
Flume 文章目录 Flume Flume介绍 Flume核心概念 Flume NG的体系结构 Source Channel Sink Flume的部署类型单一流程多代理流程(多个agent顺序 ...
CentOS7环境下搭建flume
一.flume安装与配置 1.将flume解压到指定目录/home/jason/bigdata下: [root@clsserv202 bigdata]# pwd /home/jason/bigdata ...
Apache Flume 简介
转自:http://blog.163.com/guaiguai_family/blog/static/20078414520138100562883/ Flume 是 Cloudera 公司开源出来的 ...