大数据：数据采集平台之Fluentd

Apache Flume
详情请看文章：《大数据：数据采集平台之Apache Flume》
Fluentd
详情请看文章：《大数据：数据采集平台之Fluentd》
Logstash
详情请看文章：《大数据：数据采集平台之Logstash》
Apache Chukwa
详情请看文章：《大数据：数据采集平台之Apache Chukwa 》
Scribe
详情请看文章：《大数据：数据采集平台之Scribe 》
Splunk Forwarder
详情请看文章：《大数据：数据采集平台之Splunk Forwarder》

官网： http://docs.fluentd.org/articles/quickstart

Fluentd是一个开源的数据收集框架。Fluentd使用C/Ruby开发，使用JSON文件来统一日志数据。它的可插拔架构，支持各种不同种类和格式的数据源和数据输出。最后它也同时提供了高可靠和很好的扩展性。Treasure Data, Inc 对该产品提供支持和维护。

Fluentd的部署与架构设计和Flume非常相似：

Fluentd的Input/Buffer/Output非常类似于Flume的Source/Channel/Sink。

Input：Input负责接收数据或者主动抓取数据。支持syslog，http，file tail等。
Buffer：Buffer负责数据获取的性能和可靠性，也有文件或内存等不同类型的Buffer可以配置。
Output：Output负责输出数据到目的地例如文件，AWS S3或者其它的Fluentd。

Fluentd的配置非常方便，如下图：

Fluentd的技术栈如下图：

FLuentd和其插件都是由Ruby开发，MessgaePack提供了JSON的序列化和异步的并行通信RPC机制。

Cool.io是基于libev的事件驱动框架。

FLuentd的扩展性非常好，客户可以自己定制(Ruby)Input/Buffer/Output。

Fluentd从各方面看都很像Flume，区别是使用Ruby开发，Footprint会小一些，但是也带来了跨平台的问题，并不能支持Windows平台。另外采用JSON统一数据/日志格式是它的另一个特点。相对去Flumed，配置也相对简单一些。

参考：https://mp.weixin.qq.com/s/emQ_94T0_Hw3ywQc0-4Dtg

大数据：数据采集平台之Fluentd相关推荐

阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
概况介绍大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
普元王葱权：数字化时代需要新一代的大数据应用平台架构
记者 | 杨丽出品 | AI 科技大本营(rgznai100) 2018 年 12 月 6 日,北京新云南皇冠假日酒店,由中国计算机学会主办,CCF 大数据专家委员会承办,CSDN.中科天玑数据科技 ...
【2017年第2期】应用驱动的大数据融合平台建设
孟祥飞, 冯景华, 赵洋, 夏梓峻国家超级计算天津中心,天津 300457 摘要:论述了大数据在信息社会发展中的核心地位和对信息技术创新的全方位驱动:重点阐述了应用驱动的大数据和超级计算.云计算融合 ...
银行大数据风控平台的建设要点与应用
金融行业是经营风险的行业,风险控制能力是金融机构的核心竞争力.通常而言,金融机构一般是通过给客户的信用状况评分来计量贷款违约的可能性,并通过客户的风险水平进行利率定价. 而传统的信用测算主要是利用历史 ...
大数据建设意义_大数据一体化平台打造政府智能数据库，助力智慧政务建设
更多资讯:探码科技智慧政务的发展现状随着5G智能化的不断发展,各行各业已经逐步迈入行业发展与智能化相互结合的阶段,不断产生和出现新的行业经营模式,因而产生了诸如智慧医疗.智慧商业.智慧政务等等智慧 ...
如何设计一个大数据实时分析平台
大数据实时分析平台(以下简称PB-S),旨在提供数据端到端实时处理能力(毫秒级/秒级/分钟级延迟),可以对接多数据源进行实时数据抽取,可以为多数据应用场景提供实时数据消费.作为现代数仓的一部分,PB- ...
大数据实时分析平台应用在哪些场景
大数据平台主要是解决对海量多样化的数据源进行数据采集.数据存储,数据分析和数据处理,并提供满足日渐增长的扩展性要求.大数据平台的应用场景,大致可分为如下几个: 场景一:舆情分析有的客户需要做舆情分析 ...
大数据技术平台主要分为哪几类
大数据的处理过程可以分为大数据采集.存储.结构化处理.隐私保护.挖掘.结果展示(发布)等,各种领域的大数据应用一般都会涉及到这些基本过程,但不同应用可能会有所侧重.对于互联网大数据而言,由于其具有独特 ...
星火计划 | Apache InLong一站式大数据接入平台沙龙火热报名中
导语:随着数据的增长以及业务场景的多元化,消息中间件已经成为IT架构中不可或缺的组件.它可以降低系统间的耦合性与复杂度,提升系统稳定性,为大数据时代的数据采集提供巨大助力. 腾讯大数据在2013年自研 ...

大数据：数据采集平台之Fluentd

大数据：数据采集平台之Fluentd

大数据：数据采集平台之Fluentd相关推荐

最新文章

热门文章