前言

本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！

本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系

正文

适合使用 Flume 的场景

在选择 Flume 来处理不同的业务时，读者需要考虑的事项如下 —— 遇到下列需求时可以选择 Flume

从各种 Source 获取数据并存储到 Hadoop 系统中
高速地处理大量数据到 Hadoop 系统中。
可靠地传输数据到目的地。
可扩展的解决方案，当数据涌入速度和数量増加时，只需增加机器就可以实现扩展。
架构中的各个组件可以动态配置，而无须启停服务。
整体架构的各种配置可以单点管理。

不适合使用 Flume 的场景

某些情形中，Flume 不是理想的选择。除了 Flume，还有其他的选项可以用来解决这些需求。

下列场景中不推荐选择 Flume：

更偏重数据处理，而不是数据传输。这种场景更适合使用其他流式处理技术。
更偏重批量数据传输(常规批量而不是微批量)。
在不丢失数据的前提下需要更多可用的设置。
需要高可扩展性地对消息持久化(虽然没有一个科学的定量标准)
有大量的消息消费者,这对 Flume 的可扩展性有很大的影响

虽然 Flume在很多情況下可以进行动态配置,但是某些配置更改(拓扑更改)还是会导致停机。

Flume 的使用场景详解相关推荐

转:修改ETM,用Ogre实现《天龙八部》地形与部分场景详解
本文主要讲的是<天龙八部>游戏的地形和一部分场景的具体实现,使用C++, Ogre1.6,我摸索了段时间,可能方法用的并不是最好的,但好歹实现了.文章可能讲得有点罗嗦,很多简单的东西都讲了 ...
Redis(十)——HyperLogLog 基数统计和 Bitmap位图场景详解
文章目录 Redis(十)--HyperLogLog 基数统计和 Bitmap位图场景详解 1.HyperLogLog 基数统计 2.Bitmap位图场景详解 Redis(十)--HyperLogLo ...
RxJava操作符在android中的使用场景详解（一）
转载请注明出处:http://www.wangxinarhat.com/2016/04/19/2016-04-19-rxjava-android-operate1/ 最近学习了RxJava在andro ...
直播回顾 | 数据驱动「产品迭代」的三大场景详解
近日,神策数据进行了一场题为<数据驱动产品迭代的三大场景>的专题直播,直播中结合各行业的数据驱动企业的优质实践经验,针对三大产品迭代场景进行了逐一详解.如下为直播的主要内容: 场景一. 产 ...
消息中间件系列(四)：消息队列MQ的特点、选型、及应用场景详解
前面集中谈了分布式缓存Redis系列: 高并发架构系列:分布式锁的由来.特点.及Redis分布式锁的实现详解高并发架构系列:Redis并发竞争key的解决方案详解高并发架构系列:Redis缓存和M ...
基于阿里云Serverless架构下函数计算的最新应用场景详解（二）
摘要: Serverless概念是近年来特别火的一个技术概念,基于这种架构能构建出很多应用场景,适合各行各业,只要对轻计算.高弹性.无状态等场景有诉求的用户都可以通过本文来普及一些基础概念,看看这些场 ...
Redis相关命令及应用场景详解
一.Redis是什么 Redis是远程字典服务Remote Dictionary Service的简称.Redis 是内存数据库,KV 数据库,V支持多种数据结构,如:string.list.hash ...
（转）修改ETM,用Ogre实现《天龙八部》地形与部分场景详解（附源码）
本文主要讲的是<天龙八部>游戏的地形和一部分场景的具体实现,使用C++, Ogre1.6,我摸索了段时间,可能方法用的并不是最好的,但好歹实现了.文章可能讲得有点罗嗦,很多简单的东西都讲了 ...
Sphinx+Scws 搭建千万级准实时搜索应用场景详解
为什么80%的码农都做不了架构师?>>> 目标: 一.搭建准确的千万级数据库的准实时搜索(见详情) 二.实现词语高亮(客户端JS渲染,服务器端渲染,详见7.3) 三.实现搜索联 ...
php sphinx应用场景,Sphinx+Scws 搭建千万级准实时搜索应用场景详解
目标: 一.搭建准确的千万级数据库的准实时搜索(见详情) 二.实现词语高亮(客户端JS渲染,服务器端渲染,详见7.3) 三.实现搜索联想(输入框onchange,ajax请求搜索,取10条在层上展示方 ...

Flume 的使用场景详解

前言

正文

适合使用 Flume 的场景

不适合使用 Flume 的场景

Flume 的使用场景详解相关推荐

最新文章

热门文章