SqoopFlume、Flume、HDFS之间比较

Sqoop	Flume	HDFS
Sqoop用于从结构化数据源，例如，RDBMS导入数据	Flume 用于移动批量流数据到HDFS	HDFS使用 Hadoop 生态系统存储数据的分布式文件系统
Sqoop具有连接器的体系结构。连接器知道如何连接到相应的数据源并获取数据	Flume 有一个基于代理的架构。这里写入代码(这被称为“代理”)，这需要处理取出数据	HDFS具有分布式体系结构，数据被分布在多个数据节点
HDFS 使用 Sqoop 将数据导出到目的地	通过零个或更多个通道将数据流给HDFS	HDFS是用于将数据存储到最终目的地
Sqoop数据负载不事件驱动	Flume 数据负载可通过事件驱动	HDFS存储通过任何方式提供给它的数据
为了从结构化数据源导入数据，人们必须只使用Sqoop，因为它的连接器知道如何与结构化数据源进行交互并从中获取数据	为了加载流数据，如微博产生的推文。或者登录Web服务器的文件，Flume 应都可以使用。Flume 代理是专门为获取流数据而建立的。	HDFS拥有自己的内置shell命令将数据存储。HDFS不能用于导入结构化或流数据

转载于:https://www.cnblogs.com/huangjianping/p/8033041.html

SqoopFlume、Flume、HDFS之间比较相关推荐

flume hdfs sink 文件滚动策略
一般使用hdfs sink都会采用滚动生成文件的方式,hdfs sink滚动生成文件的策略有: 基于时间基于文件大小基于hdfs文件副本数(一般要规避这种情况) 基于event数量基于文件闲置时 ...
Flume HDFS Sink配置详解
Name Default Description channel – type – 组件的名称,必须为:HDFS hdfs.path – HDFS目录路径,例如:hdfs://namenode/f ...
利用Sqoop在数据库和Hive、HDFS之间做ETL操作
文章目录 @[toc] 目录: 一.利用Sqoop,从Oracle到HDFS 二.利用Sqoop,从Oracle到Hive 三.遇到的问题目录: 一.利用Sqoop,从Oracle到HDFS 第一步 ...
sqoop实现Mysql、Oracle与hdfs之间数据的互导
通过Sqoop实现Mysql / Oracle 与HDFS / Hbase互导数据 SQOOP的描述 SQOOP是用于对数据进行导入导出的. (1)把MySQL.Oracle等数据库中的数据导入到HD ...
Flume日志采集，avro采集，以及通过参数控制下沉到hdfs的文件大小，时间等控制
1 Flume日志收集 1.1 总体介绍官方地址:http://flume.apache.org/ 1.1.1 背景 flume 作为 cloudera 开发的实时日志收集系统,受到了业界的认可与广 ...
Hadoop教程（五）：Flume、Sqoop、Pig、Hive、OOZIE
在我们了解Flume和Sqoop之前,让我们研究数据加载到Hadoop的问题: 使用Hadoop分析处理数据,需要装载大量从不同来源的数据到Hadoop集群. 从不同来源大容量的数据加载到Hadoop ...
[转]大数据环境搭建步骤详解（Hadoop，Hive，Zookeeper，Kafka，Flume，Hbase，Spark等安装与配置）
大数据环境安装和配置(Hadoop2.7.7,Hive2.3.4,Zookeeper3.4.10,Kafka2.1.0,Flume1.8.0,Hbase2.1.1,Spark2.4.0等) 系统说明 ...
kafka应用场景Kafka VS Flume
前言最近在搭一个离线Hadoop + 实时SparkStreaming的日志处理系统,然后发现基本上网上的这种系统都集成了kafka. 自己对kafka有一点点的认识,之前看过官网文档,用过一次,就 ...
Flume 开发者指南V1.5.2
介绍概述 Apache Flume是一个用来从很多不同的源有效地收集,聚集和移动大量的日志数据到一个中心数据仓库的分布式的,可靠的和可用的系统. Apache Flume是Apache软件基金会的顶 ...

SqoopFlume、Flume、HDFS之间比较

SqoopFlume、Flume、HDFS之间比较相关推荐

最新文章

热门文章