Sqoop 是什么？（二）

　Sqoop 是传统数据库与 Hadoop 之间数据同步的工具，它是 Hadoop 发展到一定程度的必然产物，它主要解决的是传统数据库和Hadoop之间数据的迁移问题。
Sqoop 是连接传统关系型数据库和 Hadoop 的桥梁。它包括以下两个方面：
1、将关系型数据库的数据导入到 Hadoop 及其相关的系统中，如 Hive和HBase。
2、将数据从 Hadoop 系统里抽取并导出到关系型数据库。
Sqoop 的核心设计思想是利用 MapReduce 加快数据传输速度。也就是说 Sqoop 的导入和导出功能是通过 MapReduce 作业实现的。
所以它是一种批处理方式进行数据传输，难以实现实时的数据进行导入和导出。

　　1、sqoop 名字的来源：SQL-to-Hadoop

　　2、我们可以把它看做成连接传统数据库和Hadoop的桥梁

　　　　1）把关系型数据库中的数据（MySQL）导入到hadoop或者与其相关的系统比如HDFS 、hive 、Hbase

　　　　2）把hadoop中的数据抽取出来，导入到关系型数据库中

　　3、它的设计思想就是：利用MapReduce加快数据传输速度

本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6116321.html，如需转载请自行联系原作者

Sqoop 是什么？（二）相关推荐

大数据开发之Sqoop详细介绍
备注: 测试环境 CDH 6.3.1 Sqoop 1.4.7 文章目录一.Sqoop概述二.Sqoop 工具概述三.Sqoon工具详解 3.1 codegen 3.2 create-hive-t ...
五十八、Sqoop的常用参数及命令
上一篇文章我们讲述了Sqoop的安装已经一些基本操作,本文我们主要来看看它常用的一些参数和命令.Sqoop是一个非常简单的传输工具,我们进行简单的讲述,不在这上面浪费过多的时间,本文是Sqoop部分的 ...
[Hadoop]Sqoop 1.4.2中文文档（一）之数据导入
一.Sqoop Help $ sqoop help usage: sqoop COMMAND [ARGS]Available commands:codegen Generate code to int ...
Sqoop 同步Parquet partition Hive表
一.import (mysql to hive) 1.同步textfile类型(不支持Orc或Parquet) way 1 (同步到hive表) sqoop import \--connect jdb ...
sqoop1.4.2数据导入
一.Sqoop Help Java代码 $ sqoop help usage: sqoop COMMAND [ARGS] Available commands: codegen ...
尚硅谷4.0数仓项目整体设计要点记录
项目部署虚拟机环境配置下载整体设计日志划分业务日志批量更新,用户行为日志实时更新虚拟机虚拟机登录 root root sudo systemctl start/status mysqld ...
大数据基础（二）hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装和sqoop与hdfs,hive,mysql导入导出
hadoop, mave, hbase, hive, sqoop在ubuntu 14.04.04下的安装 2016.05.15 本文测试环境: hadoop2.6.2 ubuntu 14.04.04 ...
Sqoop（二）常用命令及常数解析
本文转自:https://www.cnblogs.com/yfb918/p/10855154.html 一.常用命令列举二.命令及参数详解 1.数据库连接 2.import 3.export 4.h ...
Hadoop2异常分析（二）：Sqoop导出数据错误
sqoop错误: Error during import: No primary key could be found for table tab1. Please specify one with ...
大数据之Sqoop 二
五.Sqoop一些常用命令及参数 5.1.常用命令列举这里给大家列出来了一部分Sqoop操作时的常用参数,以供参考,需要深入学习的可以参看对应类的源代码. 序号命令类说明 1 import I ...

Sqoop 是什么？（二）

Sqoop 是什么？（二）相关推荐

最新文章

热门文章