SQOOP 基础及安装

SQOOP 是hadoop生态圈中使用较为简单的一款产品；

（1）SQOOP 命令是转换为 map 任务执行的，再次可见hadoop（hdfs、MapReduce）居于hadoop生态圈的核心位置
（2）关系型数据库向hadoop的转换应当是双向的；

SQOOP 用于对数据进行导入导出的，

（1）把 MySQL、Oracle 等数据库中的数据导入到 HDFS、Hive、HBase中
（2）把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中

也即，SQOOP 架起了一个连接关系型数据库和 HDFS 的桥梁；

当关系型数据库存放的数据很大时，执行效率会很低，需要切换到hadoop上操作；当我们在 hadoop 上处理和分析完这些数据时，需要将分析的结果导出到传统的关系型数据库上。（hadoop的功能其实在大数据的分析）

安装

下载 ⇒ 解压 ⇒ 设置环境变量 ⇒ 重新编译profile文件

SQOOP 基础及安装相关推荐

Sqoop数据分析引擎安装与使用
Sqoop数据分析引擎安装与使用 ==>什么是Sqoop ? Sqoop 是一个开源的数据处理引擎,主要是通过 JDBC 为媒介, 在Hadoop(Hive)与传统的关系型数据库(Orac ...
移动开发—Less基础与安装
移动开发-Less基础与安装一.维护CSS的弊端 CSS是一门非程序式语言.没有变量.函数.SCOPE(作用域)等概念 CSS需要书写大量看似没有逻辑的代码.CSS的冗余度是比较高的不方便维护扩展 ...
SLAM导航机器人零基础实战系列：（一）Linux基础——2.安装Linux发行版ubuntu系统
SLAM导航机器人零基础实战系列:(一)Linux基础--2.安装Linux发行版ubuntu系统摘要由于机器人SLAM.自动导航.语音交互这一系列算法都在机器人操作系统ROS中有很好的支持,所以 ...
在安装了Sql2000的基础上安装Sql2005的详细过程
在安装了Sql2000的基础上安装Sql2005的详细过程 2008-09-04 19:10 在安装了Sql2000的基础上安装Sql2005的详细过程 Sql2005版本:Sql2005开发版,两张 ...
台式机下成功在windows10的基础上安装Ubuntu 18.04 LTS 系统（详细教程）
台式机成功在windows10的基础上安装Ubuntu 18.04 LTS 系统 1 前言因为工作缘故经常需要使用windows和ubuntu两个不同的计算机系统,因此想把实验室的台式机安装成双系统 ...
win10的基础上安装win7
首先给大家说明哦!在安装双系统的时候是从大到小的安装哦,也就是在win10的基础上安装win7,要是反过来的话,你的win7会被win10覆盖掉哦.(我是亲身体会了的哦) 那么安装方法如下: 首先打开 ...
WIN10系统安装Ubuntu子系统并在此基础上安装ncl
WIN10系统安装Ubuntu子系统并在此基础上安装ncl Windows10系统安装Ubuntu子系统在安装了Windows10的基础上,如何安装Ubuntu子系统?网上已经有很多关于如何下载安装 ...
oCPC JS SDK 基础代码安装
安装步骤获取代码以下代码为SDK的安装代码.注:production值唯一,所有客户共用同一值,百度根据数据来源自动区分不同客户. <script>window._agl = wind ...
在windows10基础上安装ubuntu16.04——解决分区时找不到用于efi启动项的问题
首先非常感谢一位博主的文章,绝对是装双系统的说明书,非常详细.建议需要安装双系统的伙伴先大致阅读一下这篇博客:https://www.cnblogs.com/masbay/p/10745170.htm ...

SQOOP 基础及安装

安装

SQOOP 基础及安装相关推荐

最新文章

热门文章