【Sqoop学习之一】Sqoop简介

环境

　　sqoop-1.4.6

Sqoop:将关系数据库（oracle、mysql、postgresql等）数据与hadoop数据进行转换的工具。

两个版本：两个版本完全不兼容，sqoop1使用最多：
sqoop1：1.4.x
sqoop2：1.99.x

同类产品:DataX 阿里顶级数据交换工具

一、架构
Sqoop架构非常简单，是hadoop生态系统的架构最简单的框架。sqoop1由client端直接接入hadoop，任务通过解析生成对应的maprecue执行。

二、安装

1、上传解压

[root@node101 src]# tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local
[root@node101 local]# mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6

2、配置sqoop-env.sh
注释掉未安装服务的相关内容，比如HBase、HCatalog、Accumulo

[root@node101 conf]# cd /usr/local/sqoop-1.4.6/conf && mv sqoop-env-template.sh sqoop-env.sh

#HADOOP安装目录
export HADOOP_COMMON_HOME=/usr/local/hadoop-2.6.5#HADOOP安装目录
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop-2.6.5#HBASE安装目录
#set the path to where bin/hbase is available
#export HBASE_HOME=#HIVE安装目录
#Set the path to where bin/hive is available
#export HIVE_HOME=#ZOOKEEPER安装目录
#Set the path for where zookeper config dir is
#export ZOOCFGDIR=

3、这里连接关系数据库是mysql 需要依赖mysql jar包

[root@node101 src]# cp /usr/local/src/mysql-connector-java-5.1.26-bin.jar /usr/local/sqoop-1.4.6/lib/

4、配置环境变量

export SQOOP_HOME=/usr/local/sqoop-1.4.6

5、验证是否安装成功
sqoop-version 或者 sqoop version

[root@node101 conf]# sqoop version
Warning: /usr/local/sqoop-1.4.6/../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /usr/local/sqoop-1.4.6/../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /usr/local/sqoop-1.4.6/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /usr/local/sqoop-1.4.6/../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
19/07/01 16:26:50 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6
Sqoop 1.4.6
git commit id c0c5a81723759fa575844a0a1eae8f510fa32c25
Compiled by root on Mon Apr 27 14:38:36 CST 2015

参考：

用户手册
Sqoop学习之路

转载于:https://www.cnblogs.com/cac2020/p/11114482.html

【Sqoop学习之一】Sqoop简介相关推荐

cdh mysql sqoop 驱动_大数据技术之Sqoop学习——原理、安装、使用案例、常用命令...
第1章 Sqoop 简介 Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库 ...
hadoop jar包_快速搭建Hadoop-Hive-Zoopkeeper-Sqoop环境进入Sqoop学习环境
CDH简单了解 CDH: C:cloudera(公司) D:distribute H:Hadoop 解决了大数据Hadoop 2.x生态系统中各个框架的版本兼容问题,不用自己编译, CDH适合商用,版 ...
.NetCore微服务Surging新手傻瓜式入门教程学习日志---结构简介（二）
.NetCore微服务Surging新手傻瓜式入门教程学习日志---结构简介(二) 原文:.NetCore微服务Surging新手傻瓜式入门教程学习日志---结构简介(二) 先上项目解决方案图 ...
DL：深度学习(神经网络)的简介、基础知识(神经元/感知机、训练策略、预测原理)、算法分类、经典案例应用之详细攻略
DL:深度学习(神经网络)的简介.基础知识(神经元/感知机.训练策略.预测原理).算法分类.经典案例应用之详细攻略目录深度学习(神经网络)的简介 1.深度学习浪潮兴起的三大因素深度学习(神经网络 ...
sqoop 使用心得(sqoop增量倒入)
sqoop是干吗的,就不在这里浪费笔墨了,这里主要讲下一个新手接触到sqoop碰到的问题. 一业务场景 Hive 查询Hql的结果进入MySql,目前本人是通过两步来实现的, 1 把hive查询结 ...
深度学习及TensorFlow简介
深度学习及TensorFlow简介深度学习目前已经被应用到图像识别,语音识别,自然语言处理,机器翻译等场景并取得了很好的行业应用效果.至今已有数种深度学习框架,如TensorFlow.Caffe.T ...
国内外学习科学研究机构简介…
原文地址:国内外学习科学研究机构简介(排名不分先后)作者:ET_郭光武学习能力被称为是21世纪人类最基本的生存能力.有关"学习"的研究逐渐得到世界各国的重视,"学习&q ...
深圳Python培训学习：Python3 简介--[千锋]
深圳Python培训学习:Python3 简介–[千锋] Python 是一个高层次的结合了解释性.编译性.互动性和面向对象的脚本语言. Python 的设计具有很强的可读性,相比其他语言经常使用英文 ...
RISC-V学习笔记【简介】
本学习笔记参考<手把手教你设计CPU--RISC-V处理器>一书,该书出版日期为2018年,可能部分内容已经过时,仅作为学习用途 RISC-V简介 RISC-V的设计理念就是"简 ...

【Sqoop学习之一】Sqoop简介

【Sqoop学习之一】Sqoop简介相关推荐

最新文章

热门文章