Hadoop系列七：Hadoop之sqoop篇

Sqoop安装和运行

sqoop是一个把关系型数据库数据抽向hadoop的工具。同时，也支持将hive、pig等查询的结果导入关系型数据库中存储。

1）安装和配置

Ubuntu操作系统，主机名hp。

官网http://sqoop.apache.org/ 下载sqoop-1.4.6.bin __hadoop-2.0.4-alpha.tar.gz并解压。

复制mysql的jdbc驱动mysql-connector-java-5.1.38.bin.jar到sqoop项目lib目录下。

HADOOP_HOME、HBASE_HOME、HIVE_HOME以及ZOOKEEPER_HOME都在etc/profile已配置。配置/etc/profile文件sqoop的环境变量

$sudo gedit/etc/profile

export SQOOP_HOME=/home/hp/sqoop

export PATH=$PATH:${SQOOP_HOME}/bin

$source /etc/profile

配置sqoop-env.sh文件

sqoop/conf目录下

$mv sqoop-env-template.sh sqoop-env.sh

$gedit sqoop-env.sh

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/home/hp/hadoop/

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/home/hp/hadoop

#set the path to where bin/hbase is available

export HBASE_HOME=/home/hp/hbase

#Set the path to where bin/hive is available

export HIVE_HOME=/home/hp/hive

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/home/hp/zookeeper/conf

3）运行使用

启动Hadoop服务。

mysql数据库hive中数据表xp导入到HDFS中：

$sqoop import --connectjdbc:mysql://127.0.0.1:3306/hive --username hive --password hive --table xp --fields-terminated-by '\t' -m 1

$hadoop fs –ls/user/hp/xp/ //可以看到已迁移过来的文件part-m-00000。

把hdfs的数据导出到mysql中：

mysql中创建数据表xp2，和xp一样有两个字段(id int,name char(20))

mysql>create tablexp2(id int,name char(20));

$sqoop export --connectjdbc:mysql://127.0.0.1:3306/hive --username hive --password hive --table xp2--export-dir ‘/user/hp/xp/part-m-00000’ --fields-terminated-by '\t'

进入mysql查看xp2内容

$mysql –u hive –p

mysql>use hive;

mysql>select* from xp2;//和xp原来内容一样

Hadoop系列七：Hadoop之sqoop篇相关推荐

Hadoop系列文章 Hadoop架构、原理、特性简述
Hadoop系列文章 Hadoop架构.原理.特性简述 Hadoop HDFS HDFS介绍 HDFS架构图 HDFS写入数据流程图 HDFS读取数据流程图数据块的副本集 Hadoop YARN Y ...
hadoop基础----hadoop实战(七)-----hadoop管理工具---使用Cloudera Manager安装Hadoop---Cloudera Manager和CDH5.8离线安装
hadoop基础----hadoop实战(六)-----hadoop管理工具---Cloudera Manager---CDH介绍简介我们在上篇文章中已经了解了CDH,为了后续的学习,我们本章就来 ...
安装Hadoop系列 — 导入Hadoop源码项目
将Hadoop源码导入Eclipse有个最大好处就是通过 "ctrl + shift + r" 可以快速打开Hadoop源码文件. 第一步:在Eclipse新建一个Java项目,h ...
【hadoop系列】Hadoop HDFS命令
格式:hadoop fs -命令主要有如下的命令: 命令说明 hadoop fs -mkdir 创建HDFS目录 hadoop fs -ls 列出HDFS目录 hadoop fs -copyFro ...
Hadoop系列 (九)：Sqoop详细介绍
文章目录 Hadoop系列文章 Sqoop简介 Sqoop架构 Sqoop数据导入 Sqoop数据导出 Sqoop安装部署版本介绍前提环境下载安装配置 Sqoop的使用构建测试数据将MyS ...
Hadoop系列 (六)：Spark搭建
文章目录 Hadoop系列文章 Spark简介 Spark搭建 Scala安装 Spark安装 Spark启动 Spark界面 Spark简单使用 Spark Shell PySpark Shell ...
Hadoop系列 (三)：HDFS详细介绍
文章目录 Hadoop系列文章 HDFS简介 HDFS基本概念分布式文件系统特点 HDFS设计目标 HDFS架构 HDFS应用场景 HDFS三大组件 NameNode SecondaryNameNo ...
hadoop系列四:mapreduce的使用(二)
转载请在页首明显处注明作者与出处一:说明此为大数据系列的一些博文,有空的话会陆续更新,包含大数据的一些内容,如hadoop,spark,storm,机器学习等. 当前使用的hadoop版本为2.6 ...
大数据学习系列之七 ----- Hadoop+Spark+Zookeeper+HBase+Hive集群搭建图文详解
引言在之前的大数据学习系列中,搭建了Hadoop+Spark+HBase+Hive 环境以及一些测试.其实要说的话,我开始学习大数据的时候,搭建的就是集群,并不是单机模式和伪分布式.至于为什么先写单 ...

Hadoop系列七：Hadoop之sqoop篇

Hadoop系列七：Hadoop之sqoop篇相关推荐

最新文章

热门文章