Sqoop数据分析引擎安装与使用
Sqoop数据分析引擎安装与使用
==>什么是Sqoop ?
Sqoop 是一个开源的数据处理引擎,主要是通过 JDBC 为媒介, 在Hadoop(Hive)与 传统的关系型数据库(Oracle, MySQL,Postgres等)间进行数据的传递
HDFS Hive HBase < JDBC > Oracle, MySQL,
==> Sqoop 的安装:
1. 将安装包解压:tar zxf sqoop-1.4.6.bin__hadoop-0.23.tar.gz -C /app
2. 配置环境变量:
vim ~/.bash_profile
SQOOP_HOME=/app/sqoop-1.4.6.bin__hadoop-0.23
export SQOOP_HOME
PATH=$SQOOP_HOME/bin:$PATH
================================================================
3. 因为需要通过 JDBC 与数据库进行数据传输,所以需要将数据库的 JDBC 工具包放入到 lib 目录下
打开oracle 安装目录: C:\oracle\product\10.2.0\db_1\jdbc\lib
将 ojdbc14.jar 文件复制到 sqoop 的 bin 目录下: /app/sqoop-1.4.6.bin__hadoop-0.23/bin
==> Sqoop 的命令详解:(注意:在oracle 中,用户名和表名要全部大写)
codegen ---> 将关系数据库表映射为一个Java 文件, Java class类, 以及相关的 jar 包
sqoop codegen \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
--table EMP
================================================================
create-hive-table ---> 生成与关系数据库表结构对应的 Hive 表
sqoop create-hive-table \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
--table EMP
--hive-table emphive
================================================================
eval ---> 快速地使用 SQL 语句对关系数据库进行操作
这可以在使用的 import 这种工具进行数据导入的时候,检查 SQL 语句是否正确,并将结果显示在控制台
sqoop eval \
--connect jdbc:oracal:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle
--query "select * from emp"
================================================================
export ---> 从hdfs 中导数据到关系数据库中
sqoop export \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
--table STUDENTS # 表
--export-dir /students # HDFS 中的数据表
================================================================
import ---> 将数据库表的数据导入到 HDFS 中
sqoop export \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle
--table EMP \
--target-dir /emp
-------------------------------------------------------------------------------------------------------------
--->将数据导入到HBase 中(需要先将表创建)
sqoop import \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
--table EMP --columns empno, ename, sal, deptno \
--hbase-table emp --hbase-row-key empno --column-family empinfo
row-key 列族
================================================================
import-all-tables ---> 将数据库中所有的表的数据导入到 HDFS 中
sqoop import-all-tables \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
--m 1
================================================================
job --> 用来生成一个 Sqoop 的任务,生成后,该 任务不执行,除非使用命令执行该任务
================================================================
list-databases ---> 打印出关系数据库所有数据库名
sqoop list-databases \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl
--username SYSTEM --password oracle
================================================================
list-table ---> 打印出关系数据库中所有的表名
sqoop list-table \
--connect jdbc:oracle:thin:@192.168.10.210:1521:orcl \
--username SCOTT --password oracle \
-m 1
================================================================
merge ---> 将 HDFS 中不同目录下的数据合在一起,并存放在指定的目录中
================================================================
metastore ---> 记录 Sqoop job 的元数据信息
================================================================
version ---> 显示 Sqoop 版本信息
================================================================
转载于:https://blog.51cto.com/songqinglong/2060384
Sqoop数据分析引擎安装与使用相关推荐
- ES 全文搜索与数据分析引擎
ES 它是一个 分布式的 全文搜索与数据分析引擎. 与关系型数据库对比: 一个ES集群可以包含多个索引(数据库),每个索引又包含了很多类型(表),类型中包含了很多文档(行),每个文档使用 JSON 格 ...
- 从零到一搭建大数据分析引擎HIVE
从零到一搭建大数据分析引擎HIVE 1.集群的规划 2.安装步骤 1.下载hive安装包 2.利用docker安装mysql 3.修改hive的配置文件 4.增加hive-site.xml配置文件 5 ...
- php数据分析引擎,PHP数据分析引擎计算余弦相似度算法示例
php 的 PHP数据分析引擎计算余弦相似度算法示例 本文实例讲述了PHP数据分析引擎计算余弦相似度算法.分享给大家供大家参考,具体如下: 关于余弦相似度的相关介绍可参考百度百科: /** * 数据分 ...
- tokudb mysql_【MySQL】TokuDB引擎安装教程
TokuDB引擎安装起来貌似有点麻烦,在这里做个笔记,安装几步走 Percona MySQL5.6安装 TokuDB引擎安装 第一步咱们直接省略,跟官方版本MySQL5.6安装方法基本相同,下面来写下 ...
- clickhouse hadoop_大数据分析之解决Hadoop的短板,实时大数据分析引擎ClickHouse解析...
本篇文章探讨了大数据分析之解决Hadoop的短板,实时大数据分析引擎ClickHouse解析,希望阅读本篇文章以后大家有所收获,帮助大家对相关内容的理解更加深入. 一.背景 提到大数据不得不提Hado ...
- 【免费公测中】为数据赋予超能力,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics
摘要: 近日,阿里云重磅推出Serverless数据分析引擎-Data Lake Analytics,Data Lake Analytics,帮助更多不具备分析能力的存储服务,赋予其分析的能力. 近日 ...
- SaCa DataViz 企业版 | 高性能大数据分析引擎
SaCa DataViz 企业版 | 高性能大数据分析引擎 秦翠 大数据时代,随着企业业务的发展与信息化建设的成熟,企业内逐渐积累了海量的业务数据,这些数量庞大.晦涩难懂的数据背后蕴含着巨大的商业价值 ...
- 详细解读Spark的数据分析引擎:Spark SQL
一.spark SQL:类似于Hive,是一种数据分析引擎 什么是spark SQL? spark SQL只能处理结构化数据 底层依赖RDD,把sql语句转换成一个个RDD,运行在不同的worker上 ...
- 大数据分析引擎Apache Flink升级成为Apache顶级项目
Apache Flink是一个高效.分布式.基于Java实现的通用大数据分析引擎,它具有分布式 MapReduce一类平台的高效性.灵活性和扩展性以及并行数据库查询优化方案,它支持批量和基于流的数据分 ...
最新文章
- 【Paper】2017_水下潜航器编队海洋勘测的协调控制方法研究
- Yii2 restful 分页支持
- 运维人员mysql如何访问_MySQL运维实战 之 PHP访问MySQL你使用对了吗
- 谈谈我对js中闭包的理解
- pytorch 转换onnx_新版PyTorch发布!新增TorchScript API,扩展ONNX导出
- [vue] 你有使用过JSX吗?说说你对JSX的理解
- 近期会将视频在线课堂移植ios,欢迎大家关注
- bzoj 4596: [Shoi2016]黑暗前的幻想乡
- HTML解析没有详情页url,爬虫找不到详情页URL的参数
- vimium插件_chrome插件神奇的vimium人性化设置
- 【编译】StreamInsight简介
- python多线程下载多个文件_python多线程下载文件 练习1
- 指尖初体验之手指的舞蹈
- 浏览器HTML5 视频播放
- liunx下用xshell实现 密钥 + 密码 登录
- 软件开发流程规范介绍
- windows切换桌面的快捷键
- CentOS 5.5 安装 Python 2.7_老范的空间_百度空间
- Chrome 屏蔽广告
- uni-app 对接第三方h5
热门文章
- Get started with ros -- 1
- MySQL ERROR 1878 解决办法
- 堆和栈的差别(转过无数次的文章)
- Java长见到的面试题,看你能答出几题,就知道自己有多菜了
- node 模块化 require expores,简易实现原理。
- JavaScript---认识JavaScipt
- min聚合函数查询带有额外字段sql|dense_rank()over(partition)|+班级学生成绩最高
- ASP.NET 2.0在SQL Server 2005上自定义分页
- 32位java 最大内存_【答疑系列】为什么32位系统只支持最大4G内存?
- electron.js_在使用Electron.js之前我希望知道的事情