sqoop的job工具

sqoop job： Work with saved jobs

就是将sqoop的某条语句保存为一个job

1.把person表导入到HDFS上，可以使用下面的语句

sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person -m 1

2.我们现在要把上面的语句保存成为一个job

sqoop job --create person_job -- import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person -m 1

3.查看可用的job

$ sqoop job --list
Available jobs:person_job

4.执行person_job来完成导入

$ sqoop job --exec person_job

5.执行person_job的时候，需要输入数据库的密码，怎么样能不输入密码呢？

配置sqoop-site.xml

<property>
<name>sqoop.metastore.client.record.password</name>
<value>true</value>
<description>If true, allow saved passwords in the metastore.
</description>
</property>

转载于:https://www.cnblogs.com/dongdone/p/5710875.html

sqoop的job工具相关推荐

数据抽取工具比对：Kettle、Datax、Sqoop、StreamSets
数据抽取工具比对:Kettle.Datax.Sqoop.StreamSets 工具比对: Kettle 特性:纯Java编写优点:可在Windows.linux.Unix上执行:数据抽取高效稳定:子 ...
Hadoop和关系型数据库间的数据传输工具——Sqoop
Hadoop和关系型数据库间的数据传输工具--Sqoop 一.Sqoop简介以及使用 1.1.产生背景基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中:早期由于工具的缺乏,Ha ...
sqoop工具数据迁移
sqoop数据迁移工具 Sqoop(发音:skup)是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql-)间进行数据的传递,可以将一个关系型数据库(例 ...
Sqoop数据迁移原理及基本框架
目录 Sqoop简介 Sqoop架构 Sqoop导入底层工作原理 Sqoop导出底层工作原理 Sqoop简介 Sqoop旨在协助RDBMS与Hadoop之间进行高效的大数据交流.可以把关系型数据库的数 ...
大数据教程（13.6）sqoop使用教程
2019独角兽企业重金招聘Python工程师标准>>> 上一章节,介绍了sqoop数据迁移工具安装以及简单导入实例的相关知识:本篇博客,博主将继续为小伙伴们分享sqoop的使用. 一 ...
数据集成--ETL工具
背景:不同平台都可以获得用户,这些用户之间可能是交叉重复,比如你之前在A平台注册了,后来你又在B平台注册了.而不同的平台存储数据的表结构,表字段可能不同.最有代表性的,美团合并了大众点评,两家外卖平台 ...
Sqoop数据迁移工具的使用
文章作者:foochane 原文链接:https://foochane.cn/article/2019063001.html Sqoop数据迁移工具的使用 sqoop简单介绍 sqoop数据到HDFS ...
Sqoop的安装配置及工作机制
文章目录 @[toc] 目录: 1.简介 2.sqoop安装 2.1.下载并解压 2.2.修改配置文件 2.3.加入mysql或oracle的jdbc驱动包 2.4.验证启动 3.Sqoop的原理 3 ...
sqoop建表_Sqoop学习之路（一）
一.概述 sqoop 是 apache 旗下一款"Hadoop 和关系数据库服务器之间传送数据"的工具. 核心的功能有两个: 导入.迁入导出.迁出导入数据:MySQL,Orac ...
sqoop关系型数据迁移原理以及map端内存为何不会爆掉窥探
序:map客户端使用jdbc向数据库发送查询语句,将会拿到所有数据到map的客户端,安装jdbc的原理,数据全部缓存在内存中,但是内存没有出现爆掉情况,这是因为1.3以后,对jdbc进行了优化,改进j ...

sqoop的job工具

sqoop的job工具相关推荐

最新文章

热门文章