sqoop job 作业
目录:
文章目录
#一、最简单的job作业
##1、创建一个job
将mysql中为emp表的数据导入到hdfs上
注意:在创建job时,命令"-- import" 中间有个空格,切勿忽视,否则报错!
sqoop job \
--create firstJob \
-- import \
--connect jdbc:mysql://mini1:3306/emp_db \
--username root \
--password root \
--table emp \
--target-dir /emp_db/firstJob
--m 1
##2、验证作业是否创建成功
运行如下命令,显示
Available jobs:
firstJob
sqoop job --list
##3、根据job名称查看某一个具体的job信息
运行如下命令,中间提示输入密码,查看具体信息
sqoop job --show firstJob
Enter password:
Job: firstJob
Tool: import
Options:
----------------------------
verbose = false
hcatalog.drop.and.create.table = false
db.connect.string = jdbc:mysql://mini1:3306/emp_db
codegen.output.delimiters.escape = 0
codegen.output.delimiters.enclose.required = false
codegen.input.delimiters.field = 0
split.limit = null
hbase.create.table = false
mainframe.input.dataset.type = p
db.require.password = true
skip.dist.cache = false
hdfs.append.dir = false
db.table = emp
codegen.input.delimiters.escape = 0
accumulo.create.table = false
import.fetch.size = null
codegen.input.delimiters.enclose.required = false
db.username = root
reset.onemapper = false
codegen.output.delimiters.record = 10
import.max.inline.lob.size = 16777216
sqoop.throwOnError = false
hbase.bulk.load.enabled = false
hcatalog.create.table = false
db.clear.staging.table = false
codegen.input.delimiters.record = 0
enable.compression = false
hive.overwrite.table = false
hive.import = false
codegen.input.delimiters.enclose = 0
accumulo.batch.size = 10240000
hive.drop.delims = false
customtool.options.jsonmap = {}
codegen.output.delimiters.enclose = 0
hdfs.delete-target.dir = false
codegen.output.dir = .
codegen.auto.compile.dir = true
relaxed.isolation = false
mapreduce.num.mappers = 1
accumulo.max.latency = 5000
import.direct.split.size = 0
sqlconnection.metadata.transaction.isolation.level = 2
codegen.output.delimiters.field = 44
export.new.update = UpdateOnly
incremental.mode = None
hdfs.file.format = TextFile
sqoop.oracle.escaping.disabled = true
codegen.compile.dir = /tmp/sqoop-root/compile/137b9999fcfa09bf41737adbc34d9803
direct.import = false
temporary.dirRoot = _sqoop
hdfs.target.dir = /emp_db/firstJob
hive.fail.table.exists = false
db.batch = false
##3、执行job
运行如下命令,执行一个job,中间需要输入密码
sqoop job --exec firstJob
##4、删除job
运行如下命令删除一个job,在用命令sqoop job --list查看job,确认已经删除
sqoop job --delete firstJob
sqoop job 作业相关推荐
- Sqoop job作业
job 语法Sqoop job作业 1. $ sqoop job (generic-args) (job-args) [-- [subtool-name] (subtool-args)] $ sqoo ...
- Apache Sqoop job 作业
创建job 创建一个名为testjob01的job,它可以从RDBMS表的数据导入到HDFS作业. 下面的命令用于创建一个从DB数据库的emp表导入到HDFS文件的作业. sqoop job --cr ...
- Sqoop数据的导入导出与job作业
1. Sqoop导入数据 站在hadoop的立场看: import:数据导入.RDBMS----->Hadoop export:数据导出.Hadoop---->RDBMS 创建表 SET ...
- 【华为云技术分享】深入浅出Sqoop之迁移过程源码分析
本文从简单介绍了Sqoop作业执行时相关的类及方法.并将该过程与MapReduce的执行结合,分析数据如何从源端迁移到目的端. Sqoop作业执行过程 抛开MR的执行过程,Sqoop执行时用到的关键类 ...
- sqoop从musql导入到hive中数据缺失
sqoop从musql导入到hive中数据缺失 sqoop是大数据架构中常用的数据导入导出组件之一,只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中. 但在实际使用过程中,常常会碰到一些问 ...
- Sqoop使用与原理
目录 一.概述 二.工作机制 1.导入 2.导出 三.安装 1.前提概述 2.软件下载 3.安装步骤 4. 修改配置文件 5.拷贝JDBC驱动 6.配置系统环境变量 7.验证安装是否成功 8.测试Sq ...
- Sqoop 各大命令解释
Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论. 我们可以通过sqoop help命令来查看sqoop的命令选项,如下: 16/11/13 20:10:1 ...
- 当我说要做大数据工程师时他们都笑我,直到三个月后……转
GitChat 作者:Fickr孫啟誠 原文: 三个月大数据研发学习计划实战解析 关注微信公众号:「GitChat 技术杂谈」 一本正经的讲技术 [不要错过文末彩蛋] 申明: 本文旨在为普通程序员 ...
- 大数据学习规划(新手入门)
前言: 一.背景介绍 二.大数据介绍 正文: 一.大数据相关的工作介绍 二.大数据工程师的技能要求 三.大数据学习规划 四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...
最新文章
- 【Redis】详细基础命令 - 学习笔记
- boost::xtime相关的测试程序
- 在TreeView查找某一节点
- python进阶(第三章1) 字典
- 北京智控美信(长春)数据中心应聘总结
- jquery+ajax 实现text框模糊搜索并可利用listbox实时显示模糊搜索列表结果
- WP7 开发(十五)输入范围和文本框
- idea git和svn间切换
- Java循环练习: 有1、2、3、4四个数字,能组成多少个无重复数字的三位数?都是多少?...
- HP喷墨打印机墨盒清零
- 如何才能更持久系列之——如何才能准确测量APP的功耗
- 抖音服务器升级中无法修改名字,抖音名字改不了怎么回事
- Windows XP支持的最大内存是多少?
- Flink 1.11 中的动态加载 udf jar 包
- 学嵌入式为什么要学Linux?
- 如何用css弄个七彩,CSS实现文字七彩呼吸灯动画
- 数字经济是如何崛起的?
- (全网独家干货)工控类网站,论坛,微信公众号的整理分享
- 2009雷人语录最全
- C++实现天梯得分排行算法
热门文章
- 如何修改数组对象的属性名(把key替换成想要的key,值不变)
- S03_CH02_AXI_DMA PL发送数据到PS
- 测试吃鸡游戏帧数软件,帧数猛提!新旧版本《绝地求生》实测
- MobileNet论文翻译
- 在黑马的两个月培训的感受
- 7-12 h0004.双倍
- 解决运行gazebo时出现“[gazebo-2] process has died [pid 7920, exit code 255.....“的问题
- .NET 7 预览版 1 发布
- idea连接数据库失败的几种解决方案
- 一行命令统计出多个文件夹中的多种类型的代码行数