sqoop导数到各个数据库，可以套用

一、测试数据库连接

 sqoop list-databases \--connect jdbc:oracle:thin:@ip:port:数据库 \--username aml \--password aml

二、代码样例

#!/bin/bashwhile read line
dohdfs dfs -rmr /user/hive/warehouse/aml.db/$lineecho "********** 开始导入表 $line ************"sqoop import \--connect jdbc:oracle:thin:@ip:port:数据库 \--username 用户名 --password 密码 \--query "select * from "$line" where 1=1 and \$CONDITIONS" \--hive-import  --delete-target-dir --hive-overwrite \--hive-database aml --hive-table $line \--target-dir /user/hive/warehouse/aml.db/$line \-null-string '\\N' -null-non-string '\\N' \-m 1
done < table_list.txt--oracle 采集配置
sqoop import \                 # 导入模式    关系型数据库-> hdfs(hive)
--driver oracle.jdbc.driver.OracleDriver \            #驱动类
--connect jdbc:oracle:thin:@ip:port:数据库 \       #源数据库url
--username datacenter \               #账号
--password sjzx_ljp0411 \              #密码
--query "select * from $source_tab_name where \$CONDITIONS and $where_str " \  #要采集的数据集
--target-dir /tmp/sqoop/${source_ID}/t_${tab_name}_tmp \      #hdfs的临时目录 可自动创建
--delete-target-dir \               #数据采集前是否删除目录并新建
--hive-import \                 #导入hive
--hive-overwrite \                #数据写入模式为覆盖
--null-string '\\N' \               #替换为String类型的null为\\n
--null-non-string '\\N' \              #替换为非String类型的null为\\n
--fields-terminated-by "\t" \             #指定hive表的分隔符
--hive-drop-import-delims \              #去除列值中 \n \r 等特殊字符
--hive-table ods_${source_ID}.t_${tab_name}_tmp \        #指定hive表名
--hive-partition-key bus_date \             #插入为分区表时分区字段
--hive-partition-value ${bus_date} \           #分区的值
-m 1                    #指定maptask数量 = 并行度
``

sqoop导数到各个数据库，可以套用相关推荐

flume和sqoop导数据的区别
flume和sqoop导数据的区别? flume 产生数据就开始读数据,并把数据上传到HDFS上 sqoop导数据比flume慢一天,且只能为离线数据的导入 T+1 模式(导入为前一天的数据) 周期性 ...
sqoop 导数据从 mysql 到 hdfs，load 进 hive
sqoop 从 mysql 导数据到 hive 命令: sqoop import --connect 'jdbc:mysql://127.0.0.1:8066/int_vst_wx' --userna ...
sqoop导数据出现问题
执行下面命令的时候报错 ./sqoop import \ --connect jdbc:mysql://mini1:3306/userdb \ --username root \ --password ...
SQOOP抽取各类型数据库脚本示例
------------MySQL------------ 导入到HDFS sqoop import --connect jdbc:mysql://localhost:3306/wht --usern ...
Oozie 调用sqoop导数据出现NoClassDefFoundError问题
异常 Exception in thread "main" java.lang.NoClassDefFoundError: Could not initialize class o ...
Hue中Sqoop导数报错Could not load db driver class: com.mysql.jdbc.Driver
前言在Hue上面测试一个很简单的Sqoop import --connect jdbc:mysql://10.169.xx.xxx/test --username root --password r ...
sqoop从mysql导入数据到hdfs_利用Sqoop将数据从数据库导入到HDFS
基本使用如下面这个shell脚本: #Oracle的连接字符串,其中包含了Oracle的地址,SID,和端口号 CONNECTURL=jdbc:oracle:thin:@20.135.60.21:1 ...
Hadoop和关系型数据库间的数据传输工具——Sqoop
Hadoop和关系型数据库间的数据传输工具--Sqoop 一.Sqoop简介以及使用 1.1.产生背景基于传统关系型数据库的稳定性,还是有很多企业将数据存储在关系型数据库中:早期由于工具的缺乏,Ha ...
sqoop 导入mysql blob字段,Sqoop导入的数据格式问题
Sqoop简单介绍 Sqoop是用来在Hadoop平台和其他结构性存储(比如关系型数据库)之间解决大量数据传输问题的工具.也就是说可以从Oracle,MySQL,PostgreSQL等数据库中将数据传 ...
sqoop从musql导入到hive中数据缺失
sqoop从musql导入到hive中数据缺失 sqoop是大数据架构中常用的数据导入导出组件之一,只要简单的设置一些参数就可以将数据库的数据快速导入数据仓库中. 但在实际使用过程中,常常会碰到一些问 ...

sqoop导数到各个数据库，可以套用

sqoop导数到各个数据库，可以套用相关推荐

最新文章

热门文章