一、从msyql导入到hive表中

创建hive表

sqoop import --connect --username --password --query " SELECT * FROM User_LoginHistory.User_OnlineHistory_total WHERE LoginTime>='2013-01-01' and LoginTime<'2013-01-01 00:01:00' and \$CONDITIONS" -m 1 --fields-terminated-by '\t' --target-dir /user/root/bh_base_data/login --hive-import --hive-drop-import-delims --hive-table bhdp_base_data.login --create-hive-table

追加模式导入hive表
sqoop import --connect --username --password --append --query "SELECT * FROM User_LoginHistory.User_OnlineHistory_total WHERE LoginTime>='2013-01-01' and LoginTime<'2013-1-3' and \$CONDITIONS " -m 1 --fields-terminated-by '\t' --target-dir /user/hive/warehouse/bhdp_base_data.db/login

#!/bin/sh

tableNameList='DimAccountStatus DimAdInvestment DimAge DimAuthCategory DimAuthCheckStatus DimChannel DimCreditedById5 DimCreditedByMobile DimDate DimDegree DimGender D
imGeography DimHasMainPhoto DimHousing DimIncome DimInsign DimLoveStatus DimLoveType DimMarriage DimMergedDegree DimMergedHousing DimMergedIncome DimNewDegree DimNewHo
using DimNewIncome DimOrderStatus DimPhotoCheckStatus DimPlatform DimService DimTime DimUserIdType'

for tableName in ${tableNameList}
do
sqoop import --connect 'jdbc:mysql://172.16.4.113:3307/?useUnicode=true&characterEncoding=utf8' --username '***' --password '***' --query " SELECT * FR
OM bhdw.${tableName} where \$CONDITIONS" -m 1 --fields-terminated-by '\t' --target-dir /user/root/lmj_temp --hive-table bhdw.${tableName} --hive-import --hive-drop-i
mport-delims --null-non-string '\\N' --null-string '\\N' --hive-overwrite --create-hive-table
done

二、从sqlserver导入到hive表中

#!/bin/sh

tableNameList='DimInsign Dim_Insign Dim_Services Dim_PayPlatform Dim_ServiceConfig Dim_WapProductSource'

for tableName in ${tableNameList}
do
sqoop import --connect "jdbc:sqlserver://172.16.3.190;username=***;password=***;database=BHDW" --query " SELECT * FROM ${tableName} where \$CONDITIONS" -m 1 --fields-terminated-by '\t' --target-dir /user/root/lmj_temp --hive-import --hive-overwrite --hive-drop-import-delims --null-non-st
ring '\\N' --null-string '\\N' --hive-table bhdw.${tableName}
done

sqoop导入数据到hive相关推荐

sqoop动态分区导入mysql,sqoop 导入数据到hive分区表（外表，内表）指定分区指定数据库指定表...
sqoop 导入数据到hive 1.1.导入数据到hive分区表(内表),指定分区创建hive分区表 –hive-database 指定数据库 –table 指定表 –hive-overwrite ...
sqoop导入数据到hive中元数据问题
简单配置了sqoop之后开始使用,之前用的时候很好用,也不记得有没有启动hivemetastore,今天用的时候没有启动,结果导入数据时,如果使用了db.tablename,就会出现找不到数据库的错, ...
SQOOP 部署及导入数据到 Hive 的实际应用
目录写在最前: 1.核心的功能有两个 2.sqoop 版本说明一.部署 1.安装前准备 2.创建用户和组 3.解压到指定目录 4.添加系统环境变量 5.创建 sqoop-env.sh 文件 5.1 ...
Sqoop 导入数据到hdfs和hive总结
使用帮助 Sqoop help 查看所有的sqoop的帮助 Sqoop help import 查看import命令的帮助 Eg: sqoop导入到HDFS的一个简单示例: sqoop import ...
sqoop导入数据（保持一致性）--staging-table
sqoop导入数据(保持一致性)–staging-table sqoop import参数 –query "select XXXXX and $CONDITIONS " 按条件导入 ...
sqoop导入数据常见问题解决方法
sqoop导入数据常见问题解决方法参考文章: (1)sqoop导入数据常见问题解决方法 (2)https://www.cnblogs.com/chaojibaidu/p/11071132.html ...
Sqoop导入数据--split by 和 --m（大于1）配合使用
Sqoop导入数据–split by 和 --m(大于1)配合使用 split-by 根据不同的参数类型有不同的切分方法: 如int型,Sqoop会取最大和最小split-by字段值,然后根据传入的n ...
Sqoop导入数据发生数据倾斜问题及更好解决
Sqoop导入数据发生数据倾斜问题及更好解决一:问题在生产环境中,由于数据是庞大的,且是复杂的 Sqoop抽数使用单实例报内存溢出以及抽数时间过长,决定采用sqoop的多实例并行抽数官网:ht ...
hbase查询语句_Sqoop实操|Sqoop导入Parquet文件Hive查询为null问题
作者:余枫 1 问题重现 1.在MySQL中建表,一个bigint字段,二个varchar字段 2.在Hive中建Parquet表 create table test(s1 string commen ...

sqoop导入数据到hive

一、从msyql导入到hive表中

二、从sqlserver导入到hive表中

sqoop导入数据到hive相关推荐

最新文章

热门文章