Sqoop 同步Parquet partition Hive表

一、import (mysql to hive)

1、同步textfile类型（不支持Orc或Parquet）

way 1 (同步到hive表)

sqoop import \--connect jdbc:mysql://localhost:3306/mysql_db \--username mysql_user \--password mysql_pass \--table mysql_table \--columns mysql_column_list \--where "1=1 " \--hive-import \--hive-overwrite \--hive-table hive_db.hive_table \--hive-partition-key hive_partition_key \--hive-partition-value hive_partition_value \-m 1

way 2 (同步到hdfs 需要加映射)

sqoop import \--connect jdbc:mysql://localhost:3306/mysql_db \--username mysql_user \--password mysql_pass \--table mysql_table \--columns mysql_column_list \--where "1=1 " \--delete-target-dir--target-dir hdfs_path/p_day=2222-01-01 \--fields-terminated-by \001--null-string \\N--null-non-string \\N-m 1

2、同步Parquet或Orc类型Hive表

需要用到 hcatalog

sqoop import \--connect jdbc:mysql://localhost:3306/mysql_db \--username mysql_user \--password mysql_pass \--table mysql_table \--columns mysql_column_list \--where "1=1 " \--hcatalog-database hive_db \--hcatalog-table hive_table \--hcatalog-partition-keys hive_partition_key \--hcatalog-partition-values hive_partition_value \-m 1

存在 不能overwrite 问题，所以需要先删除 hdfs对应的partition目录
下图（Hcatalog 不支持的Sqoop操作）

二、export (hive to mysql)

sqoop export \--connect jdbc:mysql://localhost:3306/mysql_db \--username mysql_user \--password mysql_pass \--table mysql_table \--columns mysql_column_list \--hcatalog-database hive_db \--hcatalog-table hive_table \--hcatalog-partition-keys hive_partition_key \--hcatalog-partition-values hive_partition_value \--num-mappers 1

存在 hive_partition_key 必须是String类型，且Export 不支持 --query操作 的问题

参考文档

https://data-flair.training/blogs/sqoop-hcatalog-integration/

Sqoop 同步Parquet partition Hive表相关推荐

hbase查询语句_Sqoop实操|Sqoop导入Parquet文件Hive查询为null问题
作者:余枫 1 问题重现 1.在MySQL中建表,一个bigint字段,二个varchar字段 2.在Hive中建Parquet表 create table test(s1 string commen ...
hive表指定分区字段搜索_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件...
首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...
spark sql 查看分区_Spark SQL解析查询parquet格式Hive表获取分区字段和查询条件
首先说一下,这里解决的问题应用场景: sparksql处理Hive表数据时,判断加载的是否是分区表,以及分区表的字段有哪些?再进一步限制查询分区表必须指定分区? 这里涉及到两种情况:select SQ ...
sqoop mysql parquet_Sqoop抽取Hive Parquet表数据到MySQL异常分析
温馨提示:要看高清无码套图,请使用手机打开并单击图片放大查看. Fayson的github:https://github.com/fayson/cdhproject 1.问题描述在CDH集群中我们需 ...
利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到网站:https://www.captainai.net/dongkelun 前言在最开始学习Hudi源码 ...
sqoop动态分区导入mysql,sqoop 导入数据到hive分区表（外表，内表）指定分区指定数据库指定表...
sqoop 导入数据到hive 1.1.导入数据到hive分区表(内表),指定分区创建hive分区表 –hive-database 指定数据库 –table 指定表 –hive-overwrite ...
执行sqoop 用shell_Mysql和Hive之间通过Sqoop进行数据同步
文章回顾理论大数据框架原理简介大数据发展历程及技术选型实践搭建大数据运行环境之一搭建大数据运行环境之二本地MAC环境配置 CPU数和内存大小查看CPU数 sysctl machdep. ...
Sqoop：MySQL2Sqoop修改源表结构对同步数据的影响
背景信息: 本文用Sqoop实现MySQL中数据向Hive数据的抽取,研究在修改MySQL中数据以及表结构对抽取结果的影响环境: cloudera VM(包含Hadoop生态各组件),并在此VM中安 ...
往hive表中插入与导出数据方式load ,insert ,sqoop 等方式详解
往hive数据仓库的表中导入数据,可以直接insert ,也可以选择load方式.当然也可以通过第三方工具如sqoop等将数据导入到hive当初.特别注意:hive虽然不会验证用户装载的数据和表的模式 ...

Sqoop 同步Parquet partition Hive表

一、import (mysql to hive)

1、同步textfile类型（不支持Orc或Parquet）

way 1 (同步到hive表)

way 2 (同步到hdfs 需要加映射)

2、同步Parquet或Orc类型Hive表

二、export (hive to mysql)

Sqoop 同步Parquet partition Hive表相关推荐

最新文章

热门文章