sqoop动态分区导入mysql,sqoop 导入数据到hive分区表(外表,内表) 指定分区 指定数据库 指定表...
sqoop 导入数据到hive
1.1.导入数据到hive分区表(内表),指定分区
创建hive分区表
–hive-database 指定数据库
–table 指定表
–hive-overwrite 覆盖已有表中的数据
从mysql导入数据到hive,导入的hive的默认数据库
bin/sqoop import --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --m 1
从msyql导入hive,导入到指定数据库
bin/sqoop import --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --m 1
导入数据到hive指定表
bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-database=tmp --hive-table xin_bang_data --m 1
导入数据到hive,覆盖表中原有的数据
bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl123 --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --hive-table xin_bang_data --m 1
CREATE TABLE tmp.`xin_bang_data` (
`id` string,
`weixin_name` string,
`weixin_code` string,
`read_num` string,
`fans_num` string,
`new_index` string,
`insert_time` string
)
partitioned by(dt string)
row format delimited fields terminated by '\t';
1.2 把数据从mysql导入数据到hive分区表(内表),指定数据导入的分区
bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd --username crawl --password crawl --table xin_bang_data --hive-import --hive-overwrite --hive-database=tmp --hive-table xin_bang_data --m 1
bin/sqoop import --connect --connect jdbc:mysql://180.150.180.120:3306/mcd \
--username crawl \
--password crawl123 \
--table xin_bang_data \
--fields-terminated-by "\t" \
--delete-target-dir \
--hive-import \
--m 1 \
--hive-partition-key dt \
--hive-partition-value 20181117 \
--hive-database tmp \
--hive-table xin_bang_data
1.3.从mysql导入数据到hive外表
创建外表
CREATE external TABLE `YDDT` (
`ID` string,
`YDJC_ID` string,
`YDDT_DATA_TYPE` string,
`YDDT_BUSSINESS_NOW` bigint,
`YDDT_USER_NOW` bigint,
`YDDT_COLLECT_TIME` string,
`YDDT_CREATOR` string,
`YDDT_DATE` string,
`BACK` string
) PARTITIONED BY (day int) row format delimited fields terminated by '\t';
数据导入
sqoop import --connect jdbc:mysql://172.20.13.50:3306/TestBigDate --username root --password 123456 --table YDDT_2017_06_01 -m 3 --target-dir /user/hive/warehouse/dxyjpt.db/yddt/day=20170601 --fields-terminated-by '\t'
标记表的分区信息
alter table yddt add partition(day='20170601') location '/user/hive/warehouse/dxyjpt.db/yddt/day=20170601'
sqoop动态分区导入mysql,sqoop 导入数据到hive分区表(外表,内表) 指定分区 指定数据库 指定表...相关推荐
- 巨坑:从Sqoop导入MySQL导入TINYINT(1)类型数据到hive(tinyint),数据为null
问题描述 从Sqoop导入MySQL导入TINYINT(1)类型数据到hive(tinyint),数据为null 问题原因 Sqoop在抽取数据到Hive或者HDFS时,会自动将类型为Tinyint( ...
- mysql创建数据库后怎么导入表_MySQL--初步了解数据库和表,创建数据库并导入数据...
在上一篇文章当中,我们初步了解了MySQL Workbench的图形界面. 接下来,我们就开始去初步了解数据库和表,以及创建一个数据库和向MySQL里面导入数据. 一.初步了解数据库创建一个数据库 1 ...
- spark写表指定外部表_spark 将dataframe数据写入Hive分区表
从spark1.2 到spark1.3,spark SQL中的SchemaRDD变为了DataFrame,DataFrame相对于SchemaRDD有了较大改变,同时提供了更多好用且方便的API. D ...
- navcat导入mysql bak_navcat excel数据导入mysql的方法
navcat excel数据导入mysql的方法 先navcat导出 xls格式 然后把数据复制到往这个xls里 (按照这个xls格式) 然后导入mysql就行了 如果导入的过程无法识别excel里的 ...
- word导入mysql表格_数据插入Word 表格步骤
数据插入Word 表格步骤 数据插入Word 表格步骤 (1)单击[数据库]工具栏上的[插入数据库]按钮,出现[数 据库]对话框,如图4-33 所示. (2)单击[获取数据]按钮,弹出[选择数据源]对 ...
- 导入mysql 1044_MySQL导入sql文件错误#1044
换了台新的笔记本,原来的mysql被我dump成一个sql文件,50多M.结果在新系统里面导入的时候出现问题,在命令行执行source的时候报 在我的个人知识管理中,经常用到mysql数据库,word ...
- mysql查询单表的销售额_MYsql数据库单表百万数据量查询
最近总在意自己的网页刷新数据的速度,mysql5.7和mysql8.0单表数据库导入百万甚至千万数据的时候,会不会卡死,会不会慢? 因此编写测试用例,通过Navicat Premium来查询单表的时间 ...
- mysql字段掩码_在必须输入字母A~Z或数字0~9数据库中设计表时,如果将字段的输入掩码设置为“LLLL”,则该字段能够接受的输入是()_学小易找答案...
[单选题]关于Access2010的索引,下列叙述中错误的是() [单选题]痰饮淤血() [单选题]关于Access查询中的数据源,下列说法中正确的是 [单选题]对Access2010表中某一个字段建 ...
- 大数据之hive分区表和分桶表的区别
(一)二者的区别 (1)分区和分桶都是细化数据管理,但是分区表是手动添加区分,由于hive是读模式,所以对添加进分区的数据不做模式校验.分桶表的数据时按住某些分桶字段进行hash散列 相乘的多个文件, ...
最新文章
- annie安装教程与Access is denied解决方法
- Swift - final关键字的介绍,以及使用场景
- 这100道Python面试题,你会几道?
- Service Worker 概念简介
- 使用dom breakpoint找到修改属性的javascript代码
- 数据告诉你,抖音是如何在半年之内逆袭的
- E1光端机和2M光端机有什么区别?
- 马尔可夫链蒙特卡罗法(Markov Chain Monte Carlo,MCMC)
- Dell做RAID配置图文全教程
- 妲己机器人功能_来自机器人影响者的5个功能强大的Instagram教训
- 企业篇之员工工资管理系统(Java+SQL sever实现)
- android能播放4k视频格式,四平台六款手机4K视频播放实测
- MODIS,Himwari-8遥感数据介绍
- 论html5十大优点
- BugKu CTF(杂项篇MISC)—放松一下吧
- asp.net930-绿能店电动车租赁系统
- 用c语言写一个求和的程序,C语言实现两数求和
- 自动驾驶L1至L5智能化程度分级
- 关于curses 安装
- Vue接入Google Adsense
热门文章
- java大会主题曲_网易未来大会主题曲发布,从创作到演唱都由AI包办
- linux yum lamp环境,linux centos yum安装LAMP环境
- linux使关机命令失效,解决Linux系统在设置alias命令重启后失效的问题
- 计算机网络和机器视觉,一文读懂计算机视觉和机器人视觉
- unicode字符编码表下载_详解字符编码(上)
- mysql查询大量数据报错_mysql 查询大量数据报错
- apply与applymap的区别
- pywt.upcoef中take使用详解
- vue 父刷新子_父组件中vuex方法更新state子组件不能及时更新并渲染的完美解决方法...
- php 字符串包含另一个字符串_leetcode1433_go_检查一个字符串是否可以打破另一个字符串...