BigBrother的大数据之旅Day 15 sqoop

sqoop

part one

1 数据迁移工具
2 通常用于hdfs和关系型数据库之间
3 实质是mapreduce
4 数据的导入导出是从hdfs的角度来说的,谁让sqoop是apache的东西呢

part two
1 解压 sqoop软件
2 查看命令
3 导入数据

import
--connect
jdbc:mysql://192.168.239.1:3306/test
--driver
com.mysql.jdbc.Driver
--username
root
--password
123123
--as-textfile #以文本的方式进行保存
--columns
EMPNO,ENAME,JOB,SAL,DEPTNO
--table
emp
--where # 后面可以加条件
1=1
--target-dir
hdfs://hadoop001:9000/sqoop/data1/
--null-string # 当表中某一个字段的值为NULL是，使用空格替代
' ' # ''之间是有一个空格的

4 导出数据
把hdfs的数据导出到mysql

export
--connect
jdbc:mysql://192.168.239.1/logs_result
--driver
com.mysql.jdbc.Driver
--username
root
--password
123123
--table
stats_view_depth
--export-dir
hdfs://hadoop001:9000/user/hive/warehouse/stats_view_depth/
-m
1

ps:
(1) 需要mysql的驱动包哦
(2) 如果column全部导入,那么不需要写这个字段,如果导入若干,需要写列名

BigBrother的大数据之旅Day 15 sqoop相关推荐

BigBrother的大数据之旅 Day 5 负载均衡
BigBrother的大数据之旅 Day 5 负载均衡学习目标: 掌握nginx集群 nginx的配置文件基本配置 Location(难点,重点) 一个配置属性:根据用户的请求地址,去服务器上匹配文 ...
BigBrother的大数据之旅 Day 1 Linux(1)
Today is a new day! 1 scala是大数据的主流编程语言 Scala是一种强大的JVM语言,混合了函数式和面向对象编程范式 2 大数据的本质为:分布式计算 3 大数据中常见的数据类 ...
BigBrother的大数据之旅Day 13 hbase(2)
HBase(2) 详述人员角色表的设计思路以及实现思路:两个部分的信息分别保存到两张表中,因为hbase是列存储的表,一般存储非关系数据,就像记笔记一样,把关键点写上. 第一张表: 个人信息表 ro ...
BigBrother的大数据之旅Day 12 Hbase(1)
HBASE (Hadoop Database)是个高可用,高性能, 面向列可伸缩.实时读写的分布式数据库 Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase ...
BigBrother的大数据之旅Day 14 某项目流程
某平台日志项目流程架构分析 1 埋点程序把数据以url的方式提交给nginx服务器 2 nginx服务器把日志信息(文本文件)保存到本地硬盘 3 flume,安装中nginx上通过主动方式读取日志 ...
BigBrother的大数据之旅 Day 4 Linux(4)
学习目标: 掌握shell的基本语法变量本地变量:作用在当前shellscript中环境变量:作用在当前的shell(bash)及其子shell(bash) 局部变量特殊变量 :$#, $?, ...
BigBrother的大数据之旅Day 11 hive(2)
HIVE参数命名空间读写权限含义 hiveconf 可读写 hive-site.xml当中的各配置变量例:hive --hiveconf hive.cli.print.header=true ...
BigBrother的大数据之旅Day 10 hive(1)
HIVE 1 一些概念 HIve存在的目的:非编程人员使用mapreduce进行分析 HIVE:是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功 ...
BigBrother的大数据之旅Day 17 redis(2)
Redis(2) 1 redis持久化持久化: 将数据从掉电易失的内存存放到能够永久存储的设备上 redis持久化两种 : RDB (redis DB)镜像文件,dump.rdb AOF(appe ...

BigBrother的大数据之旅Day 15 sqoop

sqoop

BigBrother的大数据之旅Day 15 sqoop相关推荐

最新文章

热门文章