大数据学习之sqoop
点击下载sqoop:http://mirror.bit.edu.cn/apache/sqoop/
解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar
重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
配置环境变量
export SQOOP_HOME=/data/bigdata/sqoop
export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
source /etc/profile 使文件生效
配置文件修改
cd sqoop 进入目录
cp conf/sqoop-env-template.sh conf/sqoop-env.sh
打开编辑sqoop-env.sh (因为我只有hive 只配置了hive,hbase也一样)
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/data/bigdata/hadoop-2.7.6
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/data/bigdata/hadoop-2.7.6
#set the path to where bin/hbase is available
#export HBASE_HOME=
#Set the path to where bin/hive is available
export HIVE_HOME=/data/bigdata/hive
把MySQL的驱动包上传到sqoop的lib下(之前装hive时候已经有了,拷贝过来即可,参考:https://www.cnblogs.com/lihuanghao/p/9338194.html)
cp ../hive/lib/mysql-connector-java-5.1.46.jar lib/
注:之后导入数据可能会报错:could not find ... HIVE_CONF_DIR 解决办法:
cp ../hive/lib/hive-exec-2.3.3.jar lib/
至此sqoop安装结束
附:
先在hive中创建一个表:
create table he_count (id int,ctype string,token string,version string,uptime int,channel string,devid string,devname string,cip string,num int,mac string,period int)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS TEXTFILE;
一条导入hive指令(更多请查看官网)
sqoop import --connect 'jdbc:mysql://mysql:3306/health?autoReconnect=true' --username sqoop --password sqoop --table he_count --hive-import --hive-table he_count --hive-overwrite -m 1 --hive-database default -z
转载于:https://www.cnblogs.com/lihuanghao/p/9341948.html
大数据学习之sqoop相关推荐
- 大数据学习,涉及的知识点
大数据技术都包括哪些,如何学习大数据技术.首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什 ...
- 大数据学习规划(新手入门)
前言: 一.背景介绍 二.大数据介绍 正文: 一.大数据相关的工作介绍 二.大数据工程师的技能要求 三.大数据学习规划 四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...
- 免费的大数据学习资料,这一份就足够
朋友不在于多,知心就好;资料不在于多,精致就好.一份专业的大数据学习资料才是学习大数据的利刃.小编分享的这套大数据学习资料将从学习大纲.书籍.视频教程分别分享. 在这里还是要推荐下我自己建的大数据 ...
- 【大数据】最新大数据学习路线(完整详细版,含整套教程)
大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive, ...
- 大数据学习笔记:Hadoop生态系统
文章目录 一.Hadoop是什么 二.Hadoop生态系统图 三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...
- 零基础大数据学习框架
大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发.这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或者其他Java开源社区团体的能人牛人开发 ...
- 大数据学习路线2019版(附全套视频教程及网盘下载)
什么是大数据? 大数据(BIG DATA)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的 ...
- 大数据学习路线图 让你精准掌握大数据技术学习
大数据指不用随机分析法这样捷径,而采用所有数据进行分析处理的方法.互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发,大数据开发课程采用真实商 ...
- 大数据学习路线详解,零基础学大数据学习路线
在大数据蓬勃发展的现今,大家都看到了大数据未来不可限量的发展前景,跟着科技发展的潮流,不断学习新的技术知识,科多大数据相信,成为人生赢家不在话下. 大数据的三个发展方向,平台搭建/优化/运维/监控.大 ...
最新文章
- ubuntu16.04 搭建Jenkins自动编译环境问题汇总
- Java 基础——类和对象
- 1092. To Buy or Not to Buy (20)
- 肖仰华 | 做个“有知识”的机器人
- 设计模式——解释器模式
- Linux 命令(122)—— watch 命令
- Series 入门(创建和增删改查)
- 设计模式(六)原型模式
- Silverlight Xap和Html Asp.net参数传递
- FISCO BCOS 区块链 设置交易最晚处理区块高度
- matlab 车牌识别源码,车牌识别的matlab程序
- JavaScript函数重载(js函数重载)
- 通达信板块监控指标_通达信板块分析指标公式
- 你绝没看如此详细的PDF去水印教程
- emc整改措施及案例_EMC整改案例分享
- AccessController的doPrivileged使用
- Lenovo家用台式与一体机预装Win8改装Win7的解决方案
- 无向有权图的邻接矩阵实现(C++)
- 《狼图腾》--农耕民族与游牧民族的冲突
- 短视频平台还能这样赚钱?无需拍视频,每天能赚200多详细流程
热门文章
- 虚拟机银河麒麟V10安装达梦数据库
- Unity粒子系统基本
- 发那科pmc编程手册_干货|发那科FANUC PMC编程步骤精编版(图文并茂)
- OVM-V1.3正式发布,新增三大功能 ,采用全新UI界面
- Android常用的第三方开源库和框架
- 2048游戏代码java总结_软件工程——Java版2048游戏学习报告
- mysql安装快完了报错creating mysql router configuration显示不通过,图文教程
- 从开发角度读懂公司卫生间一直有人窜稀的原理
- 计算机磁盘图标变成软件的了,电脑的本地磁盘图标变成一个U盘形状图标了怎么回事?如何解决?...
- O’Reilly创始人Tim O’Reilly谈领导力