点击下载sqoop:http://mirror.bit.edu.cn/apache/sqoop/

解压缩:tar -xvf sqoop-1.4.7.bin__hadoop-2.6.0.tar

重命名:mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop

配置环境变量

  export SQOOP_HOME=/data/bigdata/sqoop

  export PATH=$SQOOP_HOME/bin:$HIVE_HOME/bin:$SCALA_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

  source /etc/profile 使文件生效

配置文件修改

  cd sqoop 进入目录

cp conf/sqoop-env-template.sh conf/sqoop-env.sh

  打开编辑sqoop-env.sh (因为我只有hive 只配置了hive,hbase也一样)

    #Set path to where bin/hadoop is available

    export HADOOP_COMMON_HOME=/data/bigdata/hadoop-2.7.6

    #Set path to where hadoop-*-core.jar is available
    export HADOOP_MAPRED_HOME=/data/bigdata/hadoop-2.7.6

    #set the path to where bin/hbase is available
    #export HBASE_HOME=

    #Set the path to where bin/hive is available
    export HIVE_HOME=/data/bigdata/hive

把MySQL的驱动包上传到sqoop的lib下(之前装hive时候已经有了,拷贝过来即可,参考:https://www.cnblogs.com/lihuanghao/p/9338194.html)

  cp ../hive/lib/mysql-connector-java-5.1.46.jar lib/

  注:之后导入数据可能会报错:could not find ... HIVE_CONF_DIR 解决办法:

  cp ../hive/lib/hive-exec-2.3.3.jar lib/

至此sqoop安装结束

附:

  先在hive中创建一个表:

create table he_count (id int,ctype string,token string,version string,uptime int,channel string,devid string,devname string,cip string,num int,mac string,period int)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\001' STORED AS TEXTFILE;

  一条导入hive指令(更多请查看官网)

  sqoop import --connect 'jdbc:mysql://mysql:3306/health?autoReconnect=true' --username sqoop --password sqoop --table he_count    --hive-import --hive-table he_count --hive-overwrite -m 1 --hive-database default -z

  

  

转载于:https://www.cnblogs.com/lihuanghao/p/9341948.html

大数据学习之sqoop相关推荐

  1. 大数据学习,涉及的知识点

    大数据技术都包括哪些,如何学习大数据技术.首先我们要了解Java语言和Linux操作系统,这两个是学习大数据的基础,学习的顺序不分前后. 很多初学者,对大数据的概念都是模糊不清的,大数据是什么,能做什 ...

  2. 大数据学习规划(新手入门)

    前言: 一.背景介绍 二.大数据介绍 正文: 一.大数据相关的工作介绍 二.大数据工程师的技能要求 三.大数据学习规划 四.持续学习资源推荐(书籍,博客,网站) 五.项目案例分析(批处理+实时处理) ...

  3. 免费的大数据学习资料,这一份就足够

      朋友不在于多,知心就好;资料不在于多,精致就好.一份专业的大数据学习资料才是学习大数据的利刃.小编分享的这套大数据学习资料将从学习大纲.书籍.视频教程分别分享. 在这里还是要推荐下我自己建的大数据 ...

  4. 【大数据】最新大数据学习路线(完整详细版,含整套教程)

    大数据学习路线 java(Java se,javaweb) Linux(shell,高并发架构,lucene,solr) Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive, ...

  5. 大数据学习笔记:Hadoop生态系统

    文章目录 一.Hadoop是什么 二.Hadoop生态系统图 三.Hadoop生态圈常用组件 (一)Hadoop (二)HDFS (三)MapReduce (四)Hive (五)Hbase (六)Zo ...

  6. 零基础大数据学习框架

    大数据开发最核心的课程就是Hadoop框架,几乎可以说Hadoop就是大数据开发.这个框架就类似于Java应用开发的SSH/SSM框架,都是Apache基金会或者其他Java开源社区团体的能人牛人开发 ...

  7. 大数据学习路线2019版(附全套视频教程及网盘下载)

    什么是大数据? 大数据(BIG DATA)是指无法在一定时间范围内用常规软件工具进行捕捉.管理和处理的数据集合,是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的 ...

  8. 大数据学习路线图 让你精准掌握大数据技术学习

    大数据指不用随机分析法这样捷径,而采用所有数据进行分析处理的方法.互联网时代每个企业每天都要产生庞大的数据,对数据进行储存,对有效的数据进行挖掘分析并应用需要依赖于大数据开发,大数据开发课程采用真实商 ...

  9. 大数据学习路线详解,零基础学大数据学习路线

    在大数据蓬勃发展的现今,大家都看到了大数据未来不可限量的发展前景,跟着科技发展的潮流,不断学习新的技术知识,科多大数据相信,成为人生赢家不在话下. 大数据的三个发展方向,平台搭建/优化/运维/监控.大 ...

最新文章

  1. ubuntu16.04 搭建Jenkins自动编译环境问题汇总
  2. Java 基础——类和对象
  3. 1092. To Buy or Not to Buy (20)
  4. 肖仰华 | 做个“有知识”的机器人
  5. 设计模式——解释器模式
  6. Linux 命令(122)—— watch 命令
  7. Series 入门(创建和增删改查)
  8. 设计模式(六)原型模式
  9. Silverlight Xap和Html Asp.net参数传递
  10. FISCO BCOS 区块链 设置交易最晚处理区块高度
  11. matlab 车牌识别源码,车牌识别的matlab程序
  12. JavaScript函数重载(js函数重载)
  13. 通达信板块监控指标_通达信板块分析指标公式
  14. 你绝没看如此详细的PDF去水印教程
  15. emc整改措施及案例_EMC整改案例分享
  16. AccessController的doPrivileged使用
  17. Lenovo家用台式与一体机预装Win8改装Win7的解决方案
  18. 无向有权图的邻接矩阵实现(C++)
  19. 《狼图腾》--农耕民族与游牧民族的冲突
  20. 短视频平台还能这样赚钱?无需拍视频,每天能赚200多详细流程

热门文章

  1. 虚拟机银河麒麟V10安装达梦数据库
  2. Unity粒子系统基本
  3. 发那科pmc编程手册_干货|发那科FANUC PMC编程步骤精编版(图文并茂)
  4. OVM-V1.3正式发布,新增三大功能 ,采用全新UI界面
  5. Android常用的第三方开源库和框架
  6. 2048游戏代码java总结_软件工程——Java版2048游戏学习报告
  7. mysql安装快完了报错creating mysql router configuration显示不通过,图文教程
  8. 从开发角度读懂公司卫生间一直有人窜稀的原理
  9. 计算机磁盘图标变成软件的了,电脑的本地磁盘图标变成一个U盘形状图标了怎么回事?如何解决?...
  10. O’Reilly创始人Tim O’Reilly谈领导力