安装hadoop下的sqoop1.99.3及配置问题全解决
2016年8月27日,解决sqoop
先下载的是sqoop1.99.7,结果配置的时候,出现了没有server/conf目录,以及启动时出现无法配置错误
./bin/sqoop.sh server start
yq@ubuntu:/opt/sqoop-1.99.7$ ./bin/sqoop.sh server start
Setting conf dir: ./bin/../conf
Sqoop home directory: /opt/sqoop-1.99.7
Starting the Sqoop2 server...
Sqoop2 server started.
dyq@ubuntu:/opt/sqoop-1.99.7$ 0 [main] INFO org.apache.sqoop.core.SqoopServer - Initializing Sqoop server.
58 [main] INFO org.apache.sqoop.core.PropertiesConfigurationProvider - Starting config file poller thread
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.<init>(DefaultMetricsSystem.java:38)
at org.apache.hadoop.metrics2.lib.DefaultMetricsSystem.<clinit>(DefaultMetricsSystem.java:36)
at org.apache.hadoop.security.UserGroupInformation$UgiMetrics.create(UserGroupInformation.java:120)
at org.apache.hadoop.security.UserGroupInformation.<clinit>(UserGroupInformation.java:236)
at org.apache.sqoop.security.authentication.SimpleAuthenticationHandler.secureLogin(SimpleAuthenticationHandler.java:39)
at org.apache.sqoop.security.AuthenticationManager.initialize(AuthenticationManager.java:98)
at org.apache.sqoop.core.SqoopServer.initialize(SqoopServer.java:57)
at org.apache.sqoop.server.SqoopJettyServer.<init>(SqoopJettyServer.java:67)
at org.apache.sqoop.server.SqoopJettyServer.main(SqoopJettyServer.java:177)
Caused by: java.lang.ClassNotFoundException: org.apache.commons.configuration.Configuration
at java.net.URLClassLoader$1.run(URLClassLoader.java:366)
at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
at java.security.AccessController.doPrivileged(Native Method)
at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
... 9 more
解决办法是下载sqoop1.99.3,然后哪找如下配置,搞掂:
2.解压文件到工作目录:
hadoop@hadoopMaster:$ sudo tar -xvf /opt/hn/hadoop_family/sqoop-1.99.3-bin-hadoop200.tar.gz
hadoop@hadoopMaster:mv /opt/hn/hadoop_family/sqoop-1.99.3-bin-hadoop200 /usr/local/sqoop
3.修改环境变量:
hadoop@hadoopMaster:~$ vim /etc/profile
添加如下内容:
#sqoop
export SQOOP_HOME=/usr/sqoop-1.99.3
export PATH=$SQOOP_HOME/bin:$PATH
export CATALINA_HOME=$SQOOP_HOME/server
export LOGDIR=$SQOOP_HOME/logs
保存退出即时生效:
source /etc/profile
4.修改sqoop配置:
hadoop@hadoopMaster:~$ vim /usr/local/sqoop/server/conf/sqoop.properties
#修改指向我的hadoop的配置文件目录
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/usr/local/hadoop-2.6.2/etc/hadoop
#把hadoop目录下的jar包都引进来
hadoop@hadoopMaster:~$ vim /usr/local/sqoop/server/conf/catalina.properties
common.loader=/usr/local/hadoop/share/hadoop/common/*.jar,/usr/local/hadoop/share/hadoop/common/lib/*.jar,/usr/local/hadoop/share/hadoop/hdfs/*.jar,/usr/local/hadoop/share/hadoop/hdfs/lib/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/*.jar,/usr/local/hadoop/share/hadoop/mapreduce/lib/*.jar,/usr/local/hadoop/share/hadoop/tools/*.jar,/usr/local/hadoop/share/hadoop/tools/lib/*.jar,/usr/local/hadoop/share/hadoop/yarn/*.jar,/usr/local/hadoop/share/hadoop/yarn/lib/*.jar,/usr/local/hadoop/share/hadoop/httpfs/tomcat/lib/*.jar
5.下载mysql驱动包
mysql-connector-java-5.1.16-bin.jar
6.启动/停止sqoop200
hadoop@hadoopMaster:/usr/local/sqoop/bin$ ./sqoop.sh server start/stop
跑起来试试:
dyq@ubuntu:/opt/sqoop-1.99.3$ ./bin/sqoop.sh server start
Sqoop home directory: /opt/sqoop-1.99.3
Setting SQOOP_HTTP_PORT: 12000
Setting SQOOP_ADMIN_PORT: 12001
Using CATALINA_OPTS:
Adding to CATALINA_OPTS: -Dsqoop.http.port=12000 -Dsqoop.admin.port=12001
Using CATALINA_BASE: /opt/sqoop-1.99.3/server
Using CATALINA_HOME: /opt/sqoop-1.99.3/server
Using CATALINA_TMPDIR: /opt/sqoop-1.99.3/server/temp
Using JRE_HOME: /usr/java/jdk1.7.0_79/jre
Using CLASSPATH: /opt/sqoop-1.99.3/server/bin/bootstrap.jar
转载于:https://blog.51cto.com/36006798/1843324
安装hadoop下的sqoop1.99.3及配置问题全解决相关推荐
- 安装mysql后在安装目录下只有my-default.ini没有my.ini文件 解决-The MySQL server is running with the --secure-file-priv
WIN10 系统环境 安装mysql后在安装目录下只有my-default.ini没有my.ini文件 . mysql报错 ---------- The MySQL server is running ...
- hadoop下Failed to set permissions of path:的解决
1.运行环境介绍 win7旗舰版,虚拟机vmware workstation 11下Centos6.2-32位,hadoop-1.1.2. 在运行mapreduce程序时会发生:Failed to s ...
- ubuntu server安装hadoop和spark,并设置集群
安装server请看本人的上一篇博客 Ubuntu Server 20.04.2 安装 先前准备工作 创建 hadoop用户 创建用户之后,输入一下指令重启 shutdown -r now 登录 ha ...
- vmware虚拟机redhat7.2下docker容器安装hadoop
2019独角兽企业重金招聘Python工程师标准>>> 系统准备: 系统安装及配置 [略]详见:http://www.osyunwei.com/archives/7702.ht ...
- Windows平台下安装Hadoop
http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html 1.安装JDK1.6或更高版本 官网下载JDK,安装时注意,最好不要安装到 ...
- Ubuntu下安装Hadoop
本人使用的是Ubuntu12.10版本,所以有些软件不用安装(Ubuntu12.10侧边栏居然还添加了亚马逊网站,略微让我感到失望),但是在这里我会告诉大家需要安装那些必要的东西.下面我们言归正传,搭 ...
- Mac环境下安装hadoop
配置ssh免密登录 mac下开启远程登录 系统偏好设置 -> 共享 -> 远程登录 授权免密登录 # 生成秘钥(如果没有) ssh-keygen -t rsa -P ''# 授权免密登录 ...
- Mac下安装Hadoop
文章目录 01 引言 02 配置ssh环境 02 安装与配置Hadoop 03 启动Hadoop并验证 3.1 启动Hadoop 3.2 启动yarn服务 04 Hadoop sbin下的命令 01 ...
- CentOS7下安装Hadoop伪分布式
前提条件 拥有CentOS7服务器版环境 软件版本说明 jdk1.8 hadoop2.7.3 虚拟机环境准备 通网络 能ping通外网,例如: ping baidu.com 如果ping不通,可以修改 ...
最新文章
- AI一分钟 | MIT研发盲眼机器人;卫报披露“假AI”,不少是人假扮的
- 分享代码到GitHub
- 哈希表(hashtable)的javascript简单实现
- 漫谈边缘计算(二):各怀心事的玩家
- snmp信息的查询命令snmpwalk
- 读javascript高级程序设计04-canvas
- 程序员春节回家装逼指南
- C#对接中国移动短信接口
- Android科大讯飞语音集成(语音输入,语音合成文字转声音)
- STFT原理及MATLAB代码
- C#调用默认浏览器打开网页的几种方法
- ubuntu20.04安装谷歌输入法命令
- vcs_dve+sverilog
- OpenCV-透视变换及对二维点求透视变换之后的坐标
- SQL数据修复,SQL数据库修复,SQL数据库修复软件,SQL数据库恢复,SQL数据库日志恢复软件
- 像写Flutter一样开发Android原生应用
- 【超级简单】向量范数计算
- layer遮罩层 简单的遮罩层
- 网吧服务器点歌系统,网吧点歌系统(网吧点歌曲软件)
- 16位片内地址的I2C SLAVE接口设计
热门文章
- 查询Oracle中字段名带.的数据
- C语言运算符的优先级
- iOS支付宝(Alipay)接入详细流程,比微信支付更简单,项目实战中的问题分析
- 开启JAVA自学新篇章
- Git环境搭建及简单的本地、远程 两库关联
- java中两个Integer类型的值相比较的问题
- docker 系列之 配置阿里云镜像加速器
- OpenGL编程轻松入门(四)
- “此文件来自其他计算机,可能被阻止以帮助保护该计算机” 教你win7解除阻止程序运行怎么操作...
- 8月第3周回顾:四巨头发三大新闻 一报告引多家争议