Sqoop导入导出的时候总是出现等待5分钟的问题解决办法

25.25.27 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法：

HDP3.1 中的 YARN 的 timeline server 默认使用内置的 HBase，不知道为什么，总是过几天就挂掉，暂时还没找到原因。后来想着让它使用外部的 HBase 看看会不会还有此问题。配置如下：
前提： Ambari 中已经装好 YARN 和 HBase 了。
（1） 把 YARN 的配置页中 Advanced yarn-hbase-env 部分里的下面三个值改成 HBase 配置页里相应的值。然后重启 YARN 的服务。

hbase.zookeeper.quorum    拷贝hbase中的设置
hbase.zookeeper.property.clientPort      2181
zookeeper.znode.parent

（2） 登陆到某台机器，执行下面的命令，创建需要的表。

export HBASE_CLASSPATH_PREFIX={hdp-dir}/hadoop-yarn/timelineservice/*{hdp-dir}/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

上面{hdp-dir} 是HDP 安装的目录，我的是 /usr/hdp/3.1.4.0-315

笔者的执行语句如下：

export HBASE_CLASSPATH_PREFIX=/usr/hdp/3.1.4.0-315/hadoop-yarn/timelineservice/*

/usr/hdp/3.1.4.0-315/hbase/bin/hbase org.apache.hadoop.yarn.server.timelineservice.storage.TimelineSchemaCreator -Dhbase.client.retries.number=35 -create -s

（3） 登陆 HBase shell，给 yarn 用户赋权限。

grant 'yarn', 'RWXCA'    （笔者没有设置）

转载于:https://www.cnblogs.com/langfanyun/p/10821415.html

Sqoop导入导出的时候总是出现等待5分钟的问题解决办法相关推荐

如何完美解决Sqoop导入导出MySQL数据错位问题
我发现小伙伴们在使用Sqoop把数据从MySQL导入到Hive的过程中经常会遇到数据错位的问题,虽然最后都是通过添加参数的方法来解决这个问题,但是我认为这并不是一个完美的解决方案,所以花了一点时间研究 ...
【Sqoop】sqoop导入导出
本文简单介绍Sqoop如下操作: Import: rdbms导入HDFS; rdbms导入Hive: rdbms导入Hbase: Export: Hive导出到rdbms: Hba ...
Sqoop导入导出基本操作
Sqoop基本操作 Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql.postgresql-)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL , ...
sqoop导入数据遇到的参数问题 ,导出–staging-table
sqoop import参数 –query "select XXXXX and $CONDITIONS " 按条件导入 -m1 指定map 在导入的时候采用指定–columns的方 ...
Sqoop安装部署和数据的导入导出案例详解
目录一.概述二.Sqoop的工作机制三.Sqoop1与Sqoop2架构对比四.Sqoop安装部署五.Sqoop的数据导入 1. 列举出所有的数据库 2. 准备表数据 3. 导入数据库表数据到 ...
sqoop导入数据（保持一致性）--staging-table
sqoop导入数据(保持一致性)–staging-table sqoop import参数 –query "select XXXXX and $CONDITIONS " 按条件导入 ...
利用sqoop将hive数据导入导出数据到mysql
http://niuzhenxin.iteye.com/blog/1726414 运行环境 centos 5.6 hadoop hive sqoop是让hadoop技术支持的clouder公司 ...
mysql数据与Hadoop之间导入导出之Sqoop实例
前面介绍了sqoop1.4.6的如何将mysql数据导入Hadoop之Sqoop安装,下面就介绍两者间的数据互通的简单使用命令. 显示mysql数据库的信息,一般sqoop安装测试用 sqoop l ...
sqoop导入与导出总结
mysql导入hadoop体系 sqoop可以可以把mysql的数据导入hdfs,hive以及hbase.就是把mysql导入hadoop体系中. sqoop需求确定导入还是导出 import 或者 ...

Sqoop导入导出的时候总是出现等待5分钟的问题解决办法

25.25.27 Sqoop导入导出的时候总是出现等待5分钟的问题解决办法：

Sqoop导入导出的时候总是出现等待5分钟的问题解决办法相关推荐

最新文章

热门文章