cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...

1. 假设，myql安装在bigdata2上。我们要在bigdata3上执行sqoop1。

2. 首先，要在mysql上创建一个'b3'@'%'的账户，这个账户限定只能从外部ip地址访问mysql。

3. 在bigdata3上做如下操作

http://www.cloudera.com/documentation/enterprise/5-7-x/topics/cdh_ig_jdbc_driver_install.html

mkdir -p /var/lib/sqoop

chown sqoop:sqoop /var/lib/sqoop

chmod 755 /var/lib/sqoop

然后将从oracle官网下载的mysql的jdbc驱动，放到/var/lib/sqoop的目录下，且owner是sqoop，mod是755 mysql-connector-java-5.1.40-bin.jar

4 切换用户到hdfs

su hdfs

5 设定hadoop的目录

export HADOOP_MAPRED_HOME=/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce

这里个目录有诸多hadoop的jar包，根据安装目录不同，可能略有不同。

6. 在bigdata3上执行

sqoop import --connect jdbc:mysql://10.14.1.4:3306/b_test --username b3 --password b3 --table t1 --target-dir /tmp/x

注意，这个/tmp/x必须不存在。

非常有可能出现各种异常，比如，在bigdata2上用b3做import就不能成功。

如果/tmp/x文件已经存在，也不能成功。

如果HADOOP_MAPRED_HOME没有设置，也不能成功。

如果/var/lib/sqoop里没有jdbc驱动，不会成功。

如果执行命令的用户不对，也可能不成功。

总之，失败的可能是很多的。需要一一排查。

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...相关推荐

cdh mysql sqoop 驱动_大数据技术之Sqoop学习——原理、安装、使用案例、常用命令...
第1章 Sqoop 简介 Sqoop 是一款开源的工具,主要用于在 Hadoop(Hive) 与传统的数据库 (mysql,postgresql,...) 间进行数据的高校传递,可以将一个关系型数据库 ...
mysql 开发生产_在没有表锁定的情况下在巨大的MySQL生产表...
[2017]更新:MySQL 5.6支持在线索引更新 In MySQL 5.6 and higher, the table remains available for read and write o ...
Sqoop（三）将关系型数据库中的数据导入到HDFS（包括hive，hbase中）
本文转自:https://www.cnblogs.com/yfb918/p/10855170.html 一.说明: 将关系型数据库中的数据导入到 HDFS(包括 Hive, HBase) 中,如果导入 ...
Sqoop将MySQL数据导入到HDFS和Hive中
一.将数据从mysql导入 HDFS sqoop import --connect jdbc:mysql://192.168.76.1:3306/workflow --username root -- ...
ubuntu 环境下调试mysql源码_【转】Ubuntu 16.04下 Mysql 5.7.17源码编译与安装
Ubuntu 16.04下 Mysql5.7.17源码编译与安装系统环境一. 系统安装条件 1.cmake MySQL使用cmake跨平台工具预编译源码,用于设置mysql的编译参数. sudo ...
solr mysql 分词_solr 7+tomcat 8 + mysql实现solr 7基本使用(安装、集成中文分词器、定时同步数据库数据以及项目集成)...
基本说明 Solr是一个开源项目,基于Lucene的搜索服务器,一般用于高级的搜索功能: solr还支持各种插件(如中文分词器等),便于做多样化功能的集成: 提供页面操作,查看日志和配置信息,功能全面 ...
mysql中数据库覆盖导入的几种方式
众所周知,数据库中INSERT INTO语法是append方式的插入,而最近在处理一些客户数据导入场景时,经常遇到需要覆盖式导入的情况,常见的覆盖式导入主要有下面两种: 1.部分覆盖:新老数据根据关键 ...
【C#】MySQL数据库数据导入（批量Excel插入）
系列文章 [C#]代码模板生成工具本文链接:https://blog.csdn.net/youcheng_ge/article/details/126890673 [C#]MySQL数据库导入工具( ...
MySQL数据库数据导入ES中
需要安装 mysql数据导入ES中,用到的有logstash,ES,mysql的连接包.链接:https://pan.baidu.com/s/1xopMMUtPir12zrQfYcwBZg 提取码: ...

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...相关推荐

最新文章

热门文章

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs的方式...

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下 用sqoop1将mysql数据库数据导入到hdfs的方式...相关推荐

最新文章

热门文章

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...

cdh mysql sqoop 驱动_[bigdata-003]在cdh 5.7下用sqoop1将mysql数据库数据导入到hdfs的方式...相关推荐