sqoop同步hdfs与mysql端口_使用Sqoop将数据在HDFS与MySQL互导

1.去官网下载sqoop，直接百度即可

2.解压后进入conf目录

guo@drguo1:/opt/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf$ cp sqoop-env-template.sh sqoop-env.sh

3.在sqoop-env.sh添加各种home

#Set path to where bin/hadoop is available

export HADOOP_COMMON_HOME=/opt/Hadoop/hadoop-2.7.2

#Set path to where hadoop-*-core.jar is available

export HADOOP_MAPRED_HOME=/opt/Hadoop/hadoop-2.7.2

#set the path to where bin/hbase is available

export HBASE_HOME=/opt/hbase

#Set the path to where bin/hive is available

export HIVE_HOME=/opt/apache-hive-2.0.0-bin

#Set the path for where zookeper config dir is

export ZOOCFGDIR=/opt/zookeeper-3.4.8/conf

4.把MySQL驱动jar包导入lib/下

5.建表

mysql> use hive;

Database changed

mysql> create table urlrule(

-> url varchar(1024),

-> info varchar(50)

-> );

Query OK, 0 rows affected (0.12 sec)

mysql> show tables;

+---------------+

| Tables_in_hive |

+---------------+

| urlrule |

+---------------+

1 row in set (0.00 sec)

6.将数据从HDFS导入MySQL

sqoop export --connect jdbc:mysql://drguo1:3306/url --username hive --password guo \

--table urlrule \

--export-dir /flow/topkurl/ \

--columns url \

--input-fields-terminated-by '\t'

7.将数据从MySQL导入HDFS

[hdfs@ws1dn1 root]$ sqoop import -m 1 --connect jdbc:mysql://192.168.1.65:3306/v3 --username root --password guo --table t_log_2016_done --target-dir /user/hdfs/testdata/

sqoop同步hdfs与mysql端口_使用Sqoop将数据在HDFS与MySQL互导相关推荐

phpstudy mysql端口_完美解决phpstudy安装后mysql无法启动（无需删除原数据库，无需更改任何配置，无需更改端口）直接共存...
今天学习php,当然是要先安装好运行环境了,phpstyudy是一个运行php的集成环境, 一键安装对新手很友好,与时作为一个新手,便跟着教程安装了phpstudy集成环境. 很快安装好了,嗯.对新手 ...
aliyun mysql 端口_阿里云怎么查看数据库端口怎么设置
阿里云怎么查看数据库端口怎么设置,阿里云服务器数据库. 在阿里云ecs云服务器上部署数据库后,在平常的操作中可能会遇到些问题,可以先做个大致的了解: 如果您想看更多的在ecs上的数据库的相关操作,请前 ...
mariab修改mysql端口_修改mysql/MariaDB数据库的端口号+远程
1.修改端口 2.远程+开放端口 (1)设置远程账号:xxx和密码yyyyyyy grant all privileges on *.* to 'xxx'@'%' identified by 'yyy ...
致远oa mysql端口_如何修改通达OA的Mysql端口
2016-05-15 回答在使用通达oa系统时很多用户需要借助mysql网页式管理工具进入后台数据库去查看数据,进行一些相应的操作.但是大多数时候用户安装完该工具后都是直接进入后台数据库,这样是很不 ...
sonarqube下安装mysql数据库_本地安装SonarQube之一——win7环境安装mysql
解压数据库(路径不要有t字开头的文件夹),然后配置环境变量,地址是${mysql5.7.20}/bin. 然后在${mysql5.7.20}文件夹下创建my.ini文件.文件内容如下: [mysql] ...
phpnow mysql字符集_使用PHPnow搭建本地PHP环境+创建MySQL数据库
要想学习WordPress建站,在本地搭建PHP环境是十分必要的,在以后的建站日子里,你可以使用这个环境来进行wordpress的程序学习.调试等工作,等你熟悉了wordpress以后,再购买域名和空 ...
Ubuntu MySQL性能_入门系列之在Ubuntu上使用MySQL设置远程数据库优化站点性能
介绍随着您的应用程序或网站的增长,您可能已经超出了当前的服务器设置.如果您在同一台计算机上托管Web服务器和数据库后端,最好将这两个功能分开,以便每个功能可以在自己的硬件上运行,并分担响应访问者请求 ...
phpnow mysql密码_使用PHPnow搭建本地PHP环境+创建MySQL数据库
要想学习WordPress建站,在本地搭建PHP环境是十分必要的,在以后的建站日子里,你可以使用这个环境来进行wordpress的程序学习.调试等工作,等你熟悉了wordpress以后,再购买域名和空 ...
linux开启mysql窗口_通过window(Navicat)访问linux中的mysql数据库
Centos安装Mysql数据库查看我们的操作系统上是否已经安装了mysql数据库 [root@centos~]# rpm -qa | grep mysql//这个命令就会查看该操作系统上是否已经安 ...

sqoop同步hdfs与mysql端口_使用Sqoop将数据在HDFS与MySQL互导

sqoop同步hdfs与mysql端口_使用Sqoop将数据在HDFS与MySQL互导相关推荐

最新文章

热门文章