hbase数据导入到mysql(转载+自己验证整理,目前失败)

本文是对[1]的重新整理。

#---------------------------------------------------------------------------------------------------------------------

软件	版本
MySQL	8.0.20-0ubuntu0.19.10.1
Hive	apache-hive-3.0.0-bin
Hbase	hbase-2.2.4
SQOOP	sqoop-1.4.7.bin__hadoop-2.6.0
HADOOP	hadoop-3.1.2

#---------------------------------------------------------------------------------------------------------------------

流程思路:

hbase->Hive外表->Hive内表->Mysql（这个流程搞不定，改为下述流程）

改为

hbase->Hive外表->导出Hive外表的HDFS文件->mysql导入HDFS文件

外表和内表的区别见[2]

#------------------------------------------------步骤如下---------------------------------------------------------------------

步骤	操作命令	备注
Mysql建立空表
Hbase建立employee表	create 'employee','info' put 'employee',1,'info:id',1 put 'employee',1,'info:name','peter' put 'employee',2,'info:id',2 put 'employee',2,'info:name','paul'	建表和插入2条数据
建立Hive外表(beeline)	`CREATE EXTERNAL TABLE h_employee(key int, id int, name string)STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping"= ":key, info:id,info:name") TBLPROPERTIES ("hbase.table.name"= "employee");`
建立Hive内表(beeline)	`CREATE TABLE h_employee_export(key INT, id INT, name STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY '\054';`
Hive外表->Hive内表	insert overwrite table h_employee_export select * from h_employee;	Hive外表是基于Hbase的
Hive内表->Mysql

数据库/数据仓库	表格名称
Mysql	employee
Hbase	employee
Hive内表	h_employee_export
Hive外表	h_employee

insert overwrite table h_employee_export select * from h_employee;

执行这句话的时候出现:

INFO : 2020-05-29 21:28:01,357 Stage-1 map = 0%, reduce = 0%
INFO : 2020-05-29 21:29:01,601 Stage-1 map = 0%, reduce = 0%
INFO : 2020-05-29 21:30:01,746 Stage-1 map = 0%, reduce = 0%

网上解决方案是改yarn-site.xml中的yarn.nodemanager.resource.memory-mb，试过无效，失败,以后再说！！！

##################################################################################

Reference:

[1]sqoop从hbase导出数据到mysql

[2]hive内表和外表区别(转载+自己整理)

hbase数据导入到mysql(转载+自己验证整理,目前失败)相关推荐

mysql 导入dbm文件_DBM数据导入到mysql数据库方法
本文章分享一篇关于DBM数据导入到mysql数据库方法,有需要的同学可以参考一下本实例. 首先说明一下,我以前使用PERL,保存文件用DBM,有5万多条记录,每条记录有15个字段.现在想用MYSQL ...
php实现sql server数据导入到mysql数据库_SQL Server数据库导入MySQL数据库的体验_MySQL...
SQL Server 因工作需要,要将存放在sql server数据库中的数据全部导入到mysql数据库中,在网上搜集相关资料,找到两种方法,现在分别谈谈对他们的看法. 第一种是安装mysql ODB ...
如何把ACCESS的数据导入到Mysql中
本源:网海拾贝在设立设备网站的历程中,屡屡要处置一些数据的导入及导出．在Mysql数据库中,有两种方法来处置数据的导出(伟大)． 1. 运用select * from table_name into ...
php实现sql server数据导入到mysql数据库_php实现SQL Server数据导入Mysql数据库(示例)...
php将mssql的数据导入到mysql数据库中,代码: 代码示例: //连接SQL server数据库 $conn=mssql_connect("localhost"," ...
使用Python将Excel中的数据导入到MySQL
使用Python将Excel中的数据导入到MySQL 工具 Python 2.7 xlrd MySQLdb 安装 Python 对于不同的系统安装方式不同,Windows平台有exe安装包,Ubunt ...
mysql access 2017_如何把Access的数据导入到Mysql中
在建设网站的过程中,经常要处理一些数据的导入及导出.在Mysql数据库中,一般有两种方法来处理数据的导出: 1. 使用select * from table_name into outfile &qu ...
如何将excel表格内的数据导入至mysql数据库
如何将excel表格内的数据导入至mysql数据库当前mysql版本:5.5 创建Excel表格输入数据注:第一行为数据表的列名(要保持一致) 将表格另存为.cvs格式的文件再用editPlus ...
mysql shell可视化_shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中...
shell编程系列24--shell操作数据库实战之利用shell脚本将文本数据导入到mysql中利用shell脚本将文本数据导入到mysql中需求1:处理文本中的数据,将文本中的数据插入到mys ...
oracle 数据导入 mysql_将oracle的数据导入到mysql的三种方法
为了生产库释放部分资源,需要将API模块迁移到MysqL中,及需要导数据. 尝试了oracle to MysqL工具,迁移时报错不说,这么大的数据量,用这种简陋的工具不大可靠. 意外发现平时用的数据库 ...

hbase数据导入到mysql(转载+自己验证整理,目前失败)

hbase数据导入到mysql(转载+自己验证整理,目前失败)相关推荐

最新文章

热门文章