导入hbase_HBase基础学习之bulkload了解

之前在学习importTSV我们准备两份数据

这两份数据在导入hbase后，数据还是存在的，我们如果想要实现和hive中类似"剪切"的功能该怎么办？这种可以跨过先写入memstore，直接将数据转换为storefile文件。

我们来操作

第一步：转换为Hfile

执行语句

/opt/bigdata/hadoop-2.7.3/bin/yarn jar /opt/bigdata/hbase-1.2.1/lib/hbase-server-1.2.1.jar importtsv -Dimporttsv.columns=HBASE_ROW_KEY,f1:name,f2:age,f3:addr,f1:location -Dimporttsv.bulk.output=/testHfile stu_info_importtsv /importTSVData/stu_info_out

会生成一个新的目录

生成内容

/testHfile

这个时候，在

/hbase/data/default/stu_info_importtsv/1ba134e9102fdfb6a6c34c5785a69692

下我们可以看到f1,f2,f3

我们接下来只需要将/testHfile/f1下的文件移动到/hbase/data/default/stu_info_importtsv/1ba134e9102fdfb6a6c34c5785a69692/f1就可以了

第二步：将Hfile导入到hbase表中 completebulkload (hdfs上做了移动文件的操作)

执行语句

/opt/bigdata/hadoop-2.7.3/bin/yarn jar /opt/bigdata/hbase-1.2.1/lib/hbase-server-1.2.1.jar completebulkload /testHfile stu_info_importtsv

速度很快

发现在

/hbase/data/default/stu_info_importtsv/1ba134e9102fdfb6a6c34c5785a69692/f1

已经出现了

而在/testHfile/f1已经没有数据了

在hbase中看下数据

我们可以合并这两个文件吗？

可以使用

major_compact 'stu_info_importtsv'

查看下，发现已经合并了

我们再在网页上查看下

我们手动做一下split操作

split 'stu_info_importtsv' ,'202001061344'

发现已经手动切割了，上下限也有了

这边也是两个了

第二步像hive的load加载，IO消耗比较低，减少了client和节点之间的RPC通信

将批量的文件先转换为Hfile，可以批量导入hbase中(底层还是封装好的java程序)

bulkload方式还是可以用代码实现的

创建一个类

导入的包

编写Map

Run方法

编写执行方法

创建表

create 'student','info'

查看下数据，是否存在

/opt/bigdata/hadoop-2.7.3/bin/hdfs dfs -text /importTSVData/stu_info_out

运行代码，查看生成的数据

HDFS上也存在

导入hbase_HBase基础学习之bulkload了解相关推荐

MySQL基础学习③数据库准备工作，导入官方employees数据库
文章目录 1.前言 2.构建步骤 2.1 测试数据库文件下载 2.2 在test_db文件里打开cmd 2.3 导入成功 3. employees数据库 -- 职工雇佣信息 3.1 employees ...
ue5新手零基础学习教程 Unreal Engine 5 Beginner Tutorial - UE5 Starter Course
ue5新手零基础学习教程 Unreal Engine 5 Beginner Tutorial - UE5 Starter Course! 教程大小解压后:4.96G 语言:英语+中英文字幕(机译)时长 ...
java基础学习整理(一)
java基础学习整理(一) lesson1: D0s命令: 1.回到根目录,>cd \ 2.复制命令行下的内容,右击标记所要复制的内容,这样就已经复制好了,右击粘贴就可以了. 3.查看,设置环境 ...
Python科学计算之Pandas基础学习
Python科学计算之Pandas基础学习导入Pandas 我们首先要导入我们的演出明星--Pandas. 这是导入Pandas的标准方式.显然,我们不希望每时每刻都在程序中写'pandas',但是 ...
python 内存溢出能捕获吗_从0基础学习Python (19)[面向对象开发过程中的异常（捕获异常～相关）]...
从0基础学习Python (Day19) 面向对象开发过程中的=>异常什么是异常当程序在运行过程中出现的一些错误,或者语法逻辑出现问题,解释器此时无法继续正常执行了,反而出现了一些错误的 ...
零基础学习hadoop到上手工作线路指导（中级篇）
2019独角兽企业重金招聘Python工程师标准>>> 此篇是在零基础学习hadoop到上手工作线路指导(初级篇)的基础,一个继续总结. 五一假期:在写点内容,也算是总结.上面我们会 ...
python基础代码的含义_Python基础学习篇
原标题:Python基础学习篇 1.编码默认情况下,Python 3 源码文件以 UTF-8 编码,所有字符串都是unicode 字符串. 当然你也可以为源码文件指定不同的编码:# -*- codi ...
Python3 基础学习笔记 C09【文件和异常】
CSDN 课程推荐:<8小时Python零基础轻松入门>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python:轻松入门& ...
Python3 基础学习笔记 C08 【类】
CSDN 课程推荐:<8小时Python零基础轻松入门>,讲师齐伟,苏州研途教育科技有限公司CTO,苏州大学应用统计专业硕士生指导委员会委员:已出版<跟老齐学Python:轻松入门& ...

导入hbase_HBase基础学习之bulkload了解

导入hbase_HBase基础学习之bulkload了解相关推荐

最新文章

热门文章