【Hbase】HBase数据快速导入之ImportTsv

1。在前面的博客中使用程序导入数据，但是当数据量太大了，会非常的慢，因为他是一行一行读取的，然后put上去的，我尝试put2亿条数据结果用了一天

2。现在要用改进板的，使用hbase自带的工具ImportTsv
ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命令方便的导入到HBase表中，对于大数据量导入非常实用，其中包含两种方式将数据导入到HBase表中：
第一种是使用TableOutputformat在reduce中插入数据；
第二种是先生成HFile格式的文件，再执行一个叫做CompleteBulkLoad的命令，将文件move到HBase表空间目录下，同时提供给client查询。

3。下面开始使用一下试试
使用程序

package sparksql.test.files;import java.io.File;
import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStreamWriter;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.Date;

【Hbase】HBase数据快速导入之ImportTsv相关推荐

千万条数据快速导入MySQL
千万级数据快速导入MySQL 每次导入1条每次导入10000条每次导入100000条项目需要将约千万量级的信息导入表中.MySQL语句是通过Python动态生成的. 每次导入1条每导入1条数据 ...
[DJANGO] excel十几万行数据快速导入数据库研究
先贴原来的导入数据代码: 8 import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.setting ...
几万条数据的excel导入到mysql_excel十几万行数据快速导入数据库研究（转，下面那个方法看看还是可以的）...
先贴原来的导入数据代码: 8 import os os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.setting ...
HBase数据快速导入之ImportTsvBulkload
2019独角兽企业重金招聘Python工程师标准>>> 导入数据最快的方式,可以略过WAL直接生产底层HFile文件 (环境:centos6.5.Hadoop2.6.0.HBase0 ...
linux中将hdfs数据导入hbase,将数据文件导入到HBase中
假设有一个TSV格式的数据文件test.dat(TSV是指数据文件中的每个字段是以制表符隔开的) 首先,将test.dat上传到hdfs上,具体的命令如下: hadoop fs -copyFromLo ...
wu-easy-excel-starter 数据快速导入导出
wu-easy-excel-starter wu-easy-excel-starte是一个简单的Excel数据封装框架,具有以下优势使用简单,只需一个注解即可搞定支持数据自动分割成多个sheet ...
如何把excel的数据快速导入到数据库
1.安装Navicat 2.创建数据库和表结构(创建表,和表里需要的字段) 3.创建和数据库对应的Excel表(注意:数据库的名字和字段名必须和Excel的名字和字段名对应) 4.回到Navicat, ...
单列文本数据快速导入表格
文本数据导入Excel似乎是个老生常谈,方法也有很多,例如使用文本编辑器打开文本文件,拷贝粘贴到Excel然后分类 Power Query中的[从文本/CSV]如下图所示. 但是这个需求略有不同,文 ...
Excel数据快速导入mysql的几个办法
有时候需要批量插入一批数据到数据库,有很多种办法,这里我用到过三种办法: 1.通过Excel直接生成insert语句 =CONCATENATE("insert into aisee_ping ...

【Hbase】HBase数据快速导入之ImportTsv

【Hbase】HBase数据快速导入之ImportTsv相关推荐

最新文章

热门文章