往hbase插入数据，你会选择哪种？

好久，好久没有写个博客了，自从上次封闭开始，到“自闭”，有了一段时间了，哈哈^_^ 、

多亏了云桌面的歇菜，一下午啥都干不了，突然想到，好久没有写点啥了，就写的，让时间流走有点痕迹吧 _(:з」∠)_

之前，做过一个小工具，就是将一个文件中的数据，插入的hbase中，将其简单阐述一番，多少记一点吧，要不在过一段时间都忘了。

插入到hbase中，有很多中选择，java的方式是可以的，但是做一个脚本，没有必要，操作起来不方便，还得编译，.... ,

选择shell或python的方式，是个方便的选择，反正是个小工具，有可能会随时调整，而且linux是自带的Python环境

要用Python脚步的方式插入到hbase,参考hbase的官方文档。

查看hbase Reference Guide, 里面介绍内容很多，包括很多入门操作说明等。
本次，主要是查看了如何更好的利用Python脚步插入到hbase中。
由于hbase是java写的，要用Python去执行查询插入数据到hbase中，是有两种方式走，

一种是利用thrift的方式，作为python和java中间翻译层，进行操作hbase的方式；
还有个方法，就是用Python包装一层linux shell方式，用hbase shell的方式操作hbae。

由于要用thrift方式，是需要开启服务，需要往Python安装其他第三方类库，增加运维人员负担，最后尝试后采用第二中方法。

用hbase shell 的方式，

使用Hbase Put API
使用Hbase批量加载工具
自定义的MapReduce job

这几种HBase数据导入方式(不推荐使用)
理由：

这三种方式都涉及到Put内置,大多数数据迁移到hbase场景,目前只是简单直接获取表结构和插入数据,使用单线程，这种效果非常慢，还得自己去写多线程完成，这样还是增加工作量和复杂度。

最后，查询官方文档后，得知ImportTsv是HBase官方提供的基于Mapreduce的批量数据导入工具。
同时ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命令方便的导入到HBase表中，对于大数据量导入非常实用。
这种方式，是将要插入数据写放到HDFS上，这样保证数据不丢失，多份数据,然后开启MapReduce的方式，插入到hbase。当执行10w条数据插入没有问题，但100w的数据插入就会出现丢失情况。
解决方案是先用ImportTsv生成HFile,然后在用bulkload 的方式将HFIle导入到hbase的里面。

总结：
多看hbase的官方文档，但也要多搜索一下国内大牛写的博客，毕竟有人实际过，少尝试一些方法。

若您看到后，会用什么方式，可以留言讨论。

O(∩_∩)O哈哈~ 刚看了一下，云桌面好了，干活了!

转载于:https://www.cnblogs.com/nucdy/p/10931536.html

往hbase插入数据，你会选择哪种？相关推荐

hbase插入数据语句_记一次 spark thriftserver 插入数据到hbase 的异常
Spark2.4.3 Hbase1.2.6 Hive2.3.7 Hadoop2.7.7 $SPARK_HOME/jars 添加如下jar ln -s $APP_PATH/hive/lib/mysql- ...
批量插入数据到mysql_批量插入数据到 MySQL的几种方式
packagecom.sb.test;import java.sql.*;importjava.util.Random;/*** 批量操作+事务提交 **/ public classJdbcInser ...
在PPT中插入数据透视表(数据透视图)
在PPT制作过程中,有时需要插入EXCEL中常用的数据透视表(数据透视图) 下面说一下方法:(以office2007为例) 首先,在EXCEL中选中要进行数据分析的数据区域,并定义区域名称.这里我们取 ...
关于数据库中有自增主键时如何插入数据？
这里以一张user表为例,id为自增的. CREATE TABLE `user` ( `id` int(11) NOT NULL AUTO_INCREMENT, `username` varc ...
三种批量插入数据的方法
批量插入数据本文将介绍三种批量插入数据的方法.第一种方法是使用循环语句逐个将数据项插入到数据库中:第二种方法使用的是SqlBulkCopy,使您可以用其他源的数据有效批量加载 SQL Server ...
MySQL(一) Python操控mysql批量插入数据
在Python中,通过pymysql模块,编写简短的脚本,即方便快捷地控制MySQL数据库一.连接数据库使用的函数:pymysql.connect 语法:db=pymysql.connect(ho ...
Mybatis批量插入数据的两种方式
总体描述软件开发过程中需要批量插入数据的场景有几种: 从离线文件(excel, csv等)导入大批量数据到系统. 从其它系统定时或者人工同步大批量数据到系统. 程序自身的某些算法执行时会生成大批量数 ...
在Linux中通过shell脚本向oracle数据库插入数据
通过shell脚本向oracle数据库插入数据思路实现 shell脚本数据文件测试思路如何通过shell脚本更新数据库数据?要解决这个问题,首先,我们需要在脑中回忆一下我们通常是如何更新数 ...
sql-批量插入数据脚本
批量插入数据脚本 1.第一种批量插入数据脚本. 可以基本满足要求.理解上较为简单,所以这个最常用. DECLAREmaxnumber CONSTANT INT := 5000;--插入5000条数据i ...

往hbase插入数据，你会选择哪种？

往hbase插入数据，你会选择哪种？相关推荐

最新文章

热门文章