HBase 1.1.2 优化插入 Region预分配
秒插入 并且蛋疼的是相当于人为制造的网络风暴。
package com.rocky.util;
import com.rocky.dao.HBaseFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.*;
import org.apache.hadoop.hbase.client.*;
import org.apache.hadoop.hbase.util.Bytes;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Random;
import java.util.UUID;
/**
* Created by rocky_24 on 2016/2/25.
*/
public class putData {
public static void main(String[] args) throws IOException {
// /**
// * 分16
// */
// byte[][] preforkRegions = new byte[10+6][];
// int k=0;
// System.out.println(preforkRegions.length);
// for(char i='0';i<='9';i++){
// preforkRegions[k++]=(""+i).getBytes();
// }
// for(char i='a';i<='f';i++){
// preforkRegions[k++]=(""+i).getBytes();
// }
byte[][] preforkRegions = new byte[3][];
preforkRegions [0] = ("5").getBytes();
preforkRegions [1] = ("10").getBytes();
preforkRegions [2] = ("z").getBytes();
createTable("access_logs","f",preforkRegions);
System.out.println(TimeUtils.getIntradayDateAndTime());
String [] pages = {"/","/a.html","/b.html","/c.html"};
Configuration con = HBaseFactory.getConf();
HTable table = new HTable(con,"access_logs");
// Table table = HBaseFactory.getHBaseConnection().getTable(TableName.valueOf("access_logs"));
table.setWriteBufferSize(1024 * 1024 * 6);
table.setAutoFlushTo(false);
int totalRecords = 10000;
Random rand = new Random();
System.out.println("importing " + totalRecords + " records ....");
List<Put> list = new ArrayList<Put>();
for (int i=0; i < totalRecords * 100; i++) {
String rowkey = UUID.randomUUID().toString();
String randomPage = pages[rand.nextInt(pages.length)];
Put put = new Put(rowkey.getBytes());
put.addColumn(Bytes.toBytes("f"), null, Bytes.toBytes(randomPage));
list.add(put);
}
System.out.println("put数据装载完毕:"+list.size());
System.out.println(TimeUtils.getIntradayDateAndTime());
table.put(list);
table.flushCommits();
table.close();
System.out.println("done");
System.out.println(TimeUtils.getIntradayDateAndTime());
}
/**
* 创建表
* @param tableName
* @param columnFamily
* @param spilts
* @throws IOException
*/
public static void createTable(String tableName, String columnFamily, byte[][] spilts) throws IOException {
Connection connection = HBaseFactory.getHBaseConnection();
Admin admin = connection.getAdmin();
if (admin.tableExists(TableName.valueOf(tableName))) {
admin.disableTable(TableName.valueOf(tableName));
admin.deleteTable(TableName.valueOf(tableName));
}
HTableDescriptor tableDesc = new HTableDescriptor(TableName.valueOf(tableName));
tableDesc.addFamily(new HColumnDescriptor(columnFamily));
if (spilts == null) {
admin.createTable(tableDesc);
} else {
admin.createTable(tableDesc, spilts);
}
admin.close();
}
}
转载于:https://www.cnblogs.com/rocky24/p/7aaebae69fcabb134be725d57378d581.html
HBase 1.1.2 优化插入 Region预分配相关推荐
- HBase 数据库检索性能优化策略--转
https://www.ibm.com/developerworks/cn/java/j-lo-HBase/index.html HBase 数据表介绍 HBase 数据库是一个基于分布式的.面向列的 ...
- HBase 数据库检索性能优化策略
HBase 数据库是一个基于分布式的.面向列的.主要用于非结构化数据存储用途的开源数据库.其设计思路来源于 Google 的非开源数据库"BigTable". HDFS 为 HBa ...
- 支付宝代志远:HBase系统故障恢复的优化实践分享
转自:http://news.csdn.net/a/20120523/2805879.html [CSDN现场报道]第四届中国云计算大会将于2012年5月23-25日在北京国家会议中心隆重举行.本次大 ...
- 最通俗易懂的解释hbase热点问题rowkey设计原则region分区及解决方案
关于热点问题,我简单陈述容易理解: 我们最开始hbase创建表默认是一个region,而我们所谓的热点问题其实就是对某一个region的过量访问造成的 Hbase当发现一个region存储数据量大于阈 ...
- pinpoint的Hbase数据库的数据优化
pinpoint的Hbase数据库的数据优化 写的原因: 因为是测试服务器,在运行测试项目时,需要日志的打印输出,由于发现磁盘空间不足,想删除些东西,释放空间,然后发现pinpoint服务的Hbase ...
- Hbase预分区与优化
Hbase支持两种读读操作,Scan & Get两种,Get在hbase的内部也是会转换成startRow == endRow的操作,所以本文就只介绍Get操作. Scan的实际执行者是Reg ...
- Java客户端访问HBase集群解决方案(优化)
测试环境:Idea+Windows10 准备工作: <1>.打开本地 C:\Windows\System32\drivers\etc(系统默认)下名为hosts的系统文件,如果提示当前用户 ...
- java hbase 查询优化_HBase的优化
比如: 原 本 rowKey 为1001的 , SHA1 后 变 成 : dd01903921ea24941c26a48f2cec24e0bb0e8cc7 原 本 rowKey 为3001的 , SH ...
- hbase参数配置及优化
为什么80%的码农都做不了架构师?>>> 接触hbase已有半年的时间,查了很多资料,也参考了很多别人心得,也希望把自己的心得以及理解写出来,我把配置hbase必调的几个参数写 ...
最新文章
- 判断出栈顺序是否正确(栈的压入、弹出序列)
- C语言 | 基于STM32的IIC代码实现(源代码)
- 关于类黄酮和类胡萝卜素
- 面试官系统精讲Java源码及大厂真题 - 48 一起看过的 Java 源码和面试真题
- git merge用法_Git 基本命令 merge 和 rebase,你真的了解吗?
- mysql安装后变10g_Oracle 10G安装中一些常见问题解决
- 图解TCPIP-传输层 UDP报文格式
- python mysql 写入_python如何写进MYSQL
- 如果一栋楼起火谁赔偿_电动车起火,楼上25人被困,万宁一居民楼发生惊险一幕...
- 同一个ip服务器comcat下部署第二个项目怎么设置,用nginx在同一服务器端口下部署多个项目,第二个项目打开后页面空白?...
- Atitit jpql ast总结v2 t025.docx 目录 1.1. 多select字段 1 1.2. 多个and条件 (ok) 2 1.3. Select 字段函数(聚合等) 2 1.4. [
- 如何批量压缩图片体积大小kb?
- 2019微商城系统源码 可封装成app
- 前端web要学mysql吗_学前端必须学习HTML和js吗?
- discuz X程序目录和文件列表 详细中文说明
- 『Java课设』JavaSwing+MySQL实现医院智慧点餐系统
- dsolve 的 用法
- 视频广告场景识别方案总结
- 264Echarts - GL 路径图(Use linesGL to draw 1 million ny streets.)
- 通信基础笔记 ----奈奎斯特和香农定理