HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较
转载于:http://www.cnblogs.com/wgp13x/p/4245182.html
摘要: 在前篇博客里已经讲述了通过一个自定义 HBase Filter来获取数据的办法,在末尾指出此办法的性能是不能满足应用要求的,很显然对于如此成熟的HBase来说,高性能获取数据应该不是问题。下面首先简单介绍了搜索引擎的性能,然后详细说明了HBase与MySQL的性能对比,这里的数据都是经过实际的测试获得的。最后,给出了采用多线程批量从HBase中取数据的方案,此方案经过测试要比通过自定义Filter的方式性能高出很多。
关键词: HBase, 高性能, 获取数据, 性能对比, 多线程
Solr和HBase专辑
1、“关于Solr的使用总结的心得体会”(http://www.cnblogs.com/wgp13x/p/3742653.html)
2、“中文分词器性能比较”(http://www.cnblogs.com/wgp13x/p/3748764.html)
3、“Solr与HBase架构设计”(http://www.cnblogs.com/wgp13x/p/a8bb8ccd469c96917652201007ad3c50.html)
4、 “大数据架构: 使用HBase和Solr将存储与索引放在不同的机器上”(http://www.cnblogs.com/wgp13x/p/3927979.html)
5、“一个自定义 HBase Filter -通过RowKeys来高性能获取数据”(http://www.cnblogs.com/wgp13x/p/4196466.html)
6、“HBase 高性能获取数据 - 多线程批量式解决办法”(http://www.cnblogs.com/wgp13x/p/4245182.html)
1、 如何存储十亿、百亿数据? 答:使用数据存储集群,增加水平拓展能力,以容纳上百亿数据量
2、 如何保证在十亿、百亿数据上面的查询效率? 答:使用分布式搜索引擎
数据量过亿,无论是存储在关系型数据库还是非关系型数据库,使用非索引字段进行条件查询、模糊查询等复杂查询都是一件极其缓慢甚至是不可能完成的任务,数据库索引建立的是二级索引,大数据查询主要依靠搜索引擎。
根据Solr中国资料显示,在2400亿每条数据大概200字节的数据建立索引,搭建分布式搜索引擎,在50台机器进行搜索测试,其中有条件查询、模糊查询等,其中80%的搜索能够在毫秒内返回结果,剩下一部分能够在20秒内返回,还有5%左右的查询需要在50秒左右的时间完成查询请求,客户端查询请求的并发量为100个客户端。
以下结论均是在同一台服务器上的测试结果。
MySQL单机随机读写能力测试
MySQL(InnoDB) |
|
运行环境 |
Window Server 2008 x64 |
存储引擎 |
InnoDB |
最大存储容量 |
64T |
列数 |
39列 |
每条数据的大小 |
Avg=507Byte |
总数据量 |
302,418,176条 |
占用的磁盘空间 |
210G |
插入效率 |
总共耗时13个小时,每秒约6500条,随着数据量的增大,插入的效率影响不大 |
单条数据全表随机读取时间 |
30ms |
百条数据全表随机读取时间 |
1,783ms;1,672ms |
18,579ms;15,473ms |
|
其他 |
条件查询、Order By、模糊查询基本上是无法响应的 |
HBase基本说明与性能测试
HBase |
|
数据库类型 |
NoSql—列式数据库 |
运行所需要的环境 |
Linux |
是否可以搭建集群 |
天然的分布式数据库,具有自动分片功能 |
可扩展性 |
强,无缝支持水平拓展 |
插入 |
与设置的参数关系很大,批量插入和单条插入差别大,单台机器能够实现1w~3w之间的插入速度 |
更新 |
|
删除 |
|
查询 |
只支持按照rowkey来查询或者全表扫描 |
范围查询 |
不支持 |
模糊匹配 |
不支持 |
时间范围查询 |
不支持 |
分页查询 |
可以做到 |
数据库安全性 |
低 |
大数据量下的查询响应时间 |
各个数据级别下的响应时间: (均为随机读取,不命中缓存) |
大数据量下占用的磁盘空间 |
各个数据级别下的磁盘占用空间(以出租车表为例,17个字段,一行200个字节): |
是否有良好的技术支持 |
社区活跃,但是配置复杂,参数繁多,学习代价比较大 |
数据导入和导出 |
有从RDBMS导入数据的工具Sqoop |
热备份 |
|
异步复制 |
|
是否需要商业付费 |
否 |
是否开源 |
是 |
优点 |
1、 支持高效稳定的大数据存储,上亿行、上百万列、上万个版本,对数据自动分片 2、 列式存储保证了高效的随机读写能力 3、 列数可以动态增长 4、 水平拓展十分容易 5、 拥有良好的生态系统,Sqoop用户数据的导入、Pig可以作为ETL工具,Hadoop作为分布式计算平台 |
缺点 |
1、 学习复杂 2、 不支持范围查询、条件查询等查询操作 |
从上面的测试结果表中可以看出,MySQL单表插入速度为每秒6500条,HBase单台机器能够实现1w~3w之间的插入速度,这充分说明HBase插入数据的速度比MySQL高很多。在MySQL单机随机读写能力测试中,单条数据全表随机读取时间是指依据主键去MySQL单表取数据花费的时间;在HBase基本说明与性能测试中,大数据量下查询响应时间是指依照Rowkey到HBase取数据所花费的时间。30ms对5ms,这说明HBase取数据的速度之快也是MySQL望尘莫及的。
在进行上面的性能测试中,无论是从MySQL通过主键读取,还是从HBase通过Rowkey读取,读取的数据量都不大,不超过1000条。当需要一次性读取万级数据时,需要通过设计优化的代码来保证读取速度。
在实现过程中,发现当批量Get的数据量达到一定程度时(如10W),向HBase请求数据会从innerGet发生EOFExeption异常。这里附加上一段从HBase依照多Rowkey获取数据的代码,它采用了性能高的批量Get。在这里,我将这种大批量请求化为每1000个Get的请求,并且采用多线程方式,经过验证,这种方法的效率还是蛮高的。
private ExecutorService pool = Executors.newFixedThreadPool(10); // 这里创建了10个 Active RPC Callspublic Datas getDatasFromHbase(final List<String> rowKeys,final List<String> filterColumn, boolean isContiansRowkeys,boolean isContainsList){if (rowKeys == null || rowKeys.size() <= 0){return Datas.getEmptyDatas();}final int maxRowKeySize = 1000;int loopSize = rowKeys.size() % maxRowKeySize == 0 ? rowKeys.size()/ maxRowKeySize : rowKeys.size() / maxRowKeySize + 1;ArrayList<Future<List<Data>>> results = new ArrayList<Future<List<Data>>>();for (int loop = 0; loop < loopSize; loop++){int end = (loop + 1) * maxRowKeySize > rowKeys.size() ? rowKeys.size() : (loop + 1) * maxRowKeySize;List<String> partRowKeys = rowKeys.subList(loop * maxRowKeySize,end);HbaseDataGetter hbaseDataGetter = new HbaseDataGetter(partRowKeys,filterColumn, isContiansRowkeys, isContainsList);synchronized (pool){Future<List<Data>> result = pool.submit(hbaseDataGetter);results.add(result);}}Datas datas = new Datas();List<Data> dataQueue = new ArrayList<Data>();try{for (Future<List<Data>> result : results){List<Data> rd = result.get();dataQueue.addAll(rd);}datas.setDatas(dataQueue);}catch (InterruptedException | ExecutionException e){e.printStackTrace();}return datas;} |
class HbaseDataGetter implements Callable<List<Data>>
{
private List<String> rowKeys;
private List<String> filterColumn;
private boolean isContiansRowkeys;
private boolean isContainsList;
public HbaseDataGetter(List<String> rowKeys, List<String> filterColumn,
boolean isContiansRowkeys, boolean isContainsList)
{
this.rowKeys = rowKeys;
this.filterColumn = filterColumn;
this.isContiansRowkeys = isContiansRowkeys;
this.isContainsList = isContainsList;
}
@Override
public List<Data> call() throws Exception
{
Object[] objects = getDatasFromHbase(rowKeys, filterColumn);
List<Data> listData = new ArrayList<Data>();
for (Object object : objects)
{
Result r = (Result) object;
Data data = assembleData(r, filterColumn, isContiansRowkeys,
isContainsList);
listData.add(data);
}
return listData;
}
} |
private Object[] getDatasFromHbase(List<String> rowKeys,
List<String> filterColumn)
{
createTable(tableName);
Object[] objects = null;
HTableInterface hTableInterface = createTable(tableName);
List<Get> listGets = new ArrayList<Get>();
for (String rk : rowKeys)
{
Get get = new Get(Bytes.toBytes(rk));
if (filterColumn != null)
{
for (String column : filterColumn)
{
get.addColumn(columnFamilyName.getBytes(),
column.getBytes());
}
}
listGets.add(get);
}
try
{
objects = hTableInterface.get(listGets);
}
catch (IOException e1)
{
e1.printStackTrace();
}
finally
{
try
{
listGets.clear();
hTableInterface.close();
}
catch (IOException e)
{
e.printStackTrace();
}
}
return objects;
} |
private HTableInterface createTable(String tableName){HTable table = null;try{table = new HTable(initHbaseConfiguration(), tableName);}catch (IOException e){e.printStackTrace();}return table; } |
可以肯定的是,此种批量取数据的方法达成的速度,与取一次性数据的数量基本成线性关系,与总数据量相关不大,需要取出的数据越多耗时也就越多,经过测试一次性取1000条数据花费大约在2至3s以内,总数据量为400W。而通过自定义Filter方式取数据的方法的速度,与取一次性数据的数量相关不大,与总数据量成线性关系,总数据量越大取出越慢,即使只需取一条 ,因为此方式对HBase每条数据都过滤一遍。这样,如果在总数不大,需要取数据量较大的情况下,通过自定义Filter取数据的方式可能还占有些优势,但在正常情况下,此种批量取数据的方法还是优势更大。
不得不提的是:在实现过程中,我曾将这种大批量请求化为每4000个Get的多线程请求方式,我们的HBase版本为0.94,这样在一次性请求200000条数据时,HBase直接挂机,client抛出EOFException异常,【processBatchCallback(HConnectionManager.java:1708),processBatch(HConnectionManager.java:1560),(HTable.java:779)】,查看并发连接数与每1000个Get请求一样保持为10个左右,没有异常。查阅相关资料后,我们怀疑,这是由于HTable的非线程安全特性导致的,但经过多时纠缠,最终也没得到可靠结论。后来确定这是由于HBase0.94版自身的问题,在使用0.96版后,此问题便不再出现了。而且我们发现0.94版HBase并不稳定,经常有挂掉情况出现。0.96版HBase要好得多。
这里补充非常重要的一点,在上面的代码中,我通过 private ExecutorService pool = Executors.newFixedThreadPool(10); 创建了一个最多容纳10个线程的线程池,从而创建了10个 Active RPC Calls,有效提高了获取速度。然而,我将此线程池容量扩大至20个后,的确创建了20个 Active RPC Calls,如下图所示,但是会直接引起事故:HBase挂掉。不得不吐cao,HBase实在不稳定,维护极其花费成本。在种种实践验证后,才得到了这个稳定高效的方式,每1000个Get一次批量请求,至多10个线程同时取。
平均效率如下图所示:
更多的HBase及其它的数据存储方案测试情况,HBase高性能插入数据解决方案,正在整理中,敬请批评指正。
HBase 高性能获取数据(多线程批量式解决办法) + MySQL和HBase性能测试比较相关推荐
- 一个自定义 HBase Filter -“通过RowKeys来高性能获取数据”
摘要: 大家在使用HBase和Solr搭建系统中经常遇到的一个问题就是:"我通过SOLR得到了RowKeys后,该怎样去HBase上取数据".使用现有的Filter性能差劲,网上也 ...
- freetds php mssql 中文乱码,PHP读取mssql json数据中文乱码的解决办法
PHP及网页使用UTF-8编码,数据库是sql server2008,使用默认编码(936,即GBK编码) 当读取数据库数据时,使用php自带的json_encode()返回到前端,结果中文不显示. ...
- Android小米(miui)获取通话记录为null解决办法
Android小米(miui)获取通话记录为null解决办法 在开发中发现,查询通话记录时使用 contentResolver.query( CallLog.Calls.CONTENT_URI, Co ...
- html5 PHP 日期选择框datetime-local取出数据有T 的解决办法
datetime-local日期选择框取出数据有T 的解决办法 $shijian=你取到的时间: $shijian=str_replace("T"," ",$s ...
- 王者荣耀苹果安卓不显示服务器,王者荣耀苹果、安卓用户换机之后数据全无,解决办法来了?...
原标题:王者荣耀苹果.安卓用户换机之后数据全无,解决办法来了? 手游已经非常普及,但是对于手游玩家而言,部分人使用的苹果手机,另外一部分玩家则是使用的是安卓手机,大家进入的服务器不同,而且不同服务器之 ...
- win10 android驱动安装失败,如何解决Windows10显卡驱动安装失败,小白式解决办法...
原标题:如何解决Windows10显卡驱动安装失败,小白式解决办法 系统版本在随之进步,从Windows7到Windows10是系统的巨大飞跃,这种飞跃之下,很多问题也随之暴露出来,那就是显卡驱动安装 ...
- 关于文件访问无权限,无法枚举容器内对象,访问被拒绝等问题的傻瓜式解决办法,超级简单,小白必看!
关于文件访问无权限,无法枚举容器内对象,访问被拒绝等问题的傻瓜式解决办法,超级简单,小白必看! 以win10为例,其他windows系统原理基本相同 1.右键需要更改的文件夹-属性-安全-高级-权限, ...
- 电脑上mysql数据库无法登录_无法远程登入MySQL数据库的几种解决办法MySQL综合 -电脑资料...
方法一: 尝试用MySQL Adminstrator GUI Tool登入MySQL Server,Server却回复错误讯息:Host '60-248-32-13.HINET-IP.hinet.ne ...
- DataGridView多线程更新数据的问题的解决办法
我通过INotifyPropertyChanged接口让DataGridView自动更新显示内容,但在多线程更新的时候,却发生了妙名其妙的问题,DataGridView居然抛出了这样一个异常:Bind ...
最新文章
- Dao设计模式(Data Access Object)
- 一体机怎么修复音频服务器,教学触摸一体机没有声音怎么办?
- 从国考大数据看中国哪个省的人最爱当官
- Android 程序打包及签名
- 部分 DNS 查询因闰秒 bug 报错
- PCL之估计整个点云表面法向量
- Windows核心编程_让窗口跟随系统样式变化
- Inkscape软件的使用与处理svg格式图片
- 常用破解教程仅供参考,仅供学习用途
- Java-JNI调用过程
- [IDEA-PLUGIN] IDEA Translation插件中有道智云(有道翻译)
- 笔记本触摸板没有反应了
- 姜小白的Python日记Day7 文件的读写
- 研修国学请注意选好教材
- 3.2 Hadoop简介
- mbedTLS(PolarSSL)简单思路和函数笔记(Client端)
- Word for Mac 显示空格
- 关于HTML中圆角的实现
- CG-Pro 全新免费升级,支持保时捷钥匙匹配!
- Android动态加载dex文件/jar包的纯原生代码实现(dex文件由服务端下发)
热门文章
- indexof java_Java中indexOf的用法
- 【EI检索-SPIE出版】第四届计算机科学与通信技术国际学术会议
- linux密码叹号,Linux中叹号“!”命令
- java使命召唤_Java设计模式之从[使命召唤等游戏的任务提示]分析职责链(Chain Of Responsibility)模式...
- android webview 图片缓存,WebView 图片离线缓存(含图片)
- ionic-自定义指令标志红点
- 【通俗理解】RBF网络
- 牛客2021暑期训练1-A-Alice and Bob
- 2、崩溃文件(Crash Dump Core FIles)
- 《月亮与六便士》中文版读后感