hbase2.0 vs hbase1.x 延时比较
背景
hbase2.0已经正式发布，对比之前1.x版本，2.0在读写链路上做了完善的优化，offheap、netty rpc等，这里做个小测试实验对比1.x和2.0在读写上的延时情况。本测试基于特定测试环境与软件版本得到的结果，仅供参考。
测试介绍
测试环境
HBase2.0集群，2副本DataNode，单regionserver，便于线性扩展，集群的配置 8core x 16G内存；
4 x 250G ssd云盘；
情况简介
读写，1KB，数据，分有cache的读（命中近100%），无cache读；
scan：无cache的scan，有cache 的scan ；
预先分配60region
测试数据
单条读写的延时，99延时，磁盘的util，cpu的利用率，网卡占用率，gc的时间；
对于99延时的话，查看gc的频率，进行调整。大块数据的直接升到年老代等；
步骤，先是把没有做调优的性能数据丢出来，完成以后，在就99延时做调优，主要关注网络以及gc的信息；
测试结果
99延时：offheap，g1 gc 默认开启，默认netty 开启；25MB 带宽峰值，主要做对比！
| case | 调优点 | 99延时 1.1版本(99.9延时) /1.4.4版本99延时(99.9延时) | 99延时2.0开启优化(999延时) | 单条延时1.1/1.4.4 | 单条延时优化2.0 | 1.1 rps/1.4.4 | 2.0rps |
|---|---|---|---|---|---|---|---|
| 写 sync 1 | offheap开启 | 410.840ms(1156.452ms)/392.422ms(510.943ms) | 22.634ms(50.184ms) | 43.06ms/42.62ms | 7.65ms | 4616/ 4752 | 26133 |
| 写 sync 2 | offheap开启 | 382.196ms(617.041ms)/337.391ms(499.595ms) | 31.038ms(61.771ms) | 28.03ms/13.74ms | 5.5ms | 7172/14023 | 36085 |
| 写 sync 100 | offheap开启 | 164.400ms(820.500ms)/64.055ms(460.636ms) | 22.625ms(422.554ms) | 5.62ms/3.01ms | 3.07ms | 34956/63621 | 67824 |
| 读无cache | offheap开启 | 424.796ms(1071.ms)/292.628ms(801.108ms) | 185.674ms(622.890ms) | 54.63ms/27.50ms | 11.64ms | 3022/7222 | 14548 |
| 读大部分cache | offheap开启 | 80.200ms(105.828ms)/26.900ms(58.095ms) | 17.893ms(31.755ms) | 6.30ms/4.98ms | 4.80ms | 31616/39802 | 41805 |
| scan 无cache | offheap开启 | 2529.507ms(5736.35sms)/2311.319ms(3204.116ms) | 1609.485ms(3441.447ms) | 1057.09ms/535.72ms | 388.463ms | 186*100/387 *100 | 515*100 |
| scan 命中cache | offheap开启 | 2452.913ms(3472.019ms)/450.97ms(629.903ms) | 363.358ms(537.894ms) |
测试小结
hbase2.0在读写链路上进行了完善的优化，相比1.1、1.4.4 版本，在延时方面有了比较大的成果。本测试基于特定测试环境与软件版本得到的结果，仅供参考。更多2.0特性优化，钉钉扫描下方二维码关注hbase技术交流群了解更多。
hbase2.0 vs hbase1.x 延时比较相关推荐
- 八年磨一剑，阿里云ApsaraDB for HBase2.0正式上线
摘要: ApsaraDB for HBase2.0于2018年6月6日即将正式发布上线啦! 它是基于社区HBase2.0稳定版的升级,也是阿里HBase多年的实践经验和技术积累的持续延伸,全面解决了旧 ...
- 八年磨一剑，阿里云ApsaraDB for HBase2.0正式上线 1
一.HBase2.0和阿里云的前世今生 ApsaraDB for HBase2.0于2018年6月6日即将正式发布上线啦! ApsaraDB for HBase2.0是基于社区HBase2.0稳定版的 ...
- 消灭毛刺！HBase2.0全链路offheap效果拔群
摘要: 我们在在线业务中使用hbase读写数据时,可能会发现,HBase的平均延迟会很低,可能会低于1ms,但P999延迟(99.9%请求返回的最大时间)可能会高达数百ms.这就是所谓的"毛 ...
- 一次HBase2.0 RIT故障处理
关于HBCK2的介绍,可以查看文章 hbck2工具使用指南这里不做太多赘述. 本系列文章主要结合线上HBase环境出现一系列问题,进行分析HBCK2工具中出现问题如何具体解决,以及其中的原理及实现进行 ...
- hbase2.0.0-安装部署
依赖hadoop 环境,我这边的版本是hadoop-2.6.5 选择hbase2.0.0版本的时候,去官网查看支持的hadoop版本 1.伪分布式安装 下载:http://mirror.bit.edu ...
- Hbase2.0版本安装教程
目录: 前言: 1. 上传 2. 解压 3. 重命名 4. 修改环境变量 5. 修改配置文件 6. 把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下 ...
- Hbase-2.0.5
大数据之Hbase-2.0.5 第1章 HBase简介 1.1 HBase定义 1.2 HBase数据模型 1.2.1 HBase逻辑结构 1.2.2 HBase物理存储结构 1.2.3 数据模型 1 ...
- Hadoop2.7.2 HBase2.0.0环境搭建
集群配置 HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群. 一.基础环 ...
- HBase技术与应用实践 | HBase2.0重新定义小对象实时存取
本次分享来自中国HBase技术社区第七届MeetUp成都站,分享嘉宾天引 阿里巴巴 技术专家专注在大数据领域,拥有多年分布式.高并发.大规模系统的研发与实践经验,先后参与HBase.Phoenix.L ...
最新文章
- Android应用---基于NDK的samples例程hello-jni学习NDK开发
- Spring学习总结三
- 【深度学习】什么是目标检测中的平均精度均值(mAP)？
- 项目使用encode_Spring Cloud Security：Oauth2使用入门
- mac你没有权限打开应用程序_苹果mac卡顿怎么解决呢？轻松几招让你Mac流畅如新
- python 数组 元组 列表_python_Day_02[数组、列表、元组之篇]
- 东芝复印机2303出现f070_东芝复印机维修代码大全
- 以太坊 node data write error_那个坚持写了四年《每周以太坊》的劳模分享关于以太坊的最新看法...
- PDF转word神器还支持更多格式，文件小运行又快！！
- Java和Android笔试题
- 看工业4.0道路上，美国和德国的不同路径
- 手机h5像素_h5移动端设备像素比dpr介绍
- Web前端技术基础实验报告四之列表实现简易网站导航
- 工业计算机英语作文,工业计算机,Industrial Computer,音标,读音,翻译,英文例句,英语词典...
- 中原工学院计算机二级证书,中原工学院@计算机等级考试二级MS_Office基础知识(常考知识点记忆).doc...
- 不知道如何入门编程？最全在线教程网站汇总来了，还不赶快收藏
- centos7 安装jdk1.8 并配置环境变量
- 单元测试中的打桩技术
- 华工高级语言程序设计c十十作业,华工高级语言程序设计c随堂练习答案
- 上海数据分析师培训哪家好，大数据分析与数据分析师有什么区别？