网易视频云：HBase BlockCache系列－性能对比测试报告
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PAAS服务，在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。
HBase BlockCache系列文章到了终结篇，几个主角的是是非非也该有个了断了，在SlabCache被早早地淘汰之后，站在华山之巅的也就仅剩LRU君（LRUBlockCache）和CBC君（CombinedBlockCache）。谁赢谁输，我说了不算，你说了也不算，那就来让数据说话。这篇文章主要对比LRU君和CBC君（offheap模式）分别在四种场景下几种指标（GC、Throughput、Latency、CPU、IO等）的表现情况。四种场景分别是缓存全部命中、少大部分缓存命中、少量缓存命中、缓存基本未命中。
需要注意的是，本文的所有数据都来自社区文档，在这里分享也只是给大家一个参考，更加详细的测试数据可以阅读文章《Comparing BlockCache Deploys》和 HBASE-11323附件报告。
说明：本文所有图都以时间为横坐标，纵坐标为对应指标。每张图都会分别显示LRU君和CBC君的四种场景数据，总计八种场景，下面数据表示LRU君的四种场景分布在时间段21:36:39～22:36:40，CBC君的四种场景分布在时间段23:02:16～00:02:17，看图的时候需要特别注意。
LRU君：Tue Jul 22 21:36:39 PDT 2014 run size=32, clients=25 ; lrubc time=1200 缓存全部命中Tue Jul 22 21:56:39 PDT 2014 run size=72, clients=25 ; lrubc time=1200 大量缓存命中Tue Jul 22 22:16:40 PDT 2014 run size=144, clients=25 ; lrubc time=1200 少量缓存命中Tue Jul 22 22:36:40 PDT 2014 run size=1000, clients=25 ; lrubc time=1200 缓存基本未命中
CBC君：Tue Jul 22 23:02:16 PDT 2014 run size=32, clients=25 ; bucket time=1200 缓存全部命中Tue Jul 22 23:22:16 PDT 2014 run size=72, clients=25 ; bucket time=1200 大量缓存命中Tue Jul 22 23:42:17 PDT 2014 run size=144, clients=25 ; bucket time=1200 少量缓存命中Wed Jul 23 00:02:17 PDT 2014 run size=1000, clients=25 ; bucket time=1200 缓存基本未命中
GC
GC指标是HBase运维最关心的指标，出现一次长时间的GC就会导致这段时间内业务方的所有读写请求失败，如果业务方没有很好的容错，就会出现丢数据的情况出现。根据下图可知，只有在‘缓存全部命中’的场景下，LRU君总GC时间25ms比CBC君的75ms短；其他三种场景下，LRU君表现都没有CBC君好，总GC时间基本均是CBC君的3倍左右。
Thoughput
吞吐量可能是所有HBase用户初次使用最关心的问题，这基本反映了HBase的读写性能。下图是随机读测试的吞吐量曲线，在‘缓存全部命中’以及‘大量缓存命中’这两种场景下，LRU君可谓是完胜CBC君，特别是在‘缓存全部命中’的场景下，LRU君的吞吐量甚至是CBC君的两倍；而在‘少量缓存命中’以及‘缓存基本未命中’这两种场景下，两者的表现基本相当；
Latency
读写延迟是另一个用户很关心的指标，下图表示在所有四种情况下LRU君和CBC君都在伯仲之间，LRU君略胜一筹。
IO
接下来两张图是资源使用图，运维同学可能会比较关心。从IO使用情况来看，两者在四种场景下也基本相同。
CPU
再来看看CPU使用情况，在‘缓存全部命中’以及‘大量缓存命中’这两种场景下，LRU君依然完胜CBC君，特别是在‘缓存全部命中’的场景下，CBC君差不多做了两倍于LRU君的工作；而在‘少量缓存命中’以及‘缓存基本未命中’这两种场景下，两者的表现基本相当；
结论
看完了所有比较重要的指标对比数据，我们可以得出以下两点：
1. 在’缓存全部命中’场景下，LRU君可谓完胜CBC君。因此如果总数据量相比JVM内存容量很小的时候，选择LRU君；
2. 在所有其他存在缓存未命中情况的场景下， LRU君的GC性能几乎只有CBC君的1/3，而吞吐量、读写延迟、IO、CPU等指标两者基本相当，因此建议选择CBC。
网易视频云：HBase BlockCache系列－性能对比测试报告相关推荐
- 网易视频云:HBase —— RegionServer宕机案件侦查
网易视频云:HBase -- RegionServer宕机案件侦查 网易视频云 2016-04-21 11:45 阅读:92 摘要:网易视频云技术分享:HBase RegionServer宕机案件 ...
- 网易视频云：游戏开发性能优化经验总结
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PaaS服务.在线教育.远程医疗.娱乐秀场 ...
- hbase实战技术分享案例【网易视频云技术分享】
网易视频云:HBase最佳实践-列族设计优化 http://jingyan.baidu.com/article/642c9d3414e5c8644a46f7f5.html 网易视频云:网易HBase基 ...
- 网易视频云：HBase GC的前生今世 – 演进篇
现在,网易视频云与大家分享一下HBase GC的前生今世–演进篇. 最原始的HBase CMS GC相当严重,经常会因为碎片过多导致Promotion Failure,严重影响业务的读写请求.幸运的是 ...
- 网易视频云技术分享：HBase － 建表语句解析
网易视频云的技术专家给大家分享一篇技术性文章:HBase - 建表语句解析. 像所有其他数据库一样,HBase也有表的概念,有表的地方就有建表语句,而且建表语句还很大程度上决定了这张表的存储形式.读写 ...
- 网易视频云：揭秘HBase GC的前世今生
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,为客户提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PaaS服务.在线教育.远程医疗.娱乐秀场 ...
- 网易视频云：HBase优化实战
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PAAS服务,在线教育.远程医疗.娱乐秀场.在线 ...
- 十年•杭研大咖说 | 邱似峰：从应届生到网易视频云CTO的蜕变
2016年,网易杭州研究院(以下简称"杭研")成立十周年之际,网易云推出"十年·杭研大咖说"系列访谈文章,针对亲历杭研核心技术体系变迁的数位技术大牛发问,揭秘网 ...
- 网易视频云：基于Hadoop山寨Amazon S3
网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术,提供稳定流畅.低时延.高并发的视频直播.录制.存储.转码及点播等音视频的PAAS服务,在线教育.远程医疗.娱乐秀场.在线 ...
最新文章
- SpringBoot整合Spring Security
- 黑白球JAVA_桶中取黑白球 - jiacut的个人页面 - OSCHINA - 中文开源技术交流社区
- java 32个Java面试必考点
- 量子计算基础知识-2019/11/12
- MNIST数据集下载资源
- 如何将JBoss HR员工奖励项目放入云端
- 动态规划-背包是否装满
- linux nvme的sendfile流程
- rust怎么关阳光指令_我家也有庭院多好，伸缩阳光房装上，能休闲能当车库，还不算违建...
- BZOJ.3990.[SDOI2015]排序(DFS)
- maven -- 解决“Could not calculate build plan”问题
- CCF201509-3 模板生成系统（100分）
- 制作CDKEY：CDKEY不宜包含生效时间
- 针对我国——国产数据库进行分析
- 游戏策划笔记：工作感受感官引导
- c语言运算优先级口诀简单,C语言运算符优先级口诀
- HFSS远场辐射设置与辐射方向图设置
- Adobe Illustrator CS6 已停止工作 的问题
- 简单易懂的现代魔法——Play Framework攻略1
- PHP工程师是个让我很心疼的职业