[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验

2024-06-10 13:20:31

http://tech.it168.com/a2011/1202/1283/000001283152.shtml

在今天下午进行的NoSQL系统及应用分论坛中，来自淘宝的软件工程师张毅发表主题演讲“淘宝HBase应用和改善”，介绍了HBase在淘宝平台上使用，以及对HBase的调试和改进的经验分享。

▲淘宝软件工程师张毅

　　随着淘宝的数据的快速增长，数据量每年都会翻一翻，这样的增长速度是淘宝选择HBase的重要原因。据张毅介绍，淘宝自今年年初开始对HBase进行预演，包括线上应用和调优，以及bug的修改。这一过程包括三个阶段，第一阶段是对HBase的属性和配置等性能方面的熟悉过程;第二阶段将HBase应用到线上;第三阶段是修改其内部代码，并投入到HBase的社区中，使其得到进一步的发展。

▲淘宝选择HBase的原因

　　HBase是分布式NoSQL存储系统，其底层数据存储基于HDFS，具有高可用和高性能的特点，可以处理百亿行*百万列*上万个版本的列式存储。谈到淘宝为什么会选择HBase，张毅表示，淘宝选择HBase就像当年选择Hadoop一样，因其具有海量数据处理的能力。淘宝每天的数据量都能达到PB 级，需要HBase应对海量数据带来的挑战。另外，HBase还具有易于横向扩展、随机读写的高性能、高可靠性和稳定性、单行写入的强一致性的特点。

▲HBase在淘宝的规模

　　张毅认为数据瞬间写入量很大，数据库不好支撑或者需要很高成本支撑的场景可以考虑使用HBase，或者数据需要长久保存，且量会持续增长到比较大的场景可以选择HBase。但是HBase毕竟不是关系型数据库，因此不适用于有Join、多级索引、表关系复杂的数据模型。

▲NoSQL专场爆满向坐在地上的同学们致敬

转载于:https://www.cnblogs.com/licheng/archive/2011/12/05/2276414.html

[Hadoop in China 2011] HBase在淘宝平台上的应用和改进经验相关推荐

HBase在淘宝的应用和优化
一.前言 hbase是从hadoop中分离出来的apache顶级开源项目.由于它很好地用java实现了google的bigtable系统大部分特性,因此在数据量猛增的今天非常受到欢迎.对于淘宝而言,随 ...
HBase在淘宝的应用和优化小结
本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化.对Hadoop.HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分 ...
[淘宝经验] - HBASE在淘宝网的应用和优化小结
下载: http://walkoven.com/hbase optimization and apply summary in taobao.pdf http://www.eygle.com/dige ...
弘辽科技：淘宝宝贝上下架有哪些规则？该如何优化？
原标题<弘辽科技:淘宝宝贝上下架有哪些规则?该如何优化?> 在淘宝开店成功的卖家们肯定少不了要上下架商品来维持消费者的新鲜感,但是上下架商品是不是可以按自己想法随意来呢?其实淘宝平台对于商 ...
淘宝教育视频加速观看(在淘宝教育上看学习视频，需要加速，在谷歌浏览器上安装视频加速插件)
淘宝教育视频加速观看(在淘宝教育上看学习视频,需要加速,在谷歌浏览器上安装视频加速插件) 1.在此网站上下载Video Speed Controller插件 https://extfans.com/ ...
弘辽科技：淘宝平台的推广方法有哪些？六大推广方式介绍
随着淘宝商城的不断壮大,越来越多的商家开始在淘宝开网店了,市场的竞争逐渐增大,作为淘宝商家有必要去学习一下淘宝平台的推广方法哦,接下来为大家介绍几种常见的推广方式. 1.淘宝客,是一种按成交计费的推广 ...
淘宝产品上下架时间对宝贝排名权重影响
要知道由于现如今网购的盛行所以导致现在很多的人都会选择开网店,毕竟有市场生意才能够做起来嘛.那么开网店的话,还是有很多的技巧等着大家来进行发现还有琢磨的,那么淘宝上下架时间对宝贝排名的影响是什么? 首 ...
如何抓取淘宝天猫上多个宝贝商品图片视频素材
今天小编要介绍的是,如何在淘宝天猫上挑选到喜欢的商品,并将所挑选到的商品图片及视频素材批量导到自己的电脑上保存?下面一起来看看小编的演示操作吧. 操作需要用的工具:载图助手首先运行载图助手,进入首界 ...
C# 淘宝数据包下载，生成csv格式。可直接通过淘宝助理上传到淘宝店铺
核心代码: #region 打包下载/// <summary>/// 淘宝数据包下载,生成csv格式.可直接通过淘宝助理上传到淘宝店铺/// </summary>/// < ...

最新文章

热门文章