【noqsl】beansdb的分布式实现～简单粗暴有效～

版本: beansdb 0.5.3

下载地点：
http://code.google.com/p/beansdb/

beansdb是豆瓣用来存储不变小object的支持中等数据规模的nosql的持久型数据库～跟memcache相比，主要特点如下

1. 数据是持久化的，value 完全在硬盘上操作，内存中只存放key的hash索引

2. 在持久化的基础上，为了提高可靠性，一份数据可以设置存放在多个地方

3. 把分布式坐在了客户端的api里，beansdb本身是单机的

4. 存储使用bitcast的方式～～跟b+树索引（tokyocabinet）和lsm（leveldb）又不一样的～挺巧妙～

5. beansdb没有实现expired功能～～～

6. 网络连接的管理直接搬了redis的实现~~~

下面主要介绍配置文件的工作方式，自带的example中的配置是这样的

BEANSDBCFG = {"localhost:7901": range(16),"localhost:7902": range(16),"localhost:7903": range(16),
}

翻译过来就是

localhost:7901:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

localhost:7902:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

localhost:7903:1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1

客户端拿到这个配置，会做一下“倒排”

0：localhost:7901；localhost:7902；localhost:7903

1：localhost:7901；localhost:7902；localhost:7903

2：localhost:7901；localhost:7902；localhost:7903

。。。

15：localhost:7901；localhost:7902；localhost:7903

当客户端对key进行操作【set，get，delete】时，会先对key进行hash/16 ，然后你懂的，这里读和写有个比较trick的地方

读的时候

读到了会对其他同一个桶内的server做一个set，利于数据恢复.

    def get(self, key):ss = self._get_servers(key)for i,s in enumerate(ss):r = s.get(key)if r is not None:# self healfor k in range(i):ss[k].set(key, r)return r

写的时候

会对统一个桶内的所有的server做写操作，由此达到冗余存储的目的～

总结：

1. 简单，够美

2. 基于磁盘，没有提供可选的expire功能，可能豆瓣的需求是用来存储不会删除，不经常改变的大量小object吧，按照作者的说法，是针对豆瓣海量音乐，图片的～～～

3. 配置文件的映射比较复杂～～

4. qps不会很高，因为依赖与单机的相应速度，几百qps的样子吧，不会太高

总之受益匪浅～～～好了就到这

谢谢

转载于:https://www.cnblogs.com/igloo1986/archive/2013/05/07/3064170.html

【noqsl】beansdb的分布式实现～简单粗暴有效～相关推荐

简单粗暴上手TensorFlow 2.0，北大学霸力作，必须人手一册！
(图片付费下载自视觉中国) 整理 | 夕颜出品 | AI科技大本营(ID:rgznai100) [导读] TensorFlow 2.0 于近期正式发布后,立即受到学术界与科研界的广泛关注与好评.此前 ...
如何简单粗暴地上手 TensorFlow 2.0？
整理 | 夕颜出品 | AI科技大本营(ID:rgznai100) [导读] TensorFlow 2.0 于近期正式发布后,立即受到学术界与科研界的广泛关注与好评.此前,我们曾特邀专家回顾了 Te ...
简单粗暴Tensorflow 2.0
前言关于Tensorflow2.0的文章国内外都不少,这里转载国内比较好的一个系列:简单粗暴Tensorflow 2.0 目录 TensorFlow 2.0 安装指南 TensorFlow 2.0 ...
简单粗暴上手TensorFlow 2.0，北大学霸力作，必须人手一册
[导读] TensorFlow 2.0 于近期正式发布后,立即受到学术界与科研界的广泛关注与好评.此前,AI 科技大本营曾特邀专家回顾了 TensorFlow 2.0 从初版到最新版本的发展史.今天, ...
谷歌简单粗暴“复制-粘贴”数据增广，刷新COCO目标检测与实例分割新高度
点击上方"小白学视觉",选择加"星标"或"置顶" 重磅干货,第一时间送达近日,谷歌.UC伯克利与康奈尔大学的研究人员公布了一篇论文 Sim ...
一起学spring--依赖注入---简单粗暴的例子展示
欢迎进入<一起学spring>系列博文第二篇, 我们接着上一篇博文'我的第一个spring程序--简单粗暴易懂',我们讲到spring的依赖注入中的设值注入,所谓的设值注入,就是让spri ...
构建一个分布式操作系统的简单方案—答陈硕的“分布式系统中的进程标识”一文...
对分布式系统中的进程标识"一文的疑问刚才看到陈硕先生的一篇blog:"分布式系统中的进程标识",地址:http://www.cnblogs.com/Solstice/a ...
使用python用什么软件-Python读写Excel表格，就是这么简单粗暴又好用
Python读写Excel表格,就是这么简单粗暴又好用 2019-04-18 13:45:31 11点赞 107收藏 1评论最近在做一些数据处理和计算的工作,因为数据是以.csv格式保存的,因此刚开 ...
简单粗暴地理解js原型链–js面向对象编程
简单粗暴地理解js原型链–js面向对象编程作者:茄果链接:http://www.cnblogs.com/qieguo/archive/2016/05/03/5451626.html 原型链理解起来 ...
简单粗暴方便好用树莓派FTP远程文件服务器
微信关注 "DLGG创客DIY" 设为"星标",重磅干货,第一时间送达. 鸣谢 (按照DLGG惯例先鸣谢)感谢yoyojacky漂移菌的技术支持感谢igyang ...

【noqsl】beansdb的分布式实现～简单粗暴有效～

【noqsl】beansdb的分布式实现～简单粗暴有效～相关推荐

最新文章

热门文章