Twemproxy – Twitter 开源的 Redis proxy

Twemproxy – Twitter 开源的 Redis proxy
作者：nosqlfan on 星期天, 一月 20, 2013 · 评论本文【阅读：9,850 次】
在去年的QCon London2012 大会上，Twitter 发表了题为《Timelines @ Twitter》的演讲，里面提到以Redis作为其timeline的主要存储，目前目测全球范围内，Twitter可能是Redis的最大用户了（或者是新浪微博？）。
而今天我们要说的这个Twemproxy，是 Twitter 开源出来的 Redis 和 Memcached 代理。
功能介绍
我们知道，无论是 Memcached 还是当前的 Redis，其本身都不具备分布式集群特性，当我们有大量 Redis 或 Memcached 的时候，通常只能通过客户端的一些数据分配算法（比如一致性哈希），来实现集群存储的特性。
而 Twemproxy 通过引入一个代理层，可以将其后端的多台 Redis 或 Memcached 实例进行统一管理与分配，使应用程序只需要在 Twemproxy 上进行操作，而不用关心后面具体有多少个真实的 Redis 或 Memcached 存储。
在Redis 的 Cluster 方案还没有正式推出之前，通过 Proxy 的方式来实现存储集群可能是最好的选择了。更何况 Twemproxy 是通过 Twitter 自身得到了充分检验的产品。
性能
根据 Redis 作者的测试结果，在大多数情况下，Twemproxy 的性能相当不错，直接操作 Redis 相比，最多只有20%的性能损失。这对于它带来的好处来说真的是微不足道了。唯一可能还有待改进的是其 MGET 操作的效率，其性能只有直接操作
Redis 的 50%。
安装与配置
Twemproxy 的安装有点小麻烦，主要命令如下：
apt-get install automake apt-get install libtool git clone git://github.com/twitter/twemproxy.git cd twemproxy autoreconf -fvi ./configure --enable-debug=log make src/nutcracker -h
通过上面的命令就算安装好了，然后是具体的配置，下面是一个典型的配置
redis1: listen: 0.0.0.0:9999 #使用哪个端口启动Twemproxy redis: true #是否是Redis的proxy hash: fnv1a_64 #指定具体的hash函数 distribution: ketama #具体的hash算法 auto_eject_hosts: true #是否在结点无法响应的时候临时摘除结点 timeout: 400 #超时时间（毫秒） server_retry_timeout: 2000 #重试的时间（毫秒） server_failure_limit: 1 #结点故障多少次就算摘除掉 servers: #下面表示所有的Redis节点（IP:端口号:权重） -
你可以同时开启多个 Twemproxy 实例，他们都可以进行读写，这样你的应用程序就可以完全避免所谓的单点故障。
问题与不足
Twemproxy 由于其自身原理限制，有一些不足之处，如：
不支持针对多个值的操作，比如取sets的子交并补等（MGET 和 DEL 除外）
不支持Redis的事务操作
出错提示还不够完善
更多
更多关于Twemproxy的介绍可以看这里：http://antirez.com/news/44
Twemproxy的项目地址：https://github.com/twitter/twemproxy

Twemproxy – Twitter 开源的 Redis proxy相关推荐

Twemproxy——针对MemCached与Redis的代理
本文来源于我在InfoQ中文站翻译的文章,原文地址是:http://www.infoq.com/cn/news/2012/12/twemproxy Twemproxy是一个代理服务器,可以通过它减少M ...
Twemproxy -- 针对MemCached与Redis的代理
Twemproxy -- 针对MemCached与Redis的代理转载自:http://www.cnblogs.com/shanyou/archive/2012/12/19/2824837.html ...
开源公司黄页之 Twitter 开源软件推荐
从Twitter的GitHub账户中可以看到,Twitter已经开源的开源项目有近200个,领域涉及分布式架构.大数据.异步网络传输(客户端.服务端).Web.工具等.Twitter可以称为构建于开源 ...
20+ Twitter开源软件精选
从Twitter的GitHub账户中可以看到,Twitter已经开源的开源项目有近200个,领域涉及分布式架构.大数据.异步网络传输(客户端.服务端).Web.工具等.Twitter可以称为构建于开源 ...
（转）Twitter开源的通用性数据切分中间件Gizzard
原文引用自:http://www.xiuwz.com/site/tech-ope-gizzard/ Twitter开源的通用性数据切分中间件Gizzard Gizzard是Twitter在11年4月份 ...
twitter开源_30位开源社区经理将在Twitter上关注
twitter开源在2015年社区经理感谢日中 ,我想做些特别的事情,以感谢参与开源生态系统的许多勤奋工作的社区经理. 去年,来自各种开源项目的社区经理(包括Ubuntu,Kaltura,Mongo ...
[详解]Twitter开源分布式自增ID算法snowflake，附演算验证过程
1.snowflake简介互联网快速发展的今天,分布式应用系统已经见怪不怪,在分布式系统中,我们需要各种各样的ID,既然是ID那么必然是要保证全局唯一,除此之外,不同当业务还需要不同的特性,比如像并 ...
Github 星标 8K+ 这款国人开源的 Redis 可视化管理工具
做程序员就少不了与一些工具打交道,比如:监控工具.管理工具等,有些工具是命令行界面,有些工具是可视化界面,反正都是可以能够满足日常使用的功能需求. 对于redis管理工具来说,也有不少可能的产品,比如 ...
前5名：Red Hat CEO Linux故事，LibreOffice 5年，Twitter开源主管等
在本周的周五前五名中,我们重点介绍... 蒂尔德(Tilde)的莉亚·席尔伯(Leah Silber)关于工作倦怠的访谈长期Linux开发人员Hans de Goede的采访,他将在今年的Linux ...

Twemproxy – Twitter 开源的 Redis proxy

Twemproxy – Twitter 开源的 Redis proxy相关推荐

最新文章

热门文章