基于Twemproxy的Redis集群方案
基于Twemproxy的Redis集群方案
概述
由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务。为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需求。因redis 3.0 beta支持的集群功能不适合生产环境的使用,所以我们采用twitter正在使用的twemproxy来搭建redis缓存服务器集群,目前用户包括Pinterest、Tumblr、Twitter、Vine、Kiip、Wuaki.tv、Wanelo、Kontera、Wikimedia、Bright、56.com、Snapchat、Digg、Gawkermedia、3scale.net等。
Twemproxy是memcached和redis协议的代理服务器,并能有效减少大量连接对redis服务器的性能影响,它提供的主要特性如下:
集群架构
安装Redis
有三台服务器,一台COS1安装twemproxy,另外两台COS2,COS3安装redis。
- 下载最新安装包:redis-2.8.9.tar.gz , tcl-8.5.7-6.el6.x86_64.rpm ,nutcracker-0.3.0.tar.gz
- 安装必要组件rpm:
[root@COS2 redis-2.8.9]# yum install gcc [root@COS2 src]# rpm -ivh tcl-8.5.7-6.el6.x86_64.rpm
- 安装Redis:
[root@COS2 src]# tar xvf redis-2.8.9.tar.gz [root@COS2 src]# cd redis-2.8.9 [root@COS2 redis-2.8.9]# make … Hint: To run 'make test' is a good idea ;) make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src'[root@COS2 redis-2.8.9]# make test All tests passed without errors!Cleanup: may take some time... OK make[1]: Leaving directory `/usr/local/src/redis-2.8.9/src' [root@COS2 redis-2.8.9]# make install [root@COS2 redis-2.8.9]# cd /usr/local/bin/ [root@COS2 bin]# ll total 13908 -rwxr-xr-x. 1 root root 4170264 Apr 26 11:51 redis-benchmark -rwxr-xr-x. 1 root root 22185 Apr 26 11:51 redis-check-aof -rwxr-xr-x. 1 root root 45419 Apr 26 11:51 redis-check-dump -rwxr-xr-x. 1 root root 4263471 Apr 26 11:51 redis-cli -rwxr-xr-x. 1 root root 5726791 Apr 26 11:51 redis-server
- 编辑redis配置文件:
[root@COS2 redis-2.8.9]# cp redis.conf /etc/ [root@COS2 redis-2.8.9]# vim /etc/red redhat-release redis.conf [root@COS2 redis-2.8.9]# vim /etc/redis.conf 把里面的 daemonize no 修改成 daemonize yes
- 启动redis服务:
[root@COS2 redis-2.8.9]# redis-server /etc/redis.conf
- 测试redis服务:
[root@COS2 redis-2.8.9]# redis-cli 127.0.0.1:6379> set kin kin OK 127.0.0.1:6379> get kin
- 同样的步骤安装其他redis服务器。
安装twemproxy
- 安装twemproxy:
[root@COS1 src]# tar xvf nutcracker-0.3.0.tar.gz [root@COS1 nutcracker-0.3.0]# cd nutcracker-0.3.0 [root@COS1 src]#./configure [root@COS1 nutcracker-0.3.0]# make && make install
- 编辑配置文件:
[root@COS1 conf]# cd /usr/local/src/nutcracker-0.3.0/conf [root@COS1 conf]# cp nutcracker.yml /etc/ [root@COS1 conf]# vim /etc/nutcracker.yml alpha:listen: 0.0.0.0:22121hash: fnv1a_64distribution: ketamaauto_eject_hosts: trueredis: trueserver_retry_timeout: 2000server_failure_limit: 1servers: --两台redis服务器的地址和端口- 10.23.22.240:6379:1 - 10.23.22.241:6379:1
- 测试配置文件:
[root@COS1 nutcracker-0.3.0]# nutcracker -t /etc/nutcracker.yml nutcracker: configuration file 'conf/nutcracker.yml' syntax is ok
- 启动twemproxy:
[root@COS1 nutcracker-0.3.0]# nutcracker --help This is nutcracker-0.3.0Usage: nutcracker [-?hVdDt] [-v verbosity level] [-o output file][-c conf file] [-s stats port] [-a stats addr][-i stats interval] [-p pid file] [-m mbuf size]Options:-h, --help : this help -V, --version : show version and exit -t, --test-conf : test configuration for syntax errors and exit -d, --daemonize : run as a daemon -D, --describe-stats : print stats description and exit-v, --verbosity=N : set logging level (default: 5, min: 0, max: 11)-o, --output=S : set logging file (default: stderr)-c, --conf-file=S : set configuration file (default: conf/nutcracker.yml) #配置-s, --stats-port=N : set stats monitoring port (default: 22222)-a, --stats-addr=S : set stats monitoring ip (default: 0.0.0.0)-i, --stats-interval=N : set stats aggregation interval in msec (default: 30000 msec)-p, --pid-file=S : set pid file (default: off)-m, --mbuf-size=N : set size of mbuf chunk in bytes (default: 16384 bytes) [root@COS1 nutcracker-0.3.0]# nutcracker -d -c /etc/nutcracker.yml [root@COS1 nutcracker-0.3.0]# ps -ef|grep nutcracker root 15358 1 0 02:40 ? 00:00:00 nutcracker -d -c /etc/nutcracker.yml
- 测试twemproxy:
[root@COS1 ~]# redis-cli -p 22121 127.0.0.1:22121> get kin "kin" 127.0.0.1:22121> set kin king OK 127.0.0.1:22121> get kin "king"
性能测试
这里使用redis自带的redis-benchmark进行简单的性能测试,测试结果如下:
- Set测试:
- 通过twemproxy测试:
[root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t set -d 100 -l –q
SET: 38167.94 requests per second
- 直接对后端redis测试:
[root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t set -d 100 -l –q
SET: 53191.49 requests per second
- 通过twemproxy测试:
- Get测试:
- 通过twemproxy测试:
[root@COS1 src]# redis-benchmark -h 10.23.22.240 -p 22121 -c 100 -t get -d 100 -l -q GET: 37453.18 requests per second
- 直接对后端redis测试:
[root@COS2 ~]# redis-benchmark -h 10.23.22.241 -p 6379 -c 100 -t get -d 100 -l -q GET: 62111.80 requests per second
- 通过twemproxy测试:
- 查看键值分布:
[root@COS2 ~]# redis-cli info|grep db0 db0:keys=51483,expires=0,avg_ttl=0[root@COS3 ~]# redis-cli info|grep db0 db0:keys=48525,expires=0,avg_ttl=0
测试结果:以基本的set get命令通过twemproxy性能有所下降;通过twemproxy分布基本平均。测试数据以业务测试为准
基于Twemproxy的Redis集群方案相关推荐
- 基于 twemproxy 搭建 redis 集群
概述 由于单台redis服务器的内存管理能力有限,使用过大内存redis服务器的性能急剧下降,且服务器发生故障将直接影响大面积业务.为了获取更好的缓存性能及扩展型,我们将需要搭建redis集群来满足需 ...
- Redis集群方案对比:Codis、Twemproxy、Redis Cluster
为了保证Redis的高可用,主要需要以下几个方面: 数据持久化 主从复制 自动故障恢复 集群化 我们简单理一下这几个方案的特点,以及它们之间的联系. 数据持久化本质上是为了做数据备份,有了数据持久化, ...
- redis集群方案-Twemproxy
redis集群方案-Twemproxy 1 Twemproxy是什么? Twemproxy是一种代理分片机制,来源于Twitter开源.Twemproxy按照路由规则,转发给后台的各个Redis服务器 ...
- Redis集群方案及实现 - yfk的专栏 - 博客频道 - CSDN.NET
Redis集群方案及实现 - yfk的专栏 - 博客频道 - CSDN.NET yfk的专栏 学习&记录&分享 目录视图 摘要视图 订阅 [公告]博客系统优化升级 U ...
- 基于Codis的Redis集群部署
Codis是基于代理的高性能Redis集群方案,使用Go语言进行开发,现在在在豌豆荚及其它公司内已经广泛使用,当然也包括我们公司. Codis与常见的Redis集群方案对比. 在搭建的时候,个人觉得R ...
- Redis集群方案,Codis安装测试
Redis集群方案,Codis安装测试 1,关于豌豆荚开源的Codis Codis是豌豆荚使用Go和C语言开发.以代理的方式实现的一个Redis分布式集群解决方案,且完全兼容Twemproxy.Twe ...
- Redis(持久化、主从复制、主从切换、twemproxy、redis集群)
文章目录 Redis Redis应用场景 下载及安装 Redis常用指令 Redis持久化 Redis主从复制 Redis的Sentinel分布式系统(主从切换) sentnel(Redis的高可用方 ...
- Redis - 集群方案
在开发测试环境中,我们一般搭建Redis的单实例来应对开发测试需求,但是在生产环境,如果对可用性.可靠性要求较高,则需要引入Redis的集群方案.虽然现在各大云平台有提供缓存服务可以直接使用,但了解一 ...
- 基于Docker搭建Redis集群(主从集群)
最近陆陆续续有不少园友加我好友咨询 redis 集群搭建的问题,我觉得之前写的这篇 <基于Docker的Redis集群搭建> 文章一定是有问题了,所以我花了几分钟浏览之前的文章总结了下面几 ...
最新文章
- 喜得千金,升级做爸爸喽
- 【金三银四】java多线程并发编程pdf
- 网上报名的一些感慨.
- windows tomcat 升级openssl_Linunx开发环境配置——Tomcat
- switch 的性能提升了 3 倍,我只用了这一招!
- 即时通讯源码_一对一视频直播系统源码是如何实现即时通讯呢?
- 阿里 Lindorm 数据库联手 Hightopo ,开启工业物联超融合存储模式
- Google--PageRank(网页级别)技术解密[转]
- 数据库设计——手机售卖系统(带源码)
- photoshop中如何在6寸相纸上打印1寸照片10张2X5模式(自动填充模式)
- 解决Failed to introspect Class KafkaMetricsAutoConfiguration
- PHP后端接入短信接口为用户发送通知短信
- 复习笔记:科学技术史
- Redis 配置开机自动启动
- C# 判断网络是否ping通
- 《深入理解Android内核设计思想(第2版)(上下册)》之Android源码下载及编译...
- Java基础复习-数据类型学习
- 『多重背包的可达性问题』Coins划分大理石
- springboot(JavaCV )实现视频截取第N帧并保存图片
- usercontroller.java_userlogin 用户登录程序的编写,输入 名和密码,JAVA语言,可运行 Develop 254万源代码下载- www.pudn.com...