现在一般的项目都会用到redis做缓存,也不免有老铁没用过,我就一起说下吧。

redis

  • 官网

https://redis.io/

Redis是一个开源(BSD许可)的内存数据结构存储,用作数据库、缓存和消息代理。它支持诸如字符串、散列、列表、集合、带有范围查询的排序集、位图、日志、带有半径查询的地理空间索引和流之类的数据结构。Redis具有内置的复制、Lua脚本、LRU驱逐、事务和不同级别的磁盘持久性,并通过Redis Sentinel和Redis Cluster自动分区提供高可用性。

  • 历史

2008年,意大利一家创业公司Merzia的创始人Salvatore Sanfilippo为了避免MySQL的低性能,亲自定做一个数据库,并于2009年开发完成,这个就是Redis。

短短几年,用户数据量猛增。国内如新浪微博、街旁和知乎等,国外如GitHub、暴雪等,都是Redis的用户。世界上最大规模的Redis缓存,就是新浪微博团队打造的。热点新闻的时候。Redis可以达到最多每秒10万的读写。

  • 高速缓存介绍
  1. 高速缓存利用内存保持数据,读写速度远超过硬盘
  2. 高速缓存可以减少IO操作,降低IO压力

微信红包就是很好的例子,在发红包的时候,红包信息就保存在缓存中,抢的人也是从高速缓存中取。春节当天几个亿的人来抢也保持系统的稳定。

  1. 一般的应用,都分为常用和个性化,个性化可能是从数据库中获取的。但是常用的可能就是从高速缓存中获取的。
  • Redis集群介绍

Redis目前的集群方案为以下几种:

  1. RedisCluster:官方推荐,没有中心点(主节点不是中心节点,而是保存数据最多的,最新的,同步后主节点就消失了)。
  2. Codis:中间件,存在中心节点(中心节点挂了,彻底玩完)。
  3. Twemproxy:中间件产品,存在中心节点。
  • RedisCluster
  1. 无中心节点,客户端与redis节点直连,不需要中间代理层(很类似PXC)
  2. 数据可以被分片存储(每个节点存储的内容是不一样的)
  3. 管理方便,后续可自行增加或者摘除节点
  • 本次搭建的Redis节点的示意图
  • 主从同步

上边说过,RedisCluster的数据是分片存储的,如果redis挂了就会丢失一部分的数据。为了避免这个问题的产生,就必须引入主从同步的机制

  1. Redis集群中的数据复制是通过主从同步来实现的。
  2. 主节点(Master)把数据分发给从节点(Slave)
  3. 主从同步的好处在于高可用,Rredis节点有冗余设计
  • Redis集群高可用
  1. Redis集群中应该包含奇数个Master,至少应该是3个,如果其中一个挂的,剩余奇数个可以进行选举至少过半的情况。很容易选择到master节点。
  2. Redis集群中每个Master都应该有Slave
  • 为什么Redis不搭建负载均衡

因为本身前后端分离项目,请求后端的时候,后端对请求已经做了负载均衡所以Redis不需要做负载均衡。

搭建集群

应用IP地址服务配置安装应用安装方式docker-mysql192.168.66.101docker-redis-cluster双核 8g内存docker-redis-clusterdocker

(1). 虚拟机vagrant讲述安装的步骤

vagrant up

(2).机器window/mac开通远程登录root用户下

su -# 密码vagrant#设置 PasswordAuthentication yesvi /etc/ssh/sshd_configsudo systemctl restart sshd
  • 创建文件夹,配置
mkdir redis-clustercd redis-clustermkdir r1cd r1vi redis.confmkdir datacd ~
  • redis.conf

配置了5个地方

  1. daemonize yes

以后台进程运行

  1. cluster-enabled yes

开启集群

  1. cluster-config-file 150000

超时时间

  1. appendonly yes

开启AOF模式,保存文件的形式

  1. requirepass idig8.com

认证密码

  1. cluster-config-file nodes.conf

集群配置文件

直接看github我提交的源码吧

一共要创建6个redis集群

  • 创建容器(r1)

想加上安全验证,但是不生效,查了下daemonize yes,他的作用是是否开启守护进程模式,在该模式下,redis会在后台运行,并将进程pid号写入至redis.conf选项pidfile设置的文件中,此时redis将一直运行,除非手动kill该进程。所以进入这个容器内手动选择加载配置文件。

docker run -it -d -v /root/redis-cluster/r1/redis.conf:/etc/redis/redis.conf --name r1 -p 5001:6379 --net=net2 --ip 172.19.0.2 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r1 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 
  • 创建容器(r2)
docker run -it -d -v /root/redis-cluster/r2/redis.conf:/etc/redis/redis.conf --name r2 -p 5002:6379 --net=net2 --ip 172.19.0.3 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r2 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 
  • 创建容器(r3)
docker run -it -d -v /root/redis-cluster/r3/redis.conf:/etc/redis/redis.conf --name r3 -p 5003:6379 --net=net2 --ip 172.19.0.4 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r3 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 
  • 创建容器(r4)
docker run -it -d -v /root/redis-cluster/r4/redis.conf:/etc/redis/redis.conf --name r4 -p 5004:6379 --net=net2 --ip 172.19.0.5 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r4 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 
  • 创建容器(r5)
docker run -it -d -v /root/redis-cluster/r5/redis.conf:/etc/redis/redis.conf --name r5 -p 5005:6379 --net=net2 --ip 172.19.0.6 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r5 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 
  • 创建容器(r6)
docker run -it -d -v /root/redis-cluster/r6/redis.conf:/etc/redis/redis.conf --name r6 -p 5006:6379 --net=net2 --ip 172.19.0.7 zhugeaming1314/redis bash
  • 配置启动
docker exec -it r6 bashcd /usr/redis/src./redis-server /etc/redis/redis.conf 

redis-trib.rb

redis内自带集群工具redis-trib.rb,操作redis-trib需要很多指令很麻烦。建议使用我提供的镜像,里面什么都装好了老铁就根据我的命令操作就可以了 。

  • 创建集群命令
docker exec -it r1 bashcd /usr/redismkdir clustercd srccp redis-trib.rb ../clustercd ../cluster./redis-trib.rb create --replicas 1 172.19.0.2:6379 172.19.0.3:6379 172.19.0.4:6379 172.19.0.5:6379 172.19.0.6:6379 172.19.0.7:6379 
  • 查看集群信息
docker exec -it r1 bash/usr/redis/src/redis-cli -ccluster nodes

!/upload-images.jianshu.io/upload_images/11223715-0123418e8224c25c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240)

  • 安装集群的时候报的错误

can't connect to node 172.19.* redis.conf文件

  1. bind 127.0.0.1 注释掉
  2. requirepass idig8.com 注释掉

redis集群密码设置

  • 密码设置(推荐)

方式一:修改所有Redis集群中的redis.conf文件加入:

masterauth idig8.comrequirepass idig8.com

说明:这种方式需要重新启动各节点

方式二:进入各个实例进行设置:

./redis-cli -c -p 6379 config set masterauth idig8.comconfig set requirepass idig8.com config rewrite 

之后分别使用./redis-cli -c -p 6379,./redis-cli -c -p 6379…..命令给各节点设置上密码。

注意:各个节点密码都必须一致,否则Redirected就会失败, 推荐这种方式,这种方式会把密码写入到redis.conf里面去,且不用重启。

用方式二修改密码,./redis-trib.rb check 172.19.0.2:6379执行时可能会报[ERR] Sorry, can't connect to node 172.19.0.2:6379,因为6379的redis.conf没找到密码配置。

  • 设置密码之后如果需要使用redis-trib.rb的各种命令

如:./redis-trib.rb check 127.0.0.1:6379,则会报错ERR] Sorry, can’t connect to node 127.0.0.1:6379

解决办法:vim /usr/local/rvm/gems/ruby-2.3.3/gems/redis-4.0.0/lib/redis/client.rb,然后修改passord

class Client DEFAULTS = { :url => lambda { ENV["REDIS_URL"] }, :scheme => "redis

mac os 开启redis_高并发大流量,总会想到它!来一起通过docker搭建redis集群相关推荐

  1. 高并发大流量专题---8、动态语言的并发处理

    高并发大流量专题---8.动态语言的并发处理 一.总结 一句话总结: 和本科毕业论文连起来了:基于消息中间件Rocket MQ的研究:用于并发处理的消息队列 1.什么是进程.线程.协程? 进程(Pro ...

  2. 高并发大流量专题---5、CDN加速

    高并发大流量专题---5.CDN加速 一.总结 一句话总结: CDN就是多整几台节点服务器,选距离用户最近的服务器来给用户服务,实现的话可以用阿里云.腾讯云他们提供的功能,简单方便,妈妈再也不用担心我 ...

  3. 高并发大流量专题---6、独立图片服务器的部署

    高并发大流量专题---6.独立图片服务器的部署 一.总结 一句话总结: 独立图片服务器还是非常有必要的,可以很大程度的降低主服务器的io以及提升用户访问速度 1.独立图片服务器 独立的必要性? 分担W ...

  4. 高并发大流量专题---10、MySQL数据库层的优化

    高并发大流量专题---10.MySQL数据库层的优化 一.总结 一句话总结: mysql先考虑做分布式缓存,过了缓存后就做mysql数据库层面的优化 1.mysql数据库层的优化的前面一层是什么? 数 ...

  5. 服务器系统怎么做高并发,QPS 高并发 如何设计一个支撑高并发大流量的系统?...

    QPS 高并发 如何设计一个支撑高并发大流量的系统? 高并发架构相关概念 什么是并发? 并发是指并发的访问,也就是某个时间点,有多少个访问同时到来: 通常如果一个系统的日PV在千万以上,有可能是一个高 ...

  6. 高并发大流量专题---3、前端优化(减少HTTP请求次数)

    高并发大流量专题---3.前端优化(减少HTTP请求次数) 一.总结 一句话总结: 图片地图:使用<map><area></area></map>标签. ...

  7. 限流是解决高并发大流量的一种方案,至少是可以保证应用的可用性

    # 限流算法 推荐微信公众号:[矿洞程序员]文章由高端社区fameLink联合创始人陶德与我及其他社区大佬联合发表.关注[矿洞程序员]可获得大咖陶德的私人微信. 限流是解决高并发大流量的一种方案,至少 ...

  8. php大流量网站解决,PHP 大型网站 高并发大流量解决方案

    标签:htm   指定   配置   热备   耗资源   负载均衡集群   session管理   redis   mod 网站性能优化对于大型网站来说非常重要,一个网站的访问打开速度影响着用户体验 ...

  9. 利用docker搭建服务器集群并部署大数据生态软件

    1.集群搭建与配置 本来想使用centos镜像搭建服务器集群,但最小化安装版的镜像也需要1G左右,如果后面再部署一些大数据软件,单是多台服务器环境部署就会占用大量空间,加上此版本镜像在不同电脑环境的安 ...

最新文章

  1. Ztree节点增加删除修改和Icheck的用法
  2. android 读取其他应用程序,android – 在另一个应用程序中请求我自己的ContentProvider的读取权限...
  3. 卖软件源码、解决技术难题、做生意,都需要讲个基本原则【No Money No Code】
  4. linux-IO之copy的实现
  5. 如何让自己的网站快速被百度搜索引擎搜索到
  6. 使用有限状态机(FSM)解释shell 命令
  7. 存储过程可重用的代码块_利用软件重用经验进行自动化测试推荐
  8. Spring 框架学习 —— 容器
  9. CLR via C# ver4.0 读书笔记
  10. URAL - 1153 Supercomputer 大数开方
  11. GigE Vision网络相机
  12. 华为OLT(MA5680T)查看光猫光衰
  13. java download oracle,Java Archive Downloads - Java SE 6 | Oracle 中国
  14. 私藏几十款程序员必备效率工具:一次性都给你了!
  15. 微机原理——8255A的编程
  16. mysql的会话变量,全局变量,状态信息
  17. java设置png dpi_设置PNG图片DPI 信息,保存为PDF(使用Magick),与OpenCV转换
  18. ora-12555解决方案
  19. moment获取几小时前_moment.js 常用(几天前、相差几天、自然周、自然月)
  20. UTF-8不是兼容Unicode吗? 那UTF-8也应该支持中文啊, 为什么上面的XML文档会 出现字符集错误的情况呢?

热门文章

  1. 【Java】命令行下的Java模块化建构、编译与执行
  2. MCの生存游戏(洛谷P1867题题解,Java语言描述)
  3. 操作系统(八)进程管理——进程同步
  4. web前端项目详解:OPPO首页进度条特效(定时轮播)
  5. Linux系统启动流程(4)制作自定义linux之一
  6. hdu3689(kmp+dp)
  7. svn 钩子 post-commit 出现255错误解决办法
  8. Android游戏的心跳效果
  9. H3C MSR路由器GRE over IPv4典型配置案例
  10. mysql-proxy 2进制版本安装