Memcached Redis构建缓存服务器

一、Memcached介绍

RDBMS即关系数据库管理系统(Relational Database Management System)

许多Web应用都将数据保存到 RDBMS中，应用服务器从中读取数据并在浏览器中显示。但随着数据量的增大、访问的集中，就会出现RDBMS的负担加重、数据库响应恶化、网站显示延迟等重大影响。Memcached/redis是高性能的分布式内存缓存服务器,通过缓存数据库查询结果，减少数据库访问次数，以提高动态Web等应用的速度、提高可扩展性。

memcached的作用

缓存服务器作用：加快访问速度，缓解数据库压力
NOSQL名词解释 Not Only Sql:
为弥补关系型数据库的不足，各种各样的NoSQL数据库应运而生。以键值对的方式存储数据

Memcached特点

特点：

  内置存储方式：重启操作系统会导致全部数据消失简单key/value存储： 服务器不关心数据本身的意义及结构，只要是可序列化数据即可。存储项由“键、过期时间、可选的标志及数据”四个部分组成； 不互相通信的分布式： memcached尽管是“分布式”缓存服务器，但服务器端并没有分布式功能。 各个memcached不会互相通信以共享信息。那么，怎样进行分布式呢？ 这完全取决于客户端的实现。

Memcache服务框架

工作原理

1.检查用户请求的数据是缓存中是否有存在，如果有存在的话，只需要直接把请求的数据返回，无需查询数据库。
2.如果请求的数据在缓存中找不到，这时候再去查询数据库。返回请求数据的同时，把数据存储到缓存中一份。
3.保持缓存的“新鲜性”，每当数据发生变化的时候（比如，数据有被修改，或被删除的情况下），要同步的更新缓存信息，确保用户不会在缓存取到旧的数据。

二、实战

部署Memcached
yum install memcached -y
修改配置文件

vim /etc/sysconfig/memcached
PORT="11211"   //同台机编译安装多个memcached，多实例
USER="memcached"
MAXCONN="1024"
CACHESIZE="1500"            //单位是 MB
OPTIONS=""          //监听的网络地址

启动
systemctl start memcached.service
ps aux | grep memca

USER        PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
memcach+  18573  0.0  0.2 326588  2228 ?        Ssl  14:15   0:00 /usr/bin/memcached -u memcached -p 11211 -m 1500 -c 1024

测试

yum -y install telnet
192.168.238.129 11211
set name 0 900 5   #设置名称为name的key；# name     key的名字，自己定义# 0 key的id号，需要和其他的key不一样# 900 缓存过期时间，单位为秒，0为永远# 5 字符串最大长度
xulei   #给name的值
`看见STORED说明存储成功`
get name    #查询key为name的值

三、Redis 介绍

简介

redis是一个开源的、使用C语言编写的、支持网络交互的、可基于内存也可持久化的Key-Value数据库。

特点
什么是持久化：把内存中的数据库保存到磁盘上。防止数据的丢失。

丰富的数据结构
支持持久化
支持事务事务是指“一个完整的动作，要么全部执行，要么什么也没有做”。
支持主从

四、Redis实战

4.1 安装redis

从redis.io下载最新版redis-X.Y.Z.tar.gz后解压，然后进入redis-X.Y.Z文件夹后直接make即可

wget http://download.redis.io/releases/redis-4.0.9.tar.gz -O /redis-4.0.9.tar.gzcd /  #进入资源目录
tar xzf redis-4.0.9.tar.gz
cd /redis-4.0.9/
make

4.2 开机启动

mkdir /etc/redis
cp /redis-4.0.9/redis.conf /etc/redis/6379.conf
cp /redis-4.0.9/utils/redis_init_script /etc/init.d/redis

## 新增第6，7，13，15，29行vim /etc/init.d/redis 1 #!/bin/sh2 #3 # Simple Redis init.d script conceived to work on Linux systems4 # as it does use of the /proc filesystem.5 ##NEW###6 # chkconfig: 2345 10 907 # description: Start and Stop redis8 ##NEW###9 10 11 REDISPORT=637912 #EXEC=/usr/local/bin/redis-server13 EXEC=/redis-4.0.9/src/redis-server14 #CLIEXEC=/usr/local/bin/redis-cli15 CLIEXEC=/redis-4.0.9/src/redis-cli16 17 PIDFILE=/var/run/redis_${REDISPORT}.pid18 CONF="/etc/redis/${REDISPORT}.conf"19 #需要手动拷贝该文件。cp   /redis-4.0.9/redis.conf  /etc/redis/6379.conf20 21 case "$1" in22     start)23         if [ -f $PIDFILE ]24         then25                 echo "$PIDFILE exists, process is already running or crashed"26         else27                 echo "Starting Redis server..."28                 #$EXEC $CONF 29                 $EXEC $CONF &30 31         fi32         ;;33     stop)34         if [ ! -f $PIDFILE ]35         then36                 echo "$PIDFILE does not exist, process is not running"37         else38                 PID=$(cat $PIDFILE)39                 echo "Stopping ..."40                 $CLIEXEC -p $REDISPORT shutdown41                 while [ -x /proc/${PID} ]42                 do43                     echo "Waiting for Redis to shutdown ..."44                     sleep 145                 done46                 echo "Redis stopped"47         fi48         ;;49     *)50         echo "Please use start or stop as first argument"51         ;;52 esac

chmod 777 /etc/init.d/redis
chkconfig --add redis   #增加开机启动
chkconfig redis on      #设置开启启动
systemctl daemon-reload     #重新加载自启动信息
systemctl start redis           #启动redis

4.3 测试

/redis-4.0.9/src/redis-cli
127.0.0.1:6379> set name xulei  #设置键值对
OK
127.0.0.1:6379> get name  #获取键值对
“xulei”

五、Redis集群

5.1 redis持久化

简介

开启持久化功能后，重启redis后，数据会自动通过持久化文件恢复！！

方式

RDB(Redis DataBase)
RDB,是在不同的时间点，将Redis存储的数据生成快照并存储到磁盘等介质上；

特点：周期性不影响数据写入 ：RDB会启动子进程，备份所有数据。当前进程，继续提供数据的读写。当备份完成，才替换老的备份文件。高效：一次性还原所有数据完整性较差：故障点到上一次备份，之前的数据无法恢复

AOF(Append Only File)
AOF，则是换了一个角度来实现持久化，那就是将redis执行过的所有写指令（每秒钟）记录在日志中，在下次redis重新启动时，只要把这些写指令从前到后再重复执行一遍，就可以实现数据恢复了。

特点：实时性完整性好体积大：记录数据的指令，删除数据的指令都会被记录下来。

如何选择方式
缓存：不用开启任何的持久化方式
双开：因RDB数据不实时，但同时使用两者时服务器只会找AOF文件，所以RDB留作万一的手段。

5.2 配置持久化

平常两个都打开

RDB默认开启
查看开启状态

vim /redis-4.0.9/redis.conf
#dbfilename：持久化数据存储在本地的文件
dbfilename dump.rdb
#dir：持久化数据存储在本地的路径，如果是在/redis/redis-3.0.6/src下启动的redis-cli，则数据会存储在当前src目录下
dir ./
##snapshot触发的时机，save <seconds> <changes>
##如下为900秒后，至少有一个变更操作，才会snapshot
##对于此值的设置，需要谨慎，评估系统的变更操作密集程度
##可以通过“save “””来关闭snapshot功能
#save时间，以下分别表示更改了1个key时间隔900s进行持久化存储；更改了10个key300s进行存储；更改10000个key60s进行存储。
save 900 1
save 300 10
save 60 10000
##当snapshot时出现错误无法继续时，是否阻塞客户端“变更操作”，“错误”可能因为磁盘已满/磁盘故障/OS级别异常等
stop-writes-on-bgsave-error yes
##是否启用rdb文件压缩，默认为“yes”，压缩往往意味着“额外的cpu消耗”，同时也意味这较小的文件尺寸以及较短的网络传输时间
rdbcompression yes

客户端使用命令进行持久化save存储：

./redis-cli -h ip -p port save   前台进行存储
./redis-cli -h ip -p port bgsave    后台进行存储每次快照持久化都是将内存数据完整写入到磁盘一次，并不是增量的只同步脏数据。如果数据量大的话，而且写操作比较多，必然会引起大量的磁盘io操作，可能会严重影响性能。

AOF默认关闭

修改配置文件reds.conf:appendonly yes

##此选项为aof功能的开关，默认为“no”，可以通过“yes”来开启aof功能
##只有在“yes”下，aof重写/文件同步等特性才会生效
appendonly yes  ##指定aof文件名称
appendfilename appendonly.aof  ##指定aof操作中文件同步策略，有三个合法值：always everysec no,默认为everysec
appendfsync everysec
##在aof-rewrite期间，appendfsync是否暂缓文件同步，"no"表示“不暂缓”，“yes”表示“暂缓”，默认为“no”
no-appendfsync-on-rewrite no  auto-aof-rewrite-min-size 64mb
触发aof rewrite的最小文件尺寸auto-aof-rewrite-percentage 100当Aof log增长超过指定比例时，重写log file， 设置为0表示不自动重写Aof 日志，重写是为了使aof体积保持最小，而确保保存最完整的数据。redis.conf中的appendf sync是对redis性能有重要影响的参数之一。可取三种值：always、everysec和no。设置为always时，会极大消弱Redis的性能，因为这种模式下每次write后都会调用fsync（Linux为调用fdatasync）。如果设置为no，则write后不会有fsync调用，由操作系统自动调度刷磁盘，性能是最好的。everysec为最多每秒调用一次fsync，这种模式性能并不是很糟糕，一般也不会产生毛刺，这归功于Redis引入了BIO线程，所有fsync操作都异步交给了BIO线程。

5.3 redis集群实战

简介

像MySQL一样，redis是支持主从同步的，而且也支持一主多从以及多级从结构。

主从结构，一是为了纯粹的冗余备份，二是为了提升读性能，比如很消耗性能的SORT就可以由从服务器来承担。

redis的主从同步是异步进行的，这意味着主从同步不会影响主逻辑，也不会降低redis的处理性能。

主从架构中，可以考虑关闭主服务器的数据持久化功能，只让从服务器进行持久化，这样可以提高主服务器的处理性能。

在主从架构中，从服务器通常被设置为只读模式，这样可以避免从服务器的数据被误修改。但是从服务器仍然可以接受CONFIG等指令，所以还是不应该将从服务器直接暴露到不安全的网络环境中。如果必须如此，那可以考虑给重要指令进行重命名，来避免命令被外人误执行。

5.3.1 集群部署

准备三台互相通信的服务器，并部署redis。
或者在实战redis的基础上准备两台

Master 192.168.238.129vim /etc/redis/6379.conf
#bind 127.0.01  修改为
bind 0.0.0.0    #监听本机所有地址
#protected-mode yes
protected-mode no   #关闭保护模式#systemctl restart redissalve1 192.168.238.138vim /etc/redis/6379.conf
slaveof 192.168.238.129 6379        #主机IP  Port
bind 0.0.0.0
protected-mode no#systemctl restart redisslave2 192.168.238.139vim /etc/redis/6379.conf
slaveof 192.168.238.129 6379
bind 0.0.0.0
protected-mode no#systemctl restart redis

5.4 测试

至此实现数据同步一致性

/redis-4.0.9/src/redis-cli   #登录redis客户端master127.0.0.1:6379> info replication
# Replication
role:master
connected_slaves:2
slave0:ip=192.168.0.113,port=6379,state=online,offset=2212,lag=1
slave1:ip=192.168.0.112,port=6379,state=online,offset=2212,lag=0在slave查看127.0.0.1:6379> info replication
# Replication
role:slave
master_host:192.168.0.109
master_port:6379
master_link_status:up

六、Redis-sentinel

如果master redis出现故障，Redis-sentinle可以检测到故障并投票选举从服务器为主服务器

6.1 sentinel介绍

Redis-Sentinel是Redis官方推荐的高可用性(HA)解决方案。实际上这意味着你可以使用Sentinel模式创建一个可以不用人为干预而应对各种故障的Redis部署。

作用：
1)：Master状态检测
2)：如果Master异常，则会进行Master-Slave切换，将其中一个Slave作为Master，将之前的Master作为Slave
3)：Master-Slave切换后，master_redis.conf、slave_redis.conf和sentinel.conf的内容都会发生改变，即master_redis.conf中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换

工作方式

1)：每个Sentinel以每秒钟一次的频率向它所知的Master，Slave以及其他 Sentinel 实例发送一个 PING 命令

2)：如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值，则这个实例会被 Sentinel 标记为主观下线。

3)：如果一个Master被标记为主观下线，则正在监视这个Master的所有 Sentinel 要以每秒一次的频率确认Master的确进入了主观下线状态。

4)：当有足够数量的 Sentinel（大于等于配置文件指定的值）在指定的时间范围内确认Master的确进入了主观下线状态，则Master会被标记为客观下线

主观下线和客观下线

主观下线：Subjectively Down，简称 SDOWN，指的是当前 Sentinel 实例对某个redis服务器做出的下线判断。
客观下线：Objectively Down，简称 ODOWN，指的是多个 Sentinel 实例在对Master Server做出 SDOWN 判断，并且通过 SENTINEL is-master-down-by-addr 命令互相交流之后，得出的Master Server下线判断，然后开启failover.

6.2 实现

1. 每台机器机器上的redis主配置文件设置：bind 0.0.0.0
2. 每台机器上修改sentinel配置文件：添加如下配置vim /redis-4.0.9/sentinel.confsentinel monitor mymaster 192.168.238.129 6379 2   #当集群中有2个sentinel认为master死了时，才能真正认为该master已经不可用了。sentinel down-after-milliseconds mymaster 3000      #如果在down-after-millisecondes毫秒内，没有收到有效的回复，则会判定该节点为主观下线。sentinel failover-timeout mymaster 10000           #若sentinel在该配置值内未能完成failover(故障转移)操作（即故障时master/slave自动切换），则认为本次failover失败。protected-mode no

3. 每台机器启动服务：cd /redis-4.0.9./src/redis-sentinel sentinel.conf4. 关闭主服务器，观察从服务器改变状态
master1: systemctl stop redis查看slave状态新主服务器上观察状态转换
# /redis-4.0.9/src/redis-cli
# info replication  观察状态由主转从