搭建redis给mysql做缓存
安装redis的前提是lnmp或者lamp的环境已经搭建完成。
安装redis
1、安装redis(或可以选择yum安装)
1
2
3
4
5
6
7
8
9
10
11
12
|
[root@redis ~]# wget -c -t 0 http://download.redis.io/releases/redis-2.8.19.tar.gz
[root@redis ~]# mkdir /usr/local/redis
[root@redis ~]# tar xvf redis-2.8.19.tar.gz
#安装很简单、直接make就可以了
[root@redis ~]# cd redis-2.8.19
[root@redis redis-2.8.19]# make
#编译完成后,将src中的可执行文件拷贝到刚刚创建的目录中
[root@redis src]# cp redis-benchmark redis-check-aof redis-check-dump redis-cli redis-sentinel redis-server /usr/local/redis/
[root@redis redis-2.8.19]# cp redis.conf sentinel.conf /usr/local/redis/
|
Redis-benchmark 压力测试工具
Redis-check-aof 检查redis持久化命令文件的完整性
Redis-check-dump 检查redis持久化数据文件的完整性
Redis-cli redis在linux上的客户端
Redis-sentinel redis-sentinel是集群管理工具,主要负责主从切换。
Redis-server Redis服务器的daemon启动程序
2、安装php的redis扩展
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
[root@redis ~]# wget -c -t 0 https://github.com/owlient/phpredis/archive/master.zip
[root@redis ~]# unzip master.zip
[root@redis ~]# cd phpredis-master/
[root@redis phpredis-master]# phpize
[root@redis phpredis-master]# ./configure --with-php-config=/usr/bin/php-config
[root@redis phpredis-master]# make && make install
#修改php的配置文件,如果没有“extension=redis.so”,就加上这一行
[root@redis ~]# vim /etc/php.ini
extension=redis.so
[root@redis ~]# /etc/init.d/php-fpm restart
停止 php-fpm: [确定]
正在启动 php-fpm: [确定]
|
3、是否安装成功
还是访问phpinfo的那个界面
看到这个就是安装完成了。
五、读写分离
这里只是简单的做了一下读,没有写操作的相关代码,过一会测试,直接到数据库里执行update来模拟写操作。
1、在mysql中插入一些测试数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
|
[root@redis ~]# mysql -u root -p123456
mysql> create database mytest;
mysql> CREATE TABLE `test` (`id` int(7) NOT NULL AUTO_INCREMENT, `name` char(8) DEFAULT NULL, PRIMARY KEY (`id`)) ENGINE=InnoDB AUTO_INCREMENT=10 DEFAULT CHARSET=utf8;
mysql> INSERT INTO `test` VALUES (1,'sven'),(2,'jim'),(3,'zhu'),(4,'wang'),(5,'ftd'),(6,'test'),(7,'test01'),(8,'test02'),(9,'test03');
mysql> select * from mytest.test;
+----+--------+
| id | name |
+----+--------+
| 1 | sven |
| 2 | jim |
| 3 | zhu |
| 4 | wang |
| 5 | ftd |
| 6 | test |
| 7 | test01 |
| 8 | test02 |
| 9 | test03 |
+----+--------+
|
2、编写php的测试代码 ##可以直接在html下创建1.php复制下面代码,修改mysql连接地址进行测试
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
|
<?php
$redis = new Redis();
$redis->connect('127.0.0.1',6379) or die ("could net connect redis server");
$query = "select * from test limit 8";
//为了简单一点,这里就读取了8条数据
for ($key = 1; $key < 9; $key++)
{
if (!$redis->get($key))
{
$connect = mysql_connect('127.0.0.1','root','123456');
mysql_select_db(mytest);
$result = mysql_query($query);
//如果没有找到$key,就将该查询sql的结果缓存到redis
while ($row = mysql_fetch_assoc($result))
{
$redis->set($row['id'],$row['name']);
}
$myserver = 'mysql';
break;
}
else
{
$myserver = "redis";
$data[$key] = $redis->get($key);
}
}
echo $myserver;
echo "<br>";
for ($key = 1; $key < 9; $key++)
{
echo "number is <b><font color=#FF0000>$key</font></b>";
echo "<br>";
echo "name is <b><font color=#FF0000>$data[$key]</font></b>";
echo "<br>";
}
?>
|
第一次访问,redis中没有对应的KEY时
再次访问,此时redis中已有相关数据
到这里,我们已经实现了redis作为mysql的缓存服务器,但是如果更新了mysql,redis中仍然会有对应的KEY,数据就不会更新,此时就会出现mysql和redis数据不一致的情况。所以接下来就要通过mysql触发器将改变的数据同步到redis中。
六、通过gearman实现同步
1、介绍
Gearman是一个支持分布式的任务分发框架:
Gearman Job Server:Gearman核心程序,需要编译安装并以守护进程形式运行在后台。
Gearman Client:可以理解为任务的请求者。
Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。
大致流程:
下面要编写的mysql触发器,就相当于Gearman的客户端。修改表,插入表就相当于直接下发任务。然后通过lib_mysqludf_json UDF库函数将关系数据映射为JSON格式,然后在通过gearman-mysql-udf插件将任务加入到Gearman的任务队列中,最后通过redis_worker.php,也就是Gearman的worker端来完成redis数据库的更新。
2、安装启动 (也可以选择yum安装)如果是yum安装要安装如下几个包
1
2
3
4
5
|
[root@redis ~]# yum -y install gearmand libgearman-devel
[root@redis ~]# /etc/init.d/gearmand start
正在启动 gearmand: [确定]
[root@redis ~]# /etc/init.d/gearmand status
gearmand (pid 7702) 正在运行...
|
3、安装php的gearman扩展
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
|
[root@redis ~]# wget -c -t 0 https://pecl.php.net/get/gearman-1.1.1.tgz
[root@redis ~]# tar xvf gearman-1.1.1.tgz
[root@redis ~]# cd gearman-1.1.1
[root@redis gearman-1.1.1]# phpize
[root@redis gearman-1.1.1]# ./configure --with-php-config=/usr/bin/php-config
[root@redis gearman-1.1.1]# make
[root@redis gearman-1.1.1]# make install
#如果php的配置文件中没有extension = gearman.so,就加上此行
[root@redis ~]# vim /etc/php.ini
extension = gearman.so
[root@redis ~]# /etc/init.d/php-fpm restart
停止 php-fpm: [确定]
正在启动 php-fpm: [确定]
|
这样就是安装成功了
4、安装lib_mysqludf_json
lib_mysqludf_json UDF库函数将关系数据映射为JSON格式。通常,数据库中的数据映射为JSON格式,是通过程序来转换的。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
|
[root@redis ~]# wget -c -t 0 https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip
[root@redis ~]# unzip master.zip
[root@redis ~]# cd lib_mysqludf_json-master/
[root@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
lib_mysqludf_json.c:40:23: 错误:my_global.h:没有那个文件或目录
lib_mysqludf_json.c:41:20: 错误:my_sys.h:没有那个文件或目录
lib_mysqludf_json.c:43:19: 错误:mysql.h:没有那个文件或目录
lib_mysqludf_json.c:44:21: 错误:m_ctype.h:没有那个文件或目录
lib_mysqludf_json.c:45:22: 错误:m_string.h:没有那个文件或目录
#这里编译报错是因为没有安装mysql的开发包,如果是源码安装的mysql,需要在/etc/ld.so.conf.d/
#目录下新建一个文件告诉系统mysql的头文件在哪里
[root@redis lib_mysqludf_json-master]# yum -y install mysql-devel
[root@redis lib_mysqludf_json-master]# gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
mysql> show global variables like 'plugin_dir';
+---------------+-------------------------+
| Variable_name | Value |
+---------------+-------------------------+
| plugin_dir | /usr/lib64/mysql/plugin |
+---------------+-------------------------+
#将模块拷贝到插件目录下
[root@redis lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/
#注册UDF函数
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
|
5、安装gearman-mysql-udf
这个插件是用来管理调用 Gearman 的分布式的队列。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
[root@redis ~]# wget -c -t 0 https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz
[root@redis ~]# tar xvf gearman-mysql-udf-0.6.tar.gz
[root@redis ~]# cd gearman-mysql-udf-0.6
[root@redis gearman-mysql-udf-0.6]# ./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/
[root@redis gearman-mysql-udf-0.6]# make
[root@redis gearman-mysql-udf-0.6]# make install
#注册UDF函数
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so';
#查看函数
mysql> select * from mysql.func;
+--------------------+-----+-------------------------+----------+
| name | ret | dl | type |
+--------------------+-----+-------------------------+----------+
| json_object | 0 | lib_mysqludf_json.so | function |
| gman_do_background | 0 | libgearman_mysql_udf.so | function |
| gman_servers_set | 0 | libgearman_mysql_udf.so | function |
+--------------------+-----+-------------------------+----------+
#指定gearman的服务信息
mysql> SELECT gman_servers_set('127.0.0.1:4730');
|
6、编写mysql触发器(根据实际情况编写)
1
2
3
4
5
|
DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGIN
SET @RECV=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`));
END$$
DELIMITER ;
|
7、编写gearman的worker端
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
[root@redis ~]# vim /www/redis_worker.php
<?php
$worker = new GearmanWorker();
$worker->addServer();
$worker->addFunction('syncToRedis', 'syncToRedis');
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
while($worker->work());
function syncToRedis($job)
{
global $redis;
$workString = $job->workload();
$work = json_decode($workString);
if(!isset($work->id)){
return false;
}
$redis->set($work->id, $work->name);
}
?>
#后台运行
[root@redis www]# nohup php redis_worker.php &
|
"$redis->set($work->id, $work->name);"这条语句就是将id作KEY和name作VALUE分开存储,需要和前面写的php测试代码的存取一致。
8、更新mysql中的数据
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
mysql> set @RECV = 1;
mysql> select @RECV;
+------+
| @RECV|
+------+
| 1 |
+------+
mysql> update test set name = 'ssss' where id = 1;
mysql> select @RECV;
+------+
| @RECV|
+------+
| NULL |
+------+
|
从返回值可以看到,触发器是触发成功的(这里的@RECV是上面mysql TIGGER的返回值)。我们在redis中查看数据:
1
2
3
|
[root@redis redis]# ./redis-cli
127.0.0.1:6379> get 1
"sven"
|
这里的数据居然没有变化,这是我们就要排错了。
1
2
3
4
5
6
7
8
9
10
11
|
[root@redis ~]# vim /var/log/audit/audit.log
type=AVC msg=audit(1427807674.425:107): avc: denied { name_connect } for pid=12453 comm="mysqld" dest=4730 scontext=unconfined_u:system_r:mysqld_t:s0 tcontext=system_u:o
bject_r:port_t:s0 tclass=tcp_socket
#看到这样一条日志,就知道是selinux阻止了同步
#现在将selinux的模式调成Permissive
[root@redis ~]# getenforce
Enforcing
[root@redis ~]# setenforce 0
[root@redis ~]# getenforce
Permissive
|
设置完成以后,再次执行update,进入redis进行查看
1
2
|
127.0.0.1:6379> get 1
"ssss"
|
刷新一下刚刚的php界面
到这里就基本算是大功告成了,只要application将数据写到mysql中,mysql触发器检测到更新,就会通过Gearman将数据同步到redis中。然后读取的话,就直接从redis中进行读取。当然这只是个实验环境,实际上还有很多细节要调整。
七、GitHub上的一个有意思的工具
地址:https://github.com/delano/redis-dump
这个工具是用备份的redis的,也许你会问redis有自己的持久化,要这个工具干嘛?
redis的自带的持久化具有局限性,假象我们需要redis回到过去的某个时刻去(回档)。redis自带的持久化要实现这个需求,办法就是不断的将dump文件或者aof文件移动到其他目录中去,不然它就会被新的持久化文件覆盖。
而这个工具,就可以在任意时刻将数据库备份出来,非常方便。
1
2
|
[root@redis ~]# yum -y install rubygems.noarch ruby-devel
[root@redis ~]# gem install redis-dump
|
这样就安装完成了,使用方法到GitHub上去看,挺详细的。
搭建redis给mysql做缓存相关推荐
- Redis 作 mysql 的缓存服务器及redis的高可用
Redis 作 mysql 的缓存服务器 1.安装 lnmp 环境,安装以下软件包: nginx php php-fpm php-cli php-common php-gd php-mbstring ...
- 常见面试题------Redis为什么可以做缓存?
Redis为什么可以做缓存? 1.Redis将其数据库完全保存在内存中,仅使用磁盘进行持久化.与其它键值数据存储相比,Redis有一组相对丰富的数据类型.Redis可以将数据复制到任意数量的从机中. ...
- Redis是如何做缓存的
前言 基于Redis的高性能特性,我们将Redis用在缓存场景非常广泛.使用起来方便,响应也是远超关系型数据库. 但我们用Redis做缓存时,也要注意各种问题的应对和措施,比如缓存失效.数据一致性问题 ...
- MySQL与Redis数据库结合——redis作为mysql的缓存服务器,实现读写分离(nginx+php+redis+mysql)
文章目录 一.读写分离的背景 二.搭建nginx+php+redis+mysql 实验环境 实验 1.在server1上安装nginx+php 建立php和redis,mysql的连接 2.在serv ...
- 并不是只有 Redis 才可以做缓存
点击上方蓝色字体,选择"设置星标" 优质文章,第一时间送达 背景 当前业务需要使用 Oauth 授权的 accessToken 调用第三方系统获取用户资料.这里简化说明完成和第三方 ...
- redis作为mysql的缓存服务器(读写分离)
https://www.cnblogs.com/sevenyuan/p/8548664.html https://www.cnblogs.com/henryliublog/p/9170666.html ...
- redis配置mysql缓存_Redis做mysql的缓存服务器
一redis简介:redis 是一个高性能的 key-value 数据库. redis 的出现,很大程度补偿了memcached 这类 keyvalue 存储的不足,在部分场合可以对关系数据库起到很好 ...
- 9.redis 做缓存
全网最新相关内容 标题-链接 发布日期 简介 来源 轻松理解redis做缓存的流程_小浩丶的博客-CSDN博客_redis ... 2022-4-5 22:59:03 1. 引言 缓存有啥用?降低对数 ...
- java 缓存分页_基于redis做缓存分页
在实际业务中我们会将一些热数据缓存到redis里面,这时候数据量比较大的话,我们就要对这些热数据进行分页,分页的方式有2种: 第一:从redis拿出所有数据后,再做内存分页(不推荐),热点数据小的时候 ...
最新文章
- MySQL常见的几个错误汇总
- Hadoop书籍和网络资源介绍
- PCA与SVD的关系
- Java文本框只有一行数据,Java只允许输入数目字的文本框
- python基本程序结构有几种_python基础梳理(一)(推荐)
- 使用 C# 编程对RTF文档的支持
- 面试了一个2年程序员,竟然只会curd,网友神回复!
- Gaussian09 optimization trajectory: python script
- 常用RF连接器SMA/SMB/SMP/MMCX/BNC/TNC/2.92/2.4
- Linux编译安装Apache
- linux搭建windows无盘系统,Ubuntu系统搭建drbl无盘服务端环境
- PCB设计流程图 思路清晰远比卖力苦干重要
- 台式计算机总是重启,电脑为什么老是自动重启?我的电脑经常自动重启!!
- 解决win10蓝牙搜索到小爱音箱无法连接问题
- 微信开发之小程序的页面布局
- 多传感器融合定位 第一章 概述
- oracle读取数字时添加小数或者加上分隔符
- MD5常用方法,不积硅步无以至千里
- PHP 随机生成电话号码、用户名字
- AC旁挂式组网的思路
热门文章
- 图像相似度计算之直方图方法OpenCV实现
- 设计模式之访问者模式(Visitor)摘录
- 【ubuntu】vim中鼠标选中时变成 可视模式,不能复制的解决方法
- 【Qt】Qt发布可执行程序(打包依赖库)
- Java学习总结:15
- Java学习总结:12
- Java项目:茶叶售卖商城系统(java+SSM+JSP+EasyUi+mysql)
- Java项目:进销存系统(java+Gui)
- 贝塞尔结合CAShapeLayer绘制路线,CABasicAnimation实现的小动画
- iOS中你可能没有完全弄清楚的(二)自己实现一个KVO源码及解析