利用gearman实现redis缓存mysql
环境:
centos6.5
mysql5.6
gearman简介:
Gearman是一个支持分布式的任务分发框架。设计简洁,获得了非常广泛的支持。一个典型的Gearman应用包括以下这些部分:
Gearman Job Server:Gearman核心程序,以守护进程形式运行在后台
Gearman Client:可以理解为任务的收件员,比如我要在后台执行一个发送邮件的任务,可以在程序中调用一个Gearman Client并传入邮件的信息,然后就可以将执行结果立即展示给用户,而任务本身会慢慢在后台运行。
Gearman Worker:任务的真正执行者,一般需要自己编写具体逻辑并通过守护进程方式运行,Gearman Worker接收到Gearman Client传递的任务内容后,会按顺序处理。
设计思路:
首先利用mysql UDF(通过了lib_mysqludf_json和gearman-mysql-udf的组合实现)在mysql中的数据发生改变时触动触发器将数据传入Gearman中,这时的mysql相当于Gearman的clinet。然后运行自己编写的php程序作为worker,将Gearman中的数据传到Redis中去,这时的Redis相当于是Gearman的consumer。
1、安装gearman
实验中的系统yum源在centos6.5自带的网络yum源的基础上,增加了epel的源,EPEL (Extra Packages for Enterprise Linux,企业版Linux的额外软件包) 是Fedora小组维护的一个软件仓库项目,为RHEL/CentOS提供他们默认不提供的软件包。使用这个源可以免去很多麻烦,省去源码编译的麻烦,需要注意的是,不论是使用centos自带的网络yum源还是epel扩展源,都需要你的IP能够访问到公网。
安装gearman、php、php的gearman扩展、nc工具
yum install -y php-pecl-gearman libgearman libgearman-devel gearmand nc
启动gearman服务
/etc/init.d/gearmand start
验证gearman是否成功启动,如果返回的结果中有4730端口,那么表示服务已经正常启动了
[root@hadoop1 ~]# netstat -alnutp |grep gearman
2、模拟Gearman的工作原理:
使用下列命令查看Gearman的队列
watch -n 1 "(echo status; sleep 0.1) | nc 127.0.0.1 4730"
结果如下
writeLog 0 0 0
四列含义:1-任务名称;2-等待队列任务数;3-运行中的任务数;4-正在运行的worker进程数;
编译一段php代码模拟Gearman的Client:client.php
<?php$client = new GearmanClient();$client->addServer();$client->doBackground('writeLog', 'Log content');echo '文件已经在后台操作';echo "\n";
执行client.php
php client.php
这时,再次查看Gearman的队列,发现等待队列中有一个任务
writeLog 1 0 0
编写一段php代码模拟Gearman的Worker:worker.php
该worker的作用是将客户端传递给Gearman的字符串'Log content'写入到当前目录下的gearman.log文件中
<?php$worker = new GearmanWorker();$worker->addServer();$worker->addFunction('writeLog', 'writeLog');while($worker->work());function writeLog($job){$log = $job->workload();file_put_contents(__DIR__ . '/gearman.log', $log . "\n", FILE_APPEND | LOCK_EX);}
以nohup的方式后台启动worker.php
nohup php worker.php &
再次查看Gearman的队列,发现等待的任务变成0,worker进程变成了1,gearman.log有了内容
writeLog 0 0 1
[root@hadoop1 ~]# cat gearman.log
Log content
3、安装mysql-server、mysql、php-mysql(php连接mysql的驱动,非必须,这里是为了稍后用程序比较从Redis和Mysql中分别读取数据的效率)。实验中,由于我的机子上之前已将安装了mysql5.6,所以就直接使用mysql5.6做实验了。当然也可以使用yum开安装mysql,可能安装的mysql版本不是5.6,但是完全没有关系。
安装mysql相关软件
yum install -y mysql-server mysql php-mysql
启动mysql
/etc/init.d/mysql start
4、安装lib_mysqludf_json
wget https://github.com/mysqludf/lib_mysqludf_json/archive/master.zip
mv master master.zip
unzip master.zip
cd lib_mysqludf_json-master
rm -rf lib_mysqludf_json.so
gcc $(mysql_config --cflags) -shared -fPIC -o lib_mysqludf_json.so lib_mysqludf_json.c
这时重新编译生成了lib_mysqludf_json.so,然后需要把lib_mysqludf_json.so拷贝到mysql的插件目录下,查看mysql的插件目录:
[root@hadoop1 ~]# mysql -u root -pupbjsxt --execute="show variables like '%plugin%';"
+---------------+--------------------------+
| Variable_name | Value |
+---------------+--------------------------+
| plugin_dir | /usr/lib64/mysql/plugin/ |
+---------------+--------------------------+
[root@hadoop1 lib_mysqludf_json-master]# cp lib_mysqludf_json.so /usr/lib64/mysql/plugin/
5、安装gearman-mysql-udf
wget https://launchpad.net/gearman-mysql-udf/trunk/0.6/+download/gearman-mysql-udf-0.6.tar.gz
tar xf gearman-mysql-udf-0.6.tar.gz -C ./
cd gearman-mysql-udf-0.6
./configure --with-mysql=/usr/bin/mysql_config --libdir=/usr/lib64/mysql/plugin/
make && make install
该插件直接安装到了mysql的插件目录下。
6、连入mysql,创建对应的function、trigger及设置gearman server信息
[root@hadoop1 ~]# mysql -u root -p******
mysql> CREATE FUNCTION json_object RETURNS STRING SONAME 'lib_mysqludf_json.so';
mysql> CREATE FUNCTION gman_do_background RETURNS STRING SONAME 'libgearman_mysql_udf.so';
mysql> CREATE FUNCTION gman_servers_set RETURNS STRING SONAME 'libgearman_mysql_udf.so'## 为javashop中的test表建立触发器
mysql> use javashop;
mysql> describe test;
+-------+----------+------+-----+---------+-------+
| Field | Type | Null | Key | Default | Extra |
+-------+----------+------+-----+---------+-------+
| id | int(11) | YES | | NULL | |
| name | char(20) | YES | | NULL | |
+-------+----------+------+-----+---------+-------+
2 rows in set (0.00 sec)
mysql> source trigger.sql## 设置gearman server信息
mysql>SELECT gman_servers_set('127.0.0.1:4730');
trigger.sql脚本文件内容如下
DELIMITER $$
CREATE TRIGGER datatoredis AFTER UPDATE ON test FOR EACH ROW BEGINSET @ret=gman_do_background('syncToRedis', json_object(NEW.id as `id`, NEW.name as `name`)); END$$
DELIMITER ;
7、在mysql中更新一条数据,然后查看gearman的队列
mysql> update test set name='redis' where id=10;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1 Changed: 1 Warnings: 0
writeLog 0 0 1
syncToRedis 1 0 0
可见mysql触发器已经成功的将数据传入到gearman中了。
8、安装redis、php-pecl-redis(php连接redis的驱动)
yum install php-pecl-redis redis -y
启动redis
/etc/init.d/redis start
登录redis客户端,查看当前内存中的数据
[root@hadoop1 ~]# redis-cli
redis 127.0.0.1:6379> keys *
(empty list or set)
这时,redis中并没有数据。
9、编写一个worker程序,负责将gearman中的数据传入到redis中去:redis_worker.php
<?php$worker = new GearmanWorker();$worker->addServer();$worker->addFunction('syncToRedis', 'syncToRedis');$redis = new Redis();$redis->connect('127.0.0.1');while($worker->work());function syncToRedis($job){global $redis;$workString = $job->workload();$work = json_decode($workString);if(!isset($work->id)){return false;}$redis->set($work->id, $workString);}
10、以nohup的方式后台运行redis_worker.php
nohup php redis_worker.php &
这时,再查看gearman的队列
writeLog 0 0 1
syncToRedis 0 0 1
发现syncToRedis任务之前等待的任务数变为了0,正在运行的worker进程数变为了1。
检查redis中是否缓存了数据
[root@hadoop1 ~]# redis-cli
redis 127.0.0.1:6379> keys *
1) "10"
redis 127.0.0.1:6379> get 10
"{\"id\":10,\"name\":\"redis\"}"
发现redis中已经成功的缓存了mysql中更新的数据,至此功能实现。
11、从redis中读取数据和从mysql中读取数据性能比较
编写php代码,从redis中读取数据:php_redis.php
<?php $stime=microtime(true); //获取程序开始执行的时间 $redis = new Redis(); $redis->connect('127.0.0.1'); echo $redis->get('10'); echo "\n";$redis->close(); $etime=microtime(true);//获取程序执行结束的时间 $total=$etime-$stime; //计算差值 echo "$total".'秒'; echo "\n";
?>
编写php代码,从mysql中读取数据:php_mysql.php
<?php$stime=microtime(true); //获取程序开始执行的时间 $con = mysql_connect("127.0.0.1","root","******");$r2 = mysql_select_db("javashop");$result = mysql_query("SELECT * FROM test limit 1");while ($row = mysql_fetch_array($result)) {echo $row['id'] . " --> " . $row['name'];echo "\n";}mysql_close($con);$etime=microtime(true);//获取程序执行结束的时间 $total=$etime-$stime; //计算差值 echo "$total".'秒'; echo "\n"
?>
分别运行两个php程序
[root@hadoop1 ~]# php php_redis.php
{"id":10,"name":"redis"}
0.00059199333190918秒[root@hadoop1 ~]# php php_mysql.php
10 --> redis
0.0043718814849854秒[root@hadoop1 ~]# bc <<< 0.0043718814849854/0.00059199333190918
7
通过对一条记录的查询,可以发现,从mysql中获取数据的时长是redis中获取数据时长的7倍,可见性能的提升几乎达一个数量级。
注意点:
亲测印证了mysql在重启后会丢失之前设置的gearman server的信息,解决办法如下:
在mysql的datadir目录下创建init_file.sql文件,内容为gearman server的信息的设置
echo "SELECT gman_servers_set('127.0.0.1:4730');" > /var/lib/mysql/init_file.sql
然后在mysql的配置文件的[mysqld]项中添加如下内容
init-file=/var/lib/mysql/init_file.sql
然后重启mysql,更新一条记录再试试看!
参考:http://avnpc.com/pages/mysql-replication-to-redis-by-gearman
PS:完成了第一篇博客,希望大家多多指教,祝生活愉快!
转载于:https://blog.51cto.com/quenlang/1568567
利用gearman实现redis缓存mysql相关推荐
- gearman mysql编译_利用gearman实现redis缓存mysql
环境: centos6.5 mysql5.6 gearman简介: Gearman是一个支持分布式的任务分发框架.设计简洁,获得了非常广泛的支持.一个典型的Gearman应用包括以下这些部分: Gea ...
- Spring Boot实战解决高并发数据入库: Redis 缓存+MySQL 批量入库
前言 最近在做阅读类的业务,需要记录用户的PV,UV: 项目状况:前期尝试业务阶段: 特点: 快速实现(不需要做太重,满足初期推广运营即可) 快速投入市场去运营 收集用户的原始数据,三要素: 谁 在什 ...
- spring+mybatis+springMVC+redis缓存+mysql+bootstrap+异步提交----联系人小demo
一.运行截图 代码百度网盘链接 链接:https://pan.baidu.com/s/11hZjNb_dajZFyuUw6qnsYQ 提取码:11er
- mysql大数据更新缓存_redis缓存mysql
Redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合)和zset(有序集合).这些数据类 ...
- ssm+redis 如何更简洁的利用自定义注解+AOP实现redis缓存
基于 ssm + maven + redis 使用自定义注解 利用aop基于AspectJ方式 实现redis缓存 如何能更简洁的利用aop实现redis缓存,话不多说,上demo 需求: 数据查询时 ...
- Redis作为MySQL缓存服务器的使用
server1:192.168.1.11 安装nginx和php为用户提供服务访问入口 server3:192.168.1.13 安装mysql,存储数据 server2:192.168.1.12 ...
- 常见面试问题1:ZooKeeper、Redis、Mysql、JVM、Spring、Dubbo
面试问题整理 ZooKeeper CAP定理: 一个分布式系统不可能同时满足以下三种,一致性(C:Consistency),可用性(A:Available),分区容错性(P:Partition Tol ...
- lamp架构之redis(3):redis和mysql的整合
redis和mysql的整合 一.redis结合mysql 1.redis和mysql的基础概念 2.redis和mysql的区别总结 3.为什么要作缓存 4.redis作为缓存 二.环境部署 三.m ...
- 如何使用Redis做MySQL的缓存
应用Redis实现数据的读写,同时利用队列处理器定时将数据写入mysql. 同时要注意避免冲突,在redis启动时去mysql读取所有表键值存入redis中,往redis写数据时,对redis主键自增 ...
最新文章
- 审核网络安全的十大必备工具
- JNLP(jar包签名)
- SQL Server几个常用Date函数(二)
- 【译】Jumping into Solidity — The ERC721 Standard (Part 4)
- 二维绕任意点旋转_二维图形复合线性变换程序设计:三角形绕任意点旋转2wfhbh...
- Source Insight 创建工程(linux-2.6.22.6内核源码)
- Windows Mobile 5.0
- CALLING PROCEDURES USING CALL AND RET
- docker宿主机访问容器_干货来啦!带你初探Docker逃逸
- 如何使用ReiBoot修复iOS系统
- 基于中颖SH79F168单片机的航模无刷电调方案
- Java基础String类
- ペイペイ mini program_小姐姐最爱的MINI,你了解吗?
- csp ccf 202206-2 寻宝!大冒险!(70分超时的进)
- Backlog Order
- 红轴和茶轴哪个声音大 红轴和茶轴哪个适合打字
- 《康熙王朝》剧情分集介绍【全】
- 总结学过的技术,实现加密注册,登录及过期不能访问,微信朋友圈功能,文章比较长,但是比较详细。
- Java并发编程总结
- [gdc13]《孤岛危机3》渲染技术