python cache MySQL_Python判断Memcached是否缓存MySQL结果
介绍一个生产环境中memcached的使用场景,主要是memcached存储关系型数据库MySQL的查询结果,比如网站的下载排名等,这种查询每次从关系型数据库中查询,会增加磁盘的I/O开销,而这个排名不需要实时的更新,所以我们把这个结果存在memcached中,memcached是把数据序列化存放在内存中,我们可以设置超时时间,然后周期性的从关系型数据库查询新的结果更新到memcached中。
我用Python来写个小的demo演示这个场景。首先python连接memcached和mysql需要加载对应的模块。程序的作用就是:先从memcached查询薪水最高的两个人,打印他们的姓名和薪水,如果没有返回结果,说明memcached中不存在,那么我们从关系型数据库mysql中去查询结果,然后更新在memcached中,再次请求,就会从memcached直接返回结果。
安装python-memcached和MySQL-python包
yum install -y python-memcached MySQL-python
#!/usr/bin/python
import sys
import MySQLdb
import memcache
memc = memcache.Client(['127.0.0.1:11211'], debug=1);
key = memc.get("top2salary")
if key != None:
print "Load data from Memcache : %s,%s" % (key[0], key[1])
else:
print "Updating memcached data from MySQL."
conn = MySQLdb.connect (host = "127.0.0.1",
user = "root",
passwd = "123456",
db = "web_user")
cursor = conn.cursor()
cursor.execute('select * from emp order by salary desc limit 2')
rows = cursor.fetchall()
memc.set('top2salary',rows,10)
mysql的emp表查询结果:
mysql> select * from emp;
+--------------+--------+
| name | salary |
+--------------+--------+
| Casillas | 10500 |
| Fernández | 350 |
| Varane | 21000 |
| Pepe | 16000 |
| Ramos | 35000 |
| Nacho | 4400 |
| Coentro | 12500 |
| Marcelo | 22000 |
| Carvajal | 10500 |
| Arbeloa | 6200 |
| Khedira | 19500 |
| Casemiro | 5300 |
| Xabi Alonso | 10500 |
| Modric | 35000 |
| Illarramendi | 16000 |
| Isco | 31000 |
| Bale | 70500 |
| Di María | 26500 |
| Ronaldo | 88000 |
| Jesé | 13000 |
| Benzema | 30000 |
| Morata | 10500 |
+--------------+--------+
22 rows in set (0.00 sec)
查询当前薪水排名的两人,第一次执行memcached为空,立刻去myql中查询,缓存在memcached,再次查都是从memcached返回,我在代码里设置超时时间10秒,10秒后清除缓存再次从mysql查询,如果这个时间段内mysql有新的数据变化,如插入更高薪水的人,那么会返回当前最新的结果,一般mysql被缓存在memcached中都是变化不太频繁的结果。
[root@localhost ~]# ./memc.py
Updating memcached data from MySQL.
[root@localhost ~]# ./memc.py
Load data from Memcache : ('Ronaldo', '88000'),('Bale', '70500')
[root@localhost ~]# ./memc.py
Load data from Memcache : ('Ronaldo', '88000'),('Bale', '70500')
[root@localhost ~]# ./memc.py
Load data from Memcache : ('Ronaldo', '88000'),('Bale', '70500')
优点如果加载网页每次都查询mysql而且执行order by这样的sql语句对数据库的I/O负载增加,同时会减慢打开页面的速度。
Python 的详细介绍:请点这里
Python 的下载地址:请点这里
推荐阅读:
python cache MySQL_Python判断Memcached是否缓存MySQL结果相关推荐
- python widnows mysql_python用Windows开发配置mysql数据库
Windows 版本:Windows10 64-bit Python 版本:Pyhton 3.6.1 MySQL 版本:mysql-5.7.18-winx64 1. mysql-5.7.18-winx ...
- python操作mysql_python操作MySQL
python操作MySQL.执行SQL语句.获取结果集.遍历结果集.取得谋个字段.获取表字段名.将图片插入数据库.执行事务等各种代码示例和详细介绍,代码居多. 实例一: 取得MySQL的版本 在win ...
- Memcached对象缓存详解
一.NoSQL概述 NoSQL数据存储不需要固定的表结构,通常也不存在连接操作.在大数据存取上具备关系型数据库无法比拟的性能优势.随着互联网web2.0网站的兴起,NoSQL数据库现在成了一个极其热门 ...
- mysql大数据更新缓存_redis缓存mysql
Redis是一个key-value存储系统.和Memcached类似,它支持存储的value类型相对更多,包括string(字符串).list(链表).set(集合)和zset(有序集合).这些数据类 ...
- 为memcached增加缓存依赖的程序实现
节前的一篇文章中提出了为memcached增加缓存依赖的初步设想,本文对第一个思路进行实现. 实现思路 key1发生变化时,不立即移除 key2,key3.在每次返回key2,key3对象时检查key ...
- Python网上商城源代码,基于Django+MySQL+Redis,支持支付宝付款
Python网上商城源代码,基于Django+MySQL+Redis,支持支付宝付款,实现:用户登录注册,商品展示,商品详情界面,搜索商品,将不同尺寸颜色数量的商品加入购物车,购物车管理,地址管理,形 ...
- Memcached 数据缓存系统
Memcached 数据缓存系统 常用命令及使用:http://www.cnblogs.com/wayne173/p/5652034.html Memcached是一个自由开源的,高性能,分布式内存对 ...
- 简单的Spring Memcached – Spring缓存抽象和Memcached
在任何读取繁重的数据库应用程序中,缓存仍然是最基本的性能增强机制之一. Spring 3.1发行版提供了一个很酷的新功能,称为Cache Abstraction . Spring Cache Abst ...
- 缓存应用--Memcached分布式缓存简介(二)
1 命令行查看状态 很多时候我们需要去查看Memcached 的使用状态,比如Memcached 的运行时间,使用状态等等.在Windows系统中我们可以使用telnet 命令来查看Memcached ...
最新文章
- 基础练习 杨辉三角形
- 跨链(6)波卡Polkadot “系统框架”
- 《敏捷企业》作者访谈录
- 将图片以流的形式保存到数据库(Image)以及从数据库中取出显示
- Aligning Plots in a Column作图列对齐
- SqlServer存储过程之简单入门
- 采集企业联系方式的10个经典方法
- Facebook创始人简介
- 刘宇凡:新型鸡汤如何击溃传统鸡汤?
- 日本杂货连锁店Loft首家海外直营店于上海开业
- poj1125 Stockbroker Grapevine Floyd算法
- 2023北京物资学院计算机考研信息汇总
- 三次握手与四次挥手过程详解
- 计算机开机最快设置,如何让电脑启动速度变快
- onnx 模型推理示例-Python 实现 |【onnx 模型推理】
- 乡村振兴涉农区域全景综合安防监控解决方案
- Uva - 12627 - Erratic Expansion
- 赛效:在线录屏用什么
- 帧、报文、数据包的差别
- 〖Python 数据库开发实战 - MongoDB篇⑤〗- 安装和使用MongoDB客户端软件
热门文章
- 淘口令二合一生成php_3淘口令接口的封装 工具类的打造
- html中font size默认值,HTML basefont size 属性
- 属性匹配工具_Route-policy的匹配工具If-match的使用简介
- C++冒泡排序(初级版)
- java21天打卡-day2
- tomcat中间件的默认端口号_死磕Tomcat系列(1)——整体架构
- 后端服务接口都在测试什么?怎么测?
- 帮你排雷Jmeter分布式性能测试那些坑~轻轻松松去实战
- 测试人员的发展瓶颈:35岁之后我们该何去何从...
- 计算机课教案学法,计算机应用基础教学方法初探