2019独角兽企业重金招聘Python工程师标准>>>

想学Python,又想研究下memcached的客户端,于是拿Python-memcached研究研究~~~

1.memcached的安装

请参考本博另一文章《Linux下安装memcached》

启动一个memcached实例:memcached -m 10 -p 12000

2.Python-memcached安装

到ftp://ftp.tummy.com/pub/python-memcached/下载最新版本的API,并解压tar包

输入python setup.py install命令进行安装

3.小例子演示

将memcached.pyc拷贝到工作目录

#!/usr/bin/env pythonimport memcachemc = memcache.Client(['127.0.0.1:12000'],debug=0)
mc.set("foo","bar")
value = mc.get("foo")
print value

输出得到bar

4.Python-memcached API总结

整个memcache.py只有1241行,相当精简

主要方法如下:

@set(key,val,time=0,min_compress_len=0)

无条件键值对的设置,其中的time用于设置超时,单位是秒,而min_compress_len则用于设置zlib压缩(注:zlib是提供数据压缩用的函式库)

@set_multi(mapping,time=0,key_prefix='',min_compress_len=0)

设置多个键值对,key_prefix是key的前缀,完整的键名是key_prefix+key, 使用方法如下

  >>> mc.set_multi({'k1' : 1, 'k2' : 2}, key_prefix='pfx_') == []

  >>> mc.get_multi(['k1', 'k2', 'nonexist'], key_prefix='pfx_') == {'k1' : 1, 'k2' : 2}

@add(key,val,time=0,min_compress_len=0)

添加一个键值对,内部调用_set()方法

@replace(key,val,time=0,min_compress_len=0)

替换value,内部调用_set()方法

@get(key)

根据key去获取value,出错返回None

@get_multi(keys,key_prefix='')

获取多个key的值,返回的是字典。keys为key的列表

@delete(key,time=0)

删除某个key。time的单位为秒,用于确保在特定时间内的set和update操作会失败。如果返回非0则代表成功

@incr(key,delta=1)

自增变量加上delta,默认加1,使用如下

>>> mc.set("counter", "20")  

>>> mc.incr("counter")

21

@decr(key,delta=1)

自减变量减去delta,默认减1

5._set方法

很多方法内部都调用了_set方法,其源码如下:

def _set(self, cmd, key, val, time, min_compress_len = 0):self.check_key(key)server, key = self._get_server(key)if not server:return 0self._statlog(cmd)store_info = self._val_to_store_info(val, min_compress_len)if not store_info: return(0)if cmd == 'cas':if key not in self.cas_ids:return self._set('set', key, val, time, min_compress_len)fullcmd = "%s %s %d %d %d %d\r\n%s" % (cmd, key, store_info[0], time, store_info[1],self.cas_ids[key], store_info[2])else:fullcmd = "%s %s %d %d %d\r\n%s" % (cmd, key, store_info[0], time, store_info[1], store_info[2])try:server.send_cmd(fullcmd)return(server.expect("STORED") == "STORED")except socket.error, msg:if isinstance(msg, tuple): msg = msg[1]server.mark_dead(msg)return 0

注: memcached 的客户端使用TCP链接与服务器通讯, 一个运行中的memcached服务器监视一些端口, 客户端连接这些端口,发送命令到服务器,读取回应,最后关闭连接。(具体命令请参考《Memcached 协议中文版》)

6.python-memcached线程安全

本部分转自http://weavesky.com/2009/01/22/is-python-memcached-threadsafe/

python-memcached是不是线程安全的

答案是肯定的,前提你在使用Python 2.4+和python-memcached 1.36+
为什么我们需要线程安全的memcached client,因为我们的实际应用一般是多线程的模型,例如cherrypy、twisted,如果python-memcached不是线程安全的话,引起的问题不仅仅是并发修改共享变量这么简单,是外部socket链接的数据流的混乱
python-memcached怎么实现线程安全的呢?查看源代码看到

try:# Only exists in Python 2.4+from threading import local
except ImportError:# TODO:  add the pure-python local implementationclass local(object):passclass Client(local):

很取巧的让Client类继承threading.local,也就是Client里面的每一个属性都是跟当前线程绑定的。实现虽然不太优雅,但是很实在。但是别以为这样就可以随便在线程里面用python-memcached了,因为这种thread local的做法,你的应用必须要使用thread pool的模式,而不能不停创建销毁thread,因为每一个新线程的创建,对于就会使用一个全新的Client,也就是一个全新的socket链接,如果不停打开创建销毁thread的话,就会导致不停的创建销毁socket链接,导致性能大量下降。幸好,无论是cherrypy还是twisted,都是使用了thread pool的模式

转载于:https://my.oschina.net/flynewton/blog/10660

Python-memcached的基本使用相关推荐

  1. python加快绘图速度_python 三维画图为Python加速 - python+memcached

    本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个很简单很白痴但是 我一直没发现的好方法(不得不BS我自己):直接像某些php应用比如Di ...

  2. 30分钟3300%性能提升—python+memcached网页优化小记

    前言 本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个好方法:直接像某些php应用比如Discuz论坛那样,在生成的网页中打印出&quo ...

  3. Python 学习笔记 - Memcached

    Memcached是一个分布式内存对象缓存系统,他把数据缓存在内存里面来减少对数据库的访问,从而提高动态网页的访问速度.他的基本结构是key/value(键值对).下面看看在Python里面如何使用. ...

  4. Python操作Redis和Memcached

    Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...

  5. Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy

    Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...

  6. Python全栈开发:RabbitMQ/Redis/Memcache/SQLAlchemy

    Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...

  7. Python-使用python-memcache操作Memcached

    2019独角兽企业重金招聘Python工程师标准>>> ​ 预备 Python 2.7 Memcached 1.4.x python-memcached-1.54 安装 1.下载源码 ...

  8. cacti监控Memcached

    cacti 监控memcached 1在cactiserver安装memcached的客户端 在ftp.tummy.com:/pub/python-memcached/ 下载memcached的客户端 ...

  9. 使用python进行收据搜集示例之different_format_data_processing

    这里是用jupyter notebook写的关于使用python进行数据收集的基本知识,包括crawl_and_parse.different_format_data_processing.featu ...

  10. python清除缓存的命令_python-操作缓存

    参考王智刚同学博客 操作Mmecached 1. 安装API python -m pip install python-memcached 2. 启动memcached memcached -d -u ...

最新文章

  1. 信息科学部鼓励科学家更多瞄准“原创”研究
  2. 《LeetCode力扣练习》剑指 Offer 10- I. 斐波那契数列 Java
  3. 数据结构源码笔记(C语言):二路归并排序
  4. 干货 | 万字长文全面解析GraphQL,携程微服务背景下的前后端数据交互方案
  5. web developer tips (74):在 Visual Studio 2008设计器里添加或移除AJAX Extenders
  6. 错误提示之:已超过传入消息(65536)的最大消息大小配额。若要增加配额,请使用相应绑定元素上的 MaxReceivedMessageSize 属性...
  7. 【IDEA】推荐一些好用的IDEA插件
  8. [集合]线程安全的HashMap
  9. mysqldump只导出数据或者只导出表结构
  10. word表格内插入某月某日星期几_Word文字技巧—如何在Word中自动生成日历
  11. 厦门大学林子雨老师大数据实验环境搭建索引
  12. 智慧城市顶层设计与不确定性
  13. 新能源整车控制器VCU开发过程分享
  14. r语言导入spss数据_R软件导入数据_r语言怎么导入数据_R软件导入数据
  15. Verilog中begin...end和fork....join的区别和用法
  16. 出租分数 20作者 陈越单位 浙江大学
  17. Jenkins 插件中心国内镜像源发布
  18. Stopping service [Tomcat]和Disconnected from the target VM排查
  19. EXCEL2016设置下拉选项,图文说明
  20. 简单实现PDF转换为WORD,去水印

热门文章

  1. 考驾照选择 AI 教练,心态稳定不骂人
  2. 如何用一句话证明你是程序员?41 个答案揭晓!
  3. Reddit引入Envoy支持架构改造,性能显著提升
  4. 10个随机数相加等于100
  5. LintCode: Max Tree
  6. android中进程的优先级
  7. maven中打包项目为war包的pom.xml配置
  8. 利用Landsat8 进行利用土地分类
  9. win10系统中VMware与Hyper-v不兼容
  10. 8)排序①排序算法之交换排序[1]冒泡排序法