python--memcached---activemq

1.安装memcached的python客户端

wget ftp://ftp.tummy.com/pub/python-memcached/python-memcached-latest.tar.gz
python2.x setup.py install

2.安装activemq的python客户端

wget http://stomppy.googlecode.com/files/stomp.py-3.0.3.tar.gz
python2.x setup.py install --prefix=/usr/local/similarlib/

stomp官网支持：http://code.google.com/p/stomppy/

3.python-activemq的demo程序

mq_send:

#!/usr/bin/python
#
# Usage: stomp_send.py <msize> <nmsgs>
#import sys
import os
import logging
import stomp
import time
import jsonlogging.basicConfig()nmsgs = int(sys.argv[1])
msg = {'pid':1,'id':1,'start_at':"time",'type':'parse_title','articleid':0, 'from':1, 'to':361}
dest = '/queue/worker'
start = time.time()conn = stomp.Connection([('172.16.1.217', 61612)])
conn.start()
conn.connect(wait=True)for i in range(nmsgs):msg['articleid'] = iconn.send(json.write(msg), destination=dest)print "send one"conn.disconnect()
print "OK Finished msgs %d time %f" % (nmsgs, (time.time()-start))

mq_receive:

import sys
import os
import logging
import stomp
import json
import timeclass MyListener(object):def on_error(self, headers, message):print 'received an error %s' % messagedef on_message(self, headers, message):print 'received a message %s' % message
#       print headers['message-id']
#       sys.exit(0)conn.ack({'message-id':headers['message-id']})dest = '/queue/test1'
logging.basicConfig()conn = stomp.Connection([('172.16.1.217', 61612)])
conn.set_listener('', MyListener())
conn.start()
conn.connect(wait=True)
conn.subscribe(destination=dest, ack='client')while True:try:time.sleep(1)except:break

4. python-memcached的demo程序

import time,memcache,pickle,cPickle,sys #,msgpackf = file("/tmp/ids", 'r')
mc = memcache.Client(["172.16.1.217:11211"])
#count = 0
#for i in range(1,10000):
#   if mc.get("content-%s"%str(i)) != None:
#       count += 1
#       f.write("%s\n"%str(i))
#   if count >= 1000:
#       break
#sys.exit(0)
id_list = [int(x.strip()) for x in f]
print id_list
start = time.time()
results = mc.get_multi(id_list, key_prefix="content-")
#for k,v in results.iteritems():
#   results[k] = cPickle.loads(v)
#   print v
#   time.sleep(1)
#mc.set_multi(results,key_prefix="content-")
print "eats %s s"%str(time.time()-start)
print len(results)

下面是一个同时使用mq和memcached的demo：

#!/usr/bin/python
#
#import sys
import os
import logging
import stomp
import time
import json,memcachemc = memcache.Client(["172.16.1.217:11211"])t = time.time()
tstart = time.strftime("%Y-%m-%d %H:%M:%S",time.localtime(t))
tstart += ".%03d" % ((t-int(t))*1000)start = time.time()
maxaid = 10000
conn = stomp.Connection([('172.16.1.217', 61612)])
dest = '/queue/test_worker_2'
conn.start()
conn.connect(wait=True)for item in ['title','content','tag','cate','baike']:for i in range(1,25666):if mc.get(item+"-"+str(i)) == None:task = {'id':str(time.time()),'pid':'','start_at':tstart,'type':"parse_"+item,'from':i,'to':i}conn.send(json.write(task), destination=dest)conn.disconnect()

python--memcached---activemq相关推荐

python加快绘图速度_python 三维画图为Python加速 - python+memcached
本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个很简单很白痴但是我一直没发现的好方法(不得不BS我自己):直接像某些php应用比如Di ...
30分钟3300%性能提升—python+memcached网页优化小记
前言本来我一直不知道怎么来更好地优化网页的性能,然后最近做python和php同类网页渲染速度比较时,意外地发现一个好方法:直接像某些php应用比如Discuz论坛那样,在生成的网页中打印出&quo ...
Python连接ActiveMQ的操作
安装操作库 pip install stomp.py 基本写法: # -*-coding:utf-8-*- import stomp import timequeue_name = '/queue/S ...
Python 学习笔记 - Memcached
Memcached是一个分布式内存对象缓存系统,他把数据缓存在内存里面来减少对数据库的访问,从而提高动态网页的访问速度.他的基本结构是key/value(键值对).下面看看在Python里面如何使用. ...
Python操作Redis和Memcached
Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...
Python操作 RabbitMQ、Redis、Memcache、SQLAlchemy
Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...
Python全栈开发：RabbitMQ/Redis/Memcache/SQLAlchemy
Memcached Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载.它通过在内存中缓存数据和对象来减少读取数据库的次数,从而提高动态.数据库驱动网站的速度 ...
Python-使用python-memcache操作Memcached
2019独角兽企业重金招聘Python工程师标准>>> 预备 Python 2.7 Memcached 1.4.x python-memcached-1.54 安装 1.下载源码 ...
【Python】hello python!
Python简介: 网上是这么介绍的:Python是一种解释型.面向对象.动态数据类型的高级程序设计语言. 我的理解也差不多也是这样,在我的印象当中,Python有这些特点: 1.脚本语言,使用解释器 ...
cacti监控Memcached
cacti 监控memcached 1在cactiserver安装memcached的客户端在ftp.tummy.com:/pub/python-memcached/ 下载memcached的客户端 ...

python--memcached---activemq

python--memcached---activemq相关推荐

最新文章

热门文章