Python自定义主从分布式架构

0、环境：Win7 x64，Python 2.7，APScheduler 2.1.2。

1、图：

2、代码：

（1）、中心节点：

#encoding=utf-8

#author: walker

#date: 2014-12-03

#summary: 中心节点（主要功能是分配任务）

import SocketServer, socket, Queue

CenterIP = '127.0.0.1' #中心节点IP

CenterListenPort = 9999 #中心节点监听端口

CenterClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #中心节点用于发送网络消息的socket

TaskQueue = Queue.Queue() #任务队列

#获取任务队列

def GetTaskQueue():

for i in range(1, 11):

TaskQueue.put(str(i))

#CenterServer的回调函数，在接受到udp报文是触发

class MyUDPHandler(SocketServer.BaseRequestHandler):

def handle(self):

data = self.request[0].strip()

socket = self.request[1]

print(data)

if data.startswith('wait'):

vec = data.split(':')

if len(vec) != 3:

print('Error: len(vec) != 3')

else:

nodeIP = vec[1]

nodeListenPort = vec[2]

nodeID = nodeIP + ':' + nodeListenPort

if not TaskQueue.empty():

task = TaskQueue.get()

print('send task ' + task + ' to ' + nodeID)

CenterClient.sendto('task:' + task, (nodeIP, int(nodeListenPort)))

else:

print('TaskQueue is empty!')

GetTaskQueue() #获取任务队列

CenterServer = SocketServer.UDPServer((CenterIP, CenterListenPort), MyUDPHandler)

print('Listen port ' + str(CenterListenPort) + ' ...')

CenterServer.serve_forever()

（2）、任务节点：

#encoding=utf-8

#author: walker

#date: 2014-12-03

#summary: 任务节点（请求/接收/执行任务）

import time, socket, SocketServer

from apscheduler.scheduler import Scheduler

CenterIP = '127.0.0.1' #中心节点IP

CenterListenPort = 9999 #中心节点监听端口

NodeIP = socket.gethostbyname(socket.gethostname()) #任务节点自身IP

NodeClient = socket.socket(socket.AF_INET, socket.SOCK_DGRAM) #任务节点用于发送网络消息的socket

#任务:发送网络信息

def jobSendNetMsg():

msg = ''

if NodeServer.TaskState == 'wait':

msg = 'wait:' + NodeIP + ':' + str(NodeListenPort)

elif NodeServer.TaskState == 'exec':

msg = 'exec:' + NodeIP + ':' + str(NodeListenPort)

print(msg)

NodeClient.sendto(msg, (CenterIP, CenterListenPort))

#添加并启动定时任务

def InitTimer():

sched = Scheduler()

sched.add_interval_job(jobSendNetMsg, seconds=1)

sched.start()

#执行任务

def ExecTask(task):

print('ExecTask ' + task + ' ...')

time.sleep(2)

print('ExecTask ' + task + ' over')

#NodeServer的回调函数，在接受到udp报文是触发

class MyUDPHandler(SocketServer.BaseRequestHandler):

def handle(self):

data = self.request[0].strip()

socket = self.request[1]

print('recv data: ' + data)

if data.startswith('task'):

vec = data.split(':')

if len(vec) != 2:

print('Error: len(vec) != 2')

else:

task = vec[1]

self.server.TaskState = 'exec'

ExecTask(task)

self.server.TaskState = 'wait'

InitTimer()

NodeServer = SocketServer.UDPServer(('', 0), MyUDPHandler)

NodeServer.TaskState = 'wait' #(exec/wait)

NodeListenPort = NodeServer.server_address[1]

print('NodeListenPort:' + str(NodeListenPort))

NodeServer.serve_forever()

*** walker * 2014-12-03 ***

本文转自walker snapshot博客51CTO博客，原文链接http://blog.51cto.com/walkerqt/1585826如需转载请自行联系原作者

RQSLT

Python自定义主从分布式架构相关推荐

游戏开发--开源软件11--Firefly(python 服务端分布式框架)||pygame
2019独角兽企业重金招聘Python工程师标准>>> Firefly是免费.开源.稳定.快速扩展.能 "热更新"的分布式游戏服务器端框架,采用Python编写, ...
软件开发随笔系列一——分布式架构实现
软件开发随笔系列一--分布式架构实现文章目录软件开发随笔系列一--分布式架构实现理论基础分布式架构的实现内核框架应用开发基础设施服务接入监控日志监控调用链监控度量指标监控健康 ...
记一次自定义 Redis 分布式锁导致的故障
点击上方关注 "终端研发部" 设为"星标",和你一起掌握更多数据库知识背景企微报警群里连续发出生产环境报错警告,报错核心信息如下: redis setNX ...
一文了解四种软件架构：Serverless架构、微服务架构、分布式架构、单体架构
如果一个软件开发人员,不了解软件架构的演进,会制约技术的选型和开发人员的生存.晋升空间.这里我列举了目前主要的四种软件架构以及他们的优缺点,希望能够帮助软件开发人员拓展知识面. 一.单体架构单体架构 ...
Elasticsearch 分布式架构原理
前言前面介绍了很多ES使用过程中的具体实战知识点,本文主要是谈谈ES分布式架构原理. 一.Elasticsearch特点 elasticsearch是近实时的分布式搜索分析引擎,底层实现基于Luce ...
【秒杀购物商城业务服务】「分布式架构服务」盘点中间件服务的高可用模式及集群技术的方案分析
秒杀购物商城业务服务-分布式架构介绍基于MySQL数据库集群技术实现服务的高可用基于Tomcat的集群负载机制实现Tomcat服务器的高可用基于Nginx负载均衡机制实现负载均衡(介绍和配置) ...
「秒杀购物商城业务服务」「分布式架构服务」盘点中间件服务
秒杀购物商城业务服务-分布式架构介绍基于MySQL数据库集群技术实现服务的高可用基于Tomcat的集群负载机制实现Tomcat服务器的高可用基于Nginx负载均衡机制实现负载均衡(介绍和配置 ...
记一次自定义Redis分布式锁导致的生产事件时间
背景企微报警群里连续发出生产环境报错警告,报错核心信息如下: redis setNX error java.lang.NumberFormatException: For input string: ...
记一次自定义Redis分布式锁导致的生产事件
背景企微报警群里连续发出生产环境报错警告,报错核心信息如下: redis setNX error java.lang.NumberFormatException: For input string: ...

Python自定义主从分布式架构

Python自定义主从分布式架构相关推荐

最新文章

热门文章