[python3.3]Python异步Socket编程【TCP】

参考： http://www.cnblogs.com/snailrun/p/3805188.html

异步网络据说能极大的提高网络server的连接速度,所以打算写一个专题,来学习和了解异步网络.因为Python有个非常出名的异步Lib:Twisted,所以就用Python来完成.

OK,首先写一个pythone socket的server段,对开放三个端口:10000,10001,10002.krondo的例子中是每个server绑定一个端口,测试的时候需要分别开3个shell,分别运行.这太麻烦了,就分别用三个Thread来运行这些services.

import optparse
import os
import socket
import time
from threading import Thread
from io import StringIOtxt = '''1111
2222
3333
4444
'''# 服务端程序处理过程
def server(listen_socket):while True:buf = StringIO(txt)sock, addr = listen_socket.accept()print('Somebody at %s wants poetry!' %(addr,))while True:try:line = buf.readline().strip()if not line:sock.close()breaksock.sendall(line.encode('utf8')) # this is a blocking callprint('send bytes to client: %s' %line)except socket.error:sock.close()breaktime.sleep(0.5) # server每发送一个单词后等待一会sock.close()print('\n')# 同时开启三个服务端线程，分别在三个端口监听
# 服务端程序为阻塞方式，只能一次服务于一个客户端
def main():ports = [10000, 10001, 10002]for port in ports:listen_socket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)listen_socket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)addres = ('127.0.0.1', port)listen_socket.bind(addres)listen_socket.listen(5)print("start listen at: %d" %port)worker = Thread(target = server, args = [listen_socket])worker.setDaemon(True)worker.start()if __name__ == '__main__':main()while True:time.sleep(0.1) # 如果不sleep的话, CPU会被Python完全占用了

下面是一个client, 用阻塞方式，先后连接这个三个端口的server:

from socket import *# 建立三个客户端，分别连接三个不同的服务端程序, 接收服务端传过来的数据并打印
# 这三个客户端是阻塞方式通信的
if __name__ == '__main__':ports = [10000, 10001, 10002]for port in ports:address = ('127.0.0.1', port)sock = socket(AF_INET, SOCK_STREAM)sock.connect(address)poem = ''while True:data = sock.recv(4)if not data:sock.close()breakpoem += data.decode('utf8')print(poem)sock.close()

下面用异步的client来读取，代码如下：

import datetime, errno, optparse, select, socketdef connect(port):"""Connect to the given server and return a non-blocking socket."""address = ('127.0.0.1', port)sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)sock.connect(address)sock.setblocking(0)     # 设置为非阻塞模式return sockdef format_address(address):host, port = addressreturn '%s:%s' % (host or '127.0.0.1', port)if __name__ == '__main__':ports = [10000, 10001, 10002]start = datetime.datetime.now()sockets = list(map(connect, ports))poems = dict.fromkeys(sockets, '') # socket -> accumulated poemsock2task = dict([(s, i + 1) for i, s in enumerate(sockets)])while sockets:#运用select来确保那些可读取的异步socket可以立即开始读取IO#OS不停的搜索目前可以read的socket，有的话就返回rlistrlist, _, _ = select.select(sockets, [], [])for sock in rlist:data = ''while True:try:new_data = sock.recv(1024)new_data = new_data.decode('utf8')except socket.error as e:if e.args[0] == errno.EWOULDBLOCK:breakraiseelse:if not new_data:breakelse:print(new_data)data += new_datatask_num = sock2task[sock]if not data:print(poems[sock])    # 打印sock接收到的数据sockets.remove(sock)sock.close()print('Task %d finished\n' % task_num)else:addr_fmt = format_address(sock.getpeername())msg = 'Task %d: got %d bytes of poetry from %s\n'print(msg % (task_num, len(data), addr_fmt))poems[sock] += data      # 保存每个sock接收到的数据elapsed = datetime.datetime.now() - startprint('Got poems in %s' %elapsed)

结果只需要2秒就完成了读取任务。效率非常明显啊。对客户端的异步改造主要有两点：

同步模式下，客户端分别创建socket；而在异步模式下，client开始就创建了所有的socket。
通过“sock.setblocking(0)”设置socket为异步模式。
通过Unix系统的select来返回可读取socket信息
最为核心的是8行和26行。尤其是26行的select操作返回待读取socket的列表。

[python3.3]Python异步Socket编程【TCP】相关推荐

Python：socket编程教程
ocket是基于C/S架构的,也就是说进行socket网络编程,通常需要编写两个py文件,一个服务端,一个客户端. 首先,导入Python中的socket模块: import socket Pytho ...
python应用系列教程——python使用socket创建tcp服务器和客户端
全栈工程师开发手册 (作者:栾鹏) python教程全解 python使用socket创建tcp服务器和客户端. 服务器端为一个时间戳服务器,在接收到客户端发来的数据后,自动回复. 客户端,等待用户输 ...
Python 异步网络编程实战
Python 异步网络编程实战 - songcser - 掘金小册小册介绍第一部分是对 Python 协程的讲解,从字节码开始简单讲解了 Python 虚拟机的执行过程,可以大体了解到 Pytho ...
Python中Socket编程
目录 Python中Socket编程 1 一.Socket概述 1 二.python中socket模块使用 1 三.socket之聊天室 3 四.socket之端口探测 7 五.scapy之tcp端口 ...
python的socket编程_Python Socket编程详细介绍
在使用Python做socket编程时,由于需要使用阻塞(默认)的方式来读取数据流,此时对于数据的结束每次都需要自己处理,太麻烦.并且网上也没找到太好的封装,所以就自己写了个简单的封装. 封装思路 1 ...
socket编程 TCP 粘包和半包的问题及解决办法
socket编程 TCP 粘包和半包的问题及解决办法参考文章: (1)socket编程 TCP 粘包和半包的问题及解决办法 (2)https://www.cnblogs.com/panchang ...
高并发 python socket send 异步_在Python中使用异步Socket编程性能测试
ok,首先写一个python socket的server段,对开放三个端口:10000,10001,10002.krondo的例子中是每个server绑定一个端口,测试的时候需要分别开3个shell, ...
python网络-Socket之TCP编程(26)
一.TCP简介 1.TCP介绍 TCP协议,传输控制协议(英语:Transmission Control Protocol,缩写为 TCP)是一种面向连接的.可靠的.基于字节流的传输层通信协议. TC ...
使用 Python 进行 socket 编程
(5)类定义语句所有的类都需要在这里定义.当模块被导入时 class 语句会被执行, 类也就会被定义.类的文档变量是 class.__doc__. (7) 主程序无论这个模块是被别的模块导 ...

[python3.3]Python异步Socket编程【TCP】

[python3.3]Python异步Socket编程【TCP】相关推荐

最新文章

热门文章