python epoll 写数据到数据库_Python--day40(EPOLL的使用、数据库基础)
1. EPOLL的使用
1.1 select存在的问题
1.select,需要遍历socket列表,频繁的对等待队列进行添加移除操作,
2.数据到达后还需要给遍历所有socket才能获知哪些socket有数据
两个操作消耗的时间随着要监控的socket的数量增加而大大增加,
处于效率考虑才规定了最大只能监视1024个socket
1.2 epoll要解决的问题
1.避免频繁的对等待队列进行操作
2.避免遍历所有socket
对于第一个问题我们先看select的处理方式
while True:
r_list,w_list,x_list = select.select(rlist,wlist,xlist)
每次处理完一次读写后,都需要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操作并不频繁,
所以对于第一个问题epoll,采取的方案是,将对等待队列的维护和,阻塞进程这两个操作进行拆分,
相关代码如下
import socket,select
server = socket.socket()
server.bind(("127.0.0.1",1688))
server.listen(5)
?
#创建epoll事件对象,后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(server.fileno(), select.EPOLLIN) # 需要关注 server这个socket的可读事件
?
# 等待事件发生
while True:
for sock,event in epoll.poll():
pass
在epoll中register 与 unregister函数用于维护等待队列
register 是进程添加到等待队列中 unregister 把进程从等待队列中删除
使用这两个函数我们自己来控制等待队列的添加和删除 从而避免频繁操作等待队列
第二个问题是select中进程无法获知哪些socket是有数据的所以需要遍历
epol为了解决这个问题,在内核中维护了一个就绪列表,
1.创建epoll对象,epoll也会对应一个文件,由文件系统管理
2.执行register时,将epoll对象 添加到socket的等待队列中
3.数据到达后,CPU执行中断程序,将数据copy给socket
4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象
5.将socket,添加到就绪列表中
6.唤醒epoll等待队列中的进程,
进程唤醒后,由于存在就绪列表,所以不需要再遍历socket了,直接处理就绪列表即可
解决了这两个问题后,并发量得到大幅度提升,最大可同时维护上万级别的socket
1.3 epoll相关函数
import select 导入select模块
epoll = select.epoll() 创建一个epoll对象
epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件
事件类型:
select.EPOLLIN 可读事件
select.EPOLLOUT 可写事件
select.EPOLLERR 错误事件
select.EPOLLHUP 客户端断开事件
epoll.unregister(文件句柄) 销毁文件句柄
epoll.poll(timeout) 当文件句柄发生变化,则会以列表的形式主动报告给用户进程,timeout
为超时时间,默认为-1,即一直等待直到文件句柄发生变化,如果指定为1
那么epoll每1秒汇报一次当前文件句柄的变化情况,如果无变化则返回空
epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)
epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型 作用是修改文件描述符所对应的事件
epoll.fromfd(fileno) 从1个指定的文件描述符创建1个epoll对象
epoll.close() 关闭epoll对象的控制文件描述符
客户端
#coding:utf-8#客户端#创建客户端socket对象
importsocket
clientsocket=socket.socket(socket.AF_INET,socket.SOCK_STREAM)#服务端IP地址和端口号元组
server_address = (‘127.0.0.1‘,1688)#客户端连接指定的IP地址和端口号
clientsocket.connect(server_address)whileTrue:#输入数据
data = raw_input(‘please input:‘)if data == "q":break
if notdata:continue
#客户端发送数据
clientsocket.send(data.encode("utf-8"))#客户端接收数据
server_data = clientsocket.recv(1024)print (‘客户端收到的数据:‘,server_data)#关闭客户端socket
clientsocket.close()
View Code
服务器
#coding:utf-8
importsocket, select
server=socket.socket()
server.bind(("127.0.0.1", 1688))
server.listen(5)
msgs=[]
fd_socket={server.fileno(): server}
epoll=select.epoll()#注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)whileTrue:for fd, event inepoll.poll():
sock=fd_socket[fd]print(fd, event)#返回的是文件描述符 需要获取对应socket
if sock == server: #如果是服务器 就接受请求
client, addr =server.accept()#注册客户端写就绪
epoll.register(client.fileno(), select.EPOLLIN)#添加对应关系
fd_socket[client.fileno()] =client#读就绪
elif event ==select.EPOLLIN:
data= sock.recv(2018)if notdata:#注销事件
epoll.unregister(fd)#关闭socket
sock.close()#删除socket对应关系
delfd_socket[fd]print("somebody fuck out...")continue
print(data.decode("utf-8"))#读完数据 需要把数据发回去所以接下来更改为写就绪=事件
epoll.modify(fd, select.EPOLLOUT)#记录数据
msgs.append((sock,data.upper()))elif event ==select.EPOLLOUT:for item inmsgs[:]:if item[0] ==sock:
sock.send(item[1])
msgs.remove(item)#切换关注事件为写就绪
epoll.modify(fd,select.EPOLLIN)
View Code
2. 数据库基础
2.1 数据库相关概念
数据库本质就是一套CS结构的TCP程序,
客户端连接到服务器 向服务器发送指令,来完成数据的操作
2.2 数据库与文件系统的对应关系
一个数据项 name = jerry 本质是文件中某一行的 一部分数据
一条记录 jerry,18,man 本质是文件里的一行数据
一张表 本质是一个文件
数据库文件夹
DBMS DataBaseManagerSystem 数据库管理系统 数据库的服务器端程序
数据库服务器 运行有DBMS的计算机
2.3 安装方式
1.下载解压包
2.解压到某个目录下
3.添加环境变量
将bin所在的完整路径 copy 添加系统的path中
4.作为服务器 应该自启动mysql服务器 需要制系统服务
mysqld --install 运行输入services 查看是是否成功
删除服务 sc delete mysql 如果需要重装的话...
启动服务 net start mysql
停止服务 net stop mysql
2.4 连接到服务器的指令
本质是TCP程序,必须指定ip和端口 ,如果服务器就运行在本机上 可以省略ip 如果端口没改过 也可以省略端口
mysql -hip -P端口 -u用户名 -p密码
实例: mysql -uroot -p
mysql 5.6 默认是没有密码的
2.5 修改管理员密码
1.如果知道原始密码 可以使用mysqladmin 这个工具
mysqladmin -p旧密码 -u用户名 password 新密码
实例: mysqladmin -uroot -p password 123
2.不知道原始密码的情况
删除密码文件,会删除所有授权信息
跳过授权表 我们可以在启动服务器时 指定让其忽略授权信息
1.先关闭mysql服务器 直接在终端执行 mysqld --skip-grant-tables
2.无密码登录root账户
3.执行更新语句
update mysql.user set password = password("123") where user="root" and host = "localhost";
python epoll 写数据到数据库_Python--day40(EPOLL的使用、数据库基础)相关推荐
- python开发小型数据库_Python后台开发Django(数据库)
如果你使用pymysql,您可以直接导入pymysql操作视图中.Django框架支持数据库sqlite3, MySQL.PostgreSQL和其他数据库.它只需要配置在数据库中.数据库相关的代码通常 ...
- python串口通讯数据过长_Python 串口通讯
摘要: pyserial module: https://github.com/tbusf/pyserial Python使用pyserial进行串口通信:http://blog.csdn.net/l ...
- python做大数据的框架_Python+大数据计算平台,PyODPS架构手把手教你搭建
原文链接:http://click.aliyun.com/m/13965/ 在2016年10月的云栖社区在线培训上,来自阿里云大数据事业部的秦续业分享了<双剑合壁--Python和大数据计算平台 ...
- python二维数据读取对齐_python代码要严格对齐
此课程与<清华编程高手.尹成.带你实战python入门>大体相同,只需购买其中的一门课程. 本课程由清华大学尹成老师录制,课程的特色在于讲解原理的同时引入了每个程序员都热衷的黑客技术.py ...
- python excel处理数据的优点_python处理excel的优势是什么
我们经常在工作中需要处理大量的数据,所以Excel工作中是一个不可或缺的工具.然而,最近很多人都开始使用Python来处理数据,那么为什么你开始使用Python吗?Python协助处理excel的优势 ...
- python读取csv数据画直方图_Python数据可视化(Pygal、svg、csv、Bar、Line)
一.pygal(图表类型Bar) 将使用Python可视化包Pygal来生成可缩放的矢量图形文件 pygal官方文档:[www.pygal.org/en/stable/](http://www.pyg ...
- python创建数组放入矩阵_python创建数组并存入数据库
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
- python能写桌面程序吗_python能写桌面程序吗
其实Python/Java/PHP都不适合用来做桌面开发,Java还是有几个比较成熟的产品的,比如大名鼎鼎的Java集成开发环境IntelliJ IDEA.Eclipse就是用Java开发的,不过PH ...
- python自动提交网页表单_python自动提交表单数据库
{"moduleinfo":{"card_count":[{"count_phone":1,"count":1}],&q ...
最新文章
- cfa英语不好的怎么学_英语和数学不好,还怎么学CFA?!
- Android 10.0 系统服务之ActivityMnagerService-AMS启动流程-[Android取经之路]
- python写文件无法换行的问题
- 转:手机流畅的决定性因素
- go语言中channel的创建和销毁以及匿名函数的使用
- 剑指offer-包含min函数的栈
- 【深度学习torch——error】——“xxx.pt is a zip archive(did you mean to use torch.jit.load()?)
- 如何把网址配置为http和https可以同时访问
- Python的from import和import的区别
- NSAttributedString
- linux修改参数命令,linux chfn命令参数及用法详解(linux修改用户资料命令)
- Error fetching https://gems.ruby-china.org/: 	bad response Not Found 404 (https://gems.ruby-china.or
- war2 洛谷模拟赛day2 t3 状压
- 字符串转json(JSON.parse报错)
- [译] Vue 最黑暗的一天
- 很全的路由器默认初始密码集合.txt_为何小企业要用企业级无线路由器?一次对比选购经历证实...
- 偏见与苛求在科技媒体中依旧根深蒂固
- 民营经济挑战未来发展
- Java毕设项目校园外卖系统Web端计算机(附源码+系统+数据库+LW)
- 视频手势画图python_如何裁剪视频
热门文章
- Excel中快速调整行高或列宽为适合内容显示的长度
- vb combox获取选定index_Python-新闻评论获取
- 非常全的VS Code快捷键
- C++ 比较两个字符串的“大小”
- 运行linux在de1soc,在DE1-SOC上运行Linux
- 奥数 python_奥数赛事china夺得冠军!简单思路用Python解经典数学题
- postman本地请求ip地址变成ipv6_华为认证-IPv6技术-ICMPv6介绍
- C语言程序设计double,C语言中double类型数据占字节数为
- java executequery_java execute、executeQuery和executeUpdate之间的区别
- windows下使用命令行将employees.sql导入mysql