python3 sleep 并发_Python3并发写文件与Python对比
这篇文章主要介绍了Python3并发写文件原理解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
使用python2在进行并发写的时候,发现文件会乱掉,就是某一行中间会插入其他行的内容。
但是在使用python3进行并发写的时候,无论是多进程,还是多线程,都没有出现这个问题,难道是python3的特性吗?
import time
import os
import multiprocessing
from multiprocessing.dummy import Pool as ThreadPool
def write(val, file):
w = open(file, "a")
for i in range(100):
w.write("%s\n" % val)
time.sleep(0.001)
def thread_write(file):
res, pools = [], ThreadPool(10)
for i in range(10):
val = str(i) * 1000
res.append(pools.apply_async(func=write, args=(val, file, )))
while res:
for ret in res:
if ret.ready():
res.remove(ret)
time.sleep(0.01)
def mutil_write(file):
pools = multiprocessing.Pool(processes=10)
res = []
for i in range(100):
res.append(pools.apply_async(thread_write, args=(file, )))
while res:
for ret in res:
if ret.ready():
res.remove(ret)
time.sleep(0.01)
if __name__ == '__main__':
file = "./write_test"
mutil_write(file)
with open(file) as fb:
lines = 0
line_len = []
for line in fb:
lines += 1
line = line.strip()
line_len.append(len(line))
if len(line) != 1000:
raise(Exception("error line: %s, len: %d" % (line, len(line))))
print("lines:%d, max len:%d, min:%d, avg:%.2f" % (lines, max(line_len), min(line_len), sum(line_len)/len(line_len)))
os.remove(file)
上面代码,多进程并发写结束后,校验每一行的长度是否是设置好的长度。用python3反复运行,均通过测试没有异常。
$ python3 --version
Python 3.7.4
$ python3 t.py
lines:10000, max len:1000, min:1000, avg:1000.00
如果用python2,则会出现异常:
$ python2 --version
Python 2.7.15
$ python2 t.py
Traceback (most recent call last):
File "t.py", line 49, in
raise(Exception("error line: %s, len: %d" % (line, len(line))))
Exception: error line: 333333333333333333333333333333333333333333333333333333333333333333333333333333333333333333330000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000000, len: 1092
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持python博客。
python3 sleep 并发_Python3并发写文件与Python对比相关推荐
- python3 csv读写_Python3读写CSV文件
CSV(Comma-Separated Values)即逗号分隔值,一种以逗号分隔按行存储的文本文件,所有的值都表现为字符串类型(注意:数字为字符串类型). 如果CSV中有中文,应以utf-8编码读写 ...
- python 读/写文件操作
python中也提供类似于C语言中的open.read.write函数,下面是我根据看过的内容的一个python读.写文件的代码段: //读文件 //在python的执行文件夹中新建一个"1 ...
- Java多种读写文件文件方法之对比分析
编程的时候读写文件是一个经常遇到的情况,Java读写文件的方法有很多种,在文档比较小的时候,使用不同的方法似乎没有什么差异,然而当数据规模非常庞大的时候,读写文件的策略就会影响整个程序的性能. 举一个 ...
- java 写文件 并发_记录一次Java文件锁引起的并发写文件问题
背景 刚接手新项目,该项目是高并发的游戏日志服务端存储,一个项目适配多个游戏,很多特殊需求要兼容,刚开始接手,需要修复很多管道的数据,存储管道有两个,分别是MySQL和HDFS,数据消费自Kafka, ...
- Python3.6学习笔记总结4:错误处理、写文件、JSON、进程、线程
python书籍推荐 书名:Python编程 从入门到实践作者:[美]埃里克·马瑟斯(Eric,Matthes)京东购买地址:https://item.jd.com/11993134.html 分享m ...
- #Python3中tornado高并发框架
Python3中tornado高并发框架 简介: Tornado是一种 Web 服务器软件的开源版本.Tornado 和现在的主流 Web 服务器框架(包括大多数 Python 的框架)有着明显的区别 ...
- python3——写文件默认的编码格式 GBK~cp936
用python3写文件的时候没有指定编码模式,其默认使用的是encoding='cp936' 微软的CP936通常被视为等同GBK,连 IANA 也以"CP936"为"G ...
- python并发处理同一个文件_python并发编程(并发与并行,同步和异步,阻塞与非阻塞)...
最近在学python的网络编程,学会了socket通信,并利用socket实现了一个具有用户验证功能,可以上传下载文件.可以实现命令行功能,创建和删除文件夹,可以实现的断点续传等功能的FTP服务器.但 ...
- 怎么把写好的python代码打包成exe-详解如何将python3.6软件的py文件打包成exe程序...
在我们完成一个Python项目或一个程序时,希望将Python的py文件打包成在Windows系统下直接可以运行的exe程序.在浏览网上的资料来看,有利用pyinstaller和cx_Freeze进行 ...
最新文章
- PAT甲级1118 Birds in Forest :[C++题解]并查集
- 也谈1+2+3+...+n的解答
- http协议、cookie及session
- HandlerMappings
- ubuntu 中 ROS 一些报错的解决
- 账户余额“蒸发”暴露网银安全哪些漏洞?
- PowerShell Gallery .nupkg手动下载将.nupkg文件重命名为.zip,然后将内容提取到本地文件夹中
- python 模拟触屏_python一次简单游戏辅助的经历(截取屏幕模拟键盘)
- 怎么利用计算机自带功能删除垃圾,如何清理电脑垃圾,教您如何彻底清除系统垃圾...
- 面试问反射 你能跟面试官聊多少呢
- unicode转中文
- 聊聊Excel的大批量导入导出
- opencv 矩阵行列求和
- PGPool-II 4.2.1+PostgreSQL 13高可用
- forms 身份验证(授权)详解
- 使用rpm包制作本地镜像仓库和使用httpd发布镜像服务实现内网使用yum命令
- deepin 15.3 安装“Chrome Flash插件”折腾记
- vue移动端日历插件
- 基于Symbian os 手机开发
- 量子计算机和光计算,杂谈|是量子计算,还是光学实验?