Python多线程快速写入文件,python,飞速

发表时间:2020-07-10

乱序多线程写入

举个最简单的例子,只要求快速写入即可,对顺序无要求时:

import threading

def write_string(string, path="test.csv"):

with open(path, 'a') as f:

f.write(string + "\r\n")

# 创建新线程

for i in range(15):

# 这里每次循环都开一个线程,并写入"写入:" + i,args里指定参数,注意要使用list[]格式

thread1 = threading.Thread(target=write_string, args=["写入: " + str(i)])

thread1.start()

或是使用:

import threading

class WriteThread(threading.Thread):

def __init__(self, string, file_path):

threading.Thread.__init__(self)

self.string = string

self.file_path = file_path

def run(self):

write_string(self.file_path, self.string)

def write_string(file_path, string):

with open(file_path, 'a') as f:

f.write(string + "\r\n")

for i in range(15):

thread1 = WriteThread("写入:" + str(i), "test.csv")

thread1.start()

正序多线程写入

只需要改动三行:

import threading

threadLock = threading.Lock()

def write_string(string, path="test.csv"):

threadLock.acquire() # 加个同步锁就好了

with open(path, 'a') as f:

f.write(string + "\r\n")

threadLock.release()

# 创建新线程

for i in range(15):

thread1 = threading.Thread(target=write_string, args=["写入: " + str(i)]).run()

文章来源互联网,如有侵权,请联系管理员删除。邮箱:417803890@qq.com / QQ:417803890

python多线程写同一个文件_Python多线程快速写入文件,python,飞速相关推荐

  1. python读取写入文件_Python读取和写入文件

    1 从文件中读取数据 1.1 读取整个文件 创建名为test的txt文本文件,添加内容如下所示: 1234567890 2345678901 3456789012 实现代码: with open('t ...

  2. python无法处理特别大的数据文件_Python实现快速大文件比较代码解析

    问题 假如,在有两个大文件分别存储了大量的数据,数据其实很简单就是一堆字符串,每行存储一条,如何快速筛选出两个文件的异同之处么,或者如何筛选出两个文件中不同的元素呢? 刚开始我是通过最简单的方法,利用 ...

  3. python把数组写入文件_Python:将数组写入文件行

    np.savetxt写入csv文件.在这种情况下,诀窍是将两个数组/列表组合成一个复合数组,然后根据需要对其进行格式化:In [100]: mydata = np.arange(1,16).resha ...

  4. python无法写入文件夹_python write无法写入文件的解决方法

    python write无法写入文件的解决方法 尝试用python写文件,但是无法写入文件,文件内容为空. 原代码片段如下, poem = "This is a poem" dir ...

  5. python excel文件转为csv文件_python实现将excel文件转化成CSV格式

    python实现将excel文件转化成CSV格式 如下所示: import pandas as pd data = pd.read_excel('123.xls','Sheet1',index_col ...

  6. Python -- 文件和异常(二) — 写入文件

    写入文件 保存数据的最简单的方式之一是将其写入到文件中.通过将输出写入文件,即便关闭包含程序输出的终端窗口,这些输出也依然存在:你可以在程序结束运行后查看这些输出,可与别人分享输出文件,还可编写程序来 ...

  7. python多线程写同一文件_Python多线程写文件实例

    # -*- coding: utf-8 -*- import threading ''' 多线程生成日志工具 ''' __author = [ '"yangfei" ' ] #该方 ...

  8. python多线程下载多个文件_python多线程下载文件 练习1

    ***今天在我BF的帮助下完成了小小的程序,也是我第一次写博客呢,谢谢他哦嘎嘎 1.首先,计算出下载文件的长度. conn = urllib.urlopen(url) headers = conn.i ...

  9. python 多线程读写文件_Python多线程同步---文件读写控制方法

    1.实现文件读写的文件ltz_schedule_times.py #! /usr/bin/env python #coding=utf-8 import os def ReadTimes(): res ...

最新文章

  1. 【C 语言】二级指针作为输入 ( 指针数组 | 复杂指针解读 )
  2. 经过路由无法找到计算机,电脑无法启动服务提示系统找不到指定的路径(图)
  3. 简单的Excel导出(两种方式)
  4. ArcEngine由点生成TIN
  5. 运算符的优先级和结合性
  6. 越来越像QQ?微信支持批量删好友啦!安卓用户“不配”
  7. php myflow,WordPress安装使用Flowplayer简易指南
  8. 深度学习的应用:语音识别、图像理解、自然语言处理
  9. 判别模型、生成模型和朴素贝叶斯模型
  10. 无法定位软件包dbus-glib-1
  11. svnadmin服务安装
  12. cad快捷栏怎么调出来_cad任务栏怎么调出来了
  13. 【Linux网络配置】
  14. 【Spark学习笔记(二)】
  15. 自问自答学ArrayList,看这篇就够了,详解问答
  16. 网络安全框架知多少?
  17. python: np.random.rand(); random.randn(); random.randint()
  18. 映泰主板虚拟机AMD-V设置
  19. 山东大学nlp实验--词向量
  20. dting 手环 数据 获取 可视化

热门文章

  1. strspn函数php,php strspn函数怎么用?
  2. C语言最新知识整理(纯干货)
  3. Nginx-ingress部署及使用
  4. boost asio io_context 没任务不退出
  5. wstring和string简单正则表达式使用
  6. texlive 2020下载与安装
  7. oracle转sparksql工具化,不使用Sqoop流程,利用CacheManager直接完成SparkSQL数据流直接回写Oracle...
  8. 韩泰机器人_[视频]Hankook Mirae展示四米高的Method-2载人两足机器人
  9. idea启动tomcat没有加载项目_震惊!我三步就搞定了 Tomcat 源码环境搭建!
  10. iframe src 传参数_剧本杀测评|本友投稿——蜀山传(非剧透)