python 读写csv文件(创建、追加、覆盖)_python文件操作
大神一看题目就知道用python中的string.split('\'),记得之前处理大量的文件的时候,有时候有几十万的文本文件,经常会读取获取名称,并且保存为名字一样的另外一种格式的文件
其实python中有一句话可以解决这个问题的方法,如下
根据全路径获取文件名称的方法os.path.basename(path)
获取文件所在路径的方法os.path.dirname(path)
转自:http://blog.csdn.net/linux__kernel/article/details/8271326
很多人在Google上不停的找合适自己的压缩,殊不知Py的压缩很不错。可以试试。当然C#,Java的压缩也有第三方的类。Py有很多美名:数学理论强大,数据结构高级等等,关于压缩算法当然用Py更加简单易用,达到目的才是最重要的。
Python压缩ZIP文件:
import zipfile
f = zipfile.ZipFile(target,'w',zipfile.ZIP_DEFLATED)
f.write(filename,file_url)
f.close()
其中target:是压缩后要保存的路径,可以是: 'C:\\temp\\'
ZIP_DEFLATED:表示压缩,还有一个参数:ZIP_STORE:表示只打包,不压缩。这个Linux中的gz跟tar格式有点类似.
write方法如果只有一个参数filename的话,表示把你filename所带的路径全部压缩到zip文件中。如果带两个参数,表示把filename路径中的那个file压缩一下并且存放到file_url中,中间没有增加任何的文件夹。
如果要压缩很多的文件,循环的write就ok了
最后close掉。
Python解压ZIP文件:
f = zipfile.ZipFile("zipfilePath",'r')
for file in f.namelist():
f.extract(file,"temp/")
zipfilePath是压缩文件的路径
循环访问该压缩文件中的文件,并且一个一个file的解压到对应的"temp\"文件夹中
解压当前目录下的zip文件到当前目录,并删除原有的zip文件
importzipfileimportos
file_list= os.listdir(r'.')for file_name infile_list:if os.path.splitext(file_name)[1] == '.zip':printfile_name
file_zip= zipfile.ZipFile(file_name, 'r')for file infile_zip.namelist():
file_zip.extract(file, r'.')
file_zip.close()
os.remove(file_name)
View Code
这里讨论使用Python解压例如以下五种压缩文件:
.gz .tar .tgz .zip .rar
简单介绍
gz: 即gzip。通常仅仅能压缩一个文件。与tar结合起来就能够实现先打包,再压缩。
tar: linux系统下的打包工具。仅仅打包。不压缩
tgz:即tar.gz。先用tar打包,然后再用gz压缩得到的文件
zip: 不同于gzip。尽管使用相似的算法,能够打包压缩多个文件。只是分别压缩文件。压缩率低于tar。
rar:打包压缩文件。最初用于DOS,基于window操作系统。
压缩率比zip高,但速度慢。随机訪问的速度也慢。
关于zip于rar之间的各种比較。可见:
gz
因为gz一般仅仅压缩一个文件,全部常与其它打包工具一起工作。比方能够先用tar打包为XXX.tar,然后在压缩为XXX.tar.gz
解压gz,事实上就是读出当中的单一文件,Python方法例如以下:
import gzip
import os
def un_gz(file_name):
"""ungz zip file"""
f_name = file_name.replace(".gz", "")
#获取文件的名称,去掉
g_file = gzip.GzipFile(file_name)
#创建gzip对象
open(f_name, "w+").write(g_file.read())
#gzip对象用read()打开后,写入open()建立的文件里。
g_file.close()
#关闭gzip对象
tar
XXX.tar.gz解压后得到XXX.tar,还要进一步解压出来。
*注:tgz与tar.gz是同样的格式,老版本号DOS扩展名最多三个字符,故用tgz表示。
因为这里有多个文件,我们先读取全部文件名称。然后解压。例如以下:
import tarfile
def un_tar(file_name):
untar zip file"""
tar = tarfile.open(file_name)
names = tar.getnames()
if os.path.isdir(file_name + "_files"):
pass
else:
os.mkdir(file_name + "_files")
#因为解压后是很多文件,预先建立同名目录
for name in names:
tar.extract(name, file_name + "_files/")
tar.close()
*注:tgz文件与tar文件同样的解压方法。
zip
与tar类似,先读取多个文件名称,然后解压。例如以下:
import zipfile
def un_zip(file_name):
"""unzip zip file"""
zip_file = zipfile.ZipFile(file_name)
if os.path.isdir(file_name + "_files"):
pass
else:
os.mkdir(file_name + "_files")
for names in zip_file.namelist():
zip_file.extract(names,file_name + "_files/")
zip_file.close()
rar
由于rar通常为window下使用,须要额外的Python包rarfile。
解压到Python安装文件夹的/Scripts/文件夹下,在当前窗体打开命令行,
输入Python setup.py install
安装完毕。
import rarfile
import os
def un_rar(file_name):
"""unrar zip file"""
rar = rarfile.RarFile(file_name)
if os.path.isdir(file_name + "_files"):
pass
else:
os.mkdir(file_name + "_files")
os.chdir(file_name + "_files"):
rar.extractall()
rar.close()
tar打包
在写打包代码的过程中,使用tar.add()添加文件时,会把文件本身的路径也加进去,加上arcname就能依据自己的命名规则将文件添加tar包
打包代码:
#!/usr/bin/env /usr/local/bin/python
# encoding: utf-8
import tarfile
import os
import time
start = time.time()
tar=tarfile.open('/path/to/your.tar,'w')
for root,dir,files in os.walk('/path/to/dir/'):
for file in files:
fullpath=os.path.join(root,file)
tar.add(fullpath,arcname=file)
tar.close()
print time.time()-start
在打包的过程中能够设置压缩规则,如想要以gz压缩的格式打包
tar=tarfile.open('/path/to/your.tar.gz','w:gz')
其它格式例如以下表:
tarfile.open的mode有非常多种:
mode action
'r' or 'r:*'
Open for reading with transparent compression (recommended).
'r:'
Open for reading exclusively without compression.
'r:gz'
Open for reading with gzip compression.
'r:bz2'
Open for reading with bzip2 compression.
'a' or 'a:'
Open for appending with no compression. The file is created if it does not exist.
'w' or 'w:'
Open for uncompressed writing.
'w:gz'
Open for gzip compressed writing.
'w:bz2'
Open for bzip2 compressed writing.
tar解包
tar解包也能够依据不同压缩格式来解压。
#!/usr/bin/env /usr/local/bin/python
# encoding: utf-8
import tarfile
import time
start = time.time()
t = tarfile.open("/path/to/your.tar", "r:")
t.extractall(path = '/path/to/extractdir/')
t.close()
print time.time()-start
上面的代码是解压全部的,也能够挨个起做不同的处理,但要假设tar包内文件过多,小心内存哦~
tar = tarfile.open(filename, 'r:gz')
for tar_info in tar:
file = tar.extractfile(tar_info)
do_something_with(file)
这几天做程序作业的时候需要用python的读取文件功能,在我用readlines()函数做逐行读取的时候遇到了一个小问题,在这里和大家分享一下。
txt文件里的内容是这样的:
1 1
2 2
3 3
4 4
5 5
代码也没什么问题:
1 with open('001.txt','r') as f:
2 lines = f.readlines()
3 for line in lines:
4 print(line)
但运行出来就。。。:
1 1
2
3 2
4
5 3
6
7 4
8
9 5
每两行之间都出现了奇怪的空行,这是怎么回事呢?
其实是因为文件中每行末尾会有一个隐藏的换行符“\n”,读取之后“\n”会被解析出来形成换行,而print()语句本身就自带换行的效果,两个换行叠加之后就会出现空行。
那么怎样消除这个bug呢?
其实很简单,python有两个自带的函数:.strip()和.rstrip()
.strip()的意思是消除字符串整体的指定字符
.rstrip()的意思是消除字符串末尾的指定字符
括号里什么都不写,默认消除空格和换行符
ok,我们再来试试:
1 with open('001.txt','r') as f:
2 lines = f.readlines()
3 for line in lines:
4 print(line.strip())
运行结果:
1 1
2 2
3 3
4 4
5 5
问题解决!
删除文件或者文件夹
import os
import shutil
name = "test"
if os.path.exists(name): #判断文件或者文件夹是否存在
if not os.listdir(name): #判断文件夹是否为空
os.rmdir(name) #只能删除空文件夹
else:
shutil.rmtree(str(name)) #删除非空文件夹
if os.path.exists(path): # 如果文件存在
# 删除文件
os.remove(path)
问题:UnicodeDecodeError: 'gb2312' codec can't decode bytes in position 2-3: illegal multibyte sequence
原因:python在做将普通字符串转换为unicode对象时,
例如:u_string = unicode(string , "gb2312"),如果你的字符串string中有诸如某些繁体字,例如"河滘小学"
中的滘,那么gb2312作为简体中文编码是不能进行解析的,必须使用国标扩展码gbk,gbk支持繁体中文和日文假文
解决方法:使用gbk,代替gb2312,例如:u_string = unicode(string , "gbk")
python 读写csv文件(创建、追加、覆盖)_python文件操作相关推荐
- python创建csv文件并写入-Python 读写 CSV
Python 读写 CSV 文件最简单的方法是使用自带的 csv 库,复杂点的可以使用 pandas.今天老唐简单记录一下使用自带的 csv 库怎么进行 Python 的文件读写操作,主要包括新建文件 ...
- python读取csv文件的方法-python读写csv文件的方法
1.爬取豆瓣top250书籍 import requests import json import csv from bs4 import BeautifulSoup books = [] def b ...
- python读csv最快方法_使用Python读写csv文件的三种方法
Python读写csv文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 前言 逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是 ...
- python读写csv文件方法总结_使用python读写CSV文件的三种方法
Python读写csv文件 觉得有用的话,欢迎一起讨论相互学习~Follow Me 前言 逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是 ...
- python 读写 csv
python 读写 csv 列表写入csv # 列表写入csv import csvheaders = ['列1', '列2', '列3', '列4', '列5']rows = [["1行1 ...
- 【转】python改文件夹名称大全_python文件和目录操作方法大全(含更改文件夹下所有文件名称的实例)
原文: python改文件夹名称大全_python文件和目录操作方法大全(含更改文件夹下所有文件名称的实例)..._心失荒野的博客-CSDN博客 一. ...
- 使用python读写VOC2007形式存放的xml标签文件
一.前言 本节主要记录,使用python读写VOC2007形式存放的xml标签文件 二.XML 标签文件格式 打开一个已打标注的XML文件,如下所示: 三.使用python读写其中的标注信息xmin ...
- Linux追加方式写入文件,文件与文件之间追加内容,文件文件追加内容
文件与文件之间追加内容,文件文件追加内容 1.最简单的方式:使用 echo 命令 echo abcbedf>>a.txt 将abcdef追加到a.txt文件末尾 往文件中写入内容,比如原来 ...
- python 读写csv文件(创建、追加、覆盖)_python 读写csv文件(创建,追加,覆盖)...
总述: 这篇博客讲述python怎样创建,读写,追加csv文件 创建: 利用csv包中的writer函数,如果文件不存在,会自动创建,需要注意的是,文件后缀一定要是.csv,这样才会创建csv文件 这 ...
最新文章
- 十个jQuery图片画廊插件推荐
- burpsuit拦截不了_burpsuite无法拦截本地流量
- 苹果x防水测试软件,iPhone终极防水测试 iPhone XR阵亡
- 一步一步学Silverlight 2系列(22):在Silverlight中如何用JavaScript调用.NET代码_转载...
- Fastreport.Net用户手册:报表页
- Java-ArrayList和Vector的区别
- vux 使用 font-awesome
- C语言的本质(37)——makefile之隐含规则和模式规则
- 最新(2019)斯坦福CS224n深度学习自然语言处理课程(视频+笔记+2017年合集)
- PAT (Basic Level) Practice1027 打印沙漏
- 并发 锁和隔离等级的关系
- JavaScript对象相关及json总结(附实例)
- C++课设——药品管理系统
- Android Studio使用IconFont阿里矢量图标库
- 如何卸载 adobe creative cloud?
- linux虚拟机中如何复制粘贴内容到主机
- shell脚本中set -e作用
- 什么是ASIC芯片?与CPU、GPU、FPGA相比如何?
- 北京邮电大学计算机专业考研复试经验分享
- 以太坊之dapp例子
热门文章
- CCF-CSP 201912-2 回收站选址(python实现)
- 聊聊如何实施负载均衡
- Derivation of Linear Regression with Multiple Variables
- 基于SpringBoot+Vue打造实验报告提交审核系统
- ADAS——高级驾驶辅助系统介绍
- 二维码推广方法20种
- 防范于未“燃”|涂鸦智慧社区推出“黑科技”,电瓶车禁入电梯智慧方案
- Boxplot(盒图)
- aspose给word添加水印
- 开发一个App来为你的女神“化妆”!