Python小记--在特定位置修改CSV文件

因为正在参加PhysioNet Challenge 2019的比赛，其中数据根据题目的要求需要预处理一下，所以用python中的CSV库对约20万条数据进行了有规则的修改。修改的规则是：找到一行末尾字符是“1.0”，并且上一行的末尾字符是“0.0”的数据，并将该行以上12行内的数据末尾字符都改为“1.0”.

具体的实现过程是这样的：①将所有要修改的行找出来，并将该行的特征(行数，字符标记)存储到字典中；②对字典按照做相应的处理； ③新建一个文件，将源文件的每一行遍历，如果该行的特征不在字典中，则完全复制到新建文件，如果该行恰好在字典中，则将该行的最后一个字符改为“1.0”，在复制到新建文件中；④最后生成的新建文件就是我们需要的做出处理的数据文件。

代码和注释如下，亲测有效：

import csv
import numpy as np
"""
import csv and numpy.
"""
dictOrig = {}
"""
Define a dict to store the characteristics of the file need to be modified.
"""
with open('C:/Users/Ethan/PycharmProjects/readcsv/Sepsis.csv', 'r') as csvfile:
"""
Open the file need to be modified, note that the file path must be correct.
"""reader = csv.reader(csvfile)rows = [rowTemp for rowTemp in reader]"""rows = [['1.0','2.0','#','!'],['1.0','2.0','#','!'],['1.0','2.0','#','!'],[...],...]rows is a list collection of each row in the file."""for row in rows:if row[-1] == '1.0' and rows[rows.index(row)-1][-1] == '0.0':dictOrig[rows.index(row)] = row[-2]"""Travers the rows to record the characteristics of the file need to be modified in the dict.In this code, the feature we want to modify is that the end string of the row is '1.0' and the end string of the last row is '0.0'"""for temp in list(dictOrig.values()):"""Make some modifications to the feature, such as the code that we want to change the end string of the uo 12 rows fo the target line to '1.0'"""if float(temp) >= 13.0:"""If the index of target row is larger than 13, we should change the end of the previous 12row to '1.0'"""for i in range(12):dictOrig[list(dictOrig.keys())[list(dictOrig.values()).index(temp)]-1-i] = str(float(temp)-i-1)"""list(dictOrig.keys())[list(dictOrig.values()).index(temp)] is the key of the values temp"""if float(temp) < 13.0:"""If the index of target row is smaller than 13, we should change all the previous row to '1.0'"""for i in np.arange(0,float(temp),1.0):"""np.arange() is the range of float number"""dictOrig[list(dictOrig.keys())[list(dictOrig.values()).index(temp)]-1-i] = str(float(temp)-i-1)with open('C:/Users/Ethan/PycharmProjects/readcsv/New.csv', 'a', newline='') as newfile:"""Open a new file that we want to write to. Note that we must add the "newline=''" to avoid to generatethe blank lines. The parameter 'a' means that open for writing, appending to the end of the file if it exists."""for row in rows:"""Traverse the rows again."""if rows.index(row) in dictOrig.keys():"""If we find the row we want to change, change it at the time of replication."""rowNew = rowrowNew[-1] = '1.0'writer = csv.writer(newfile)writer.writerow(rowNew)else:"""Or we should replicate it directly."""rowNew = rowwriter = csv.writer(newfile)writer.writerow(rowNew)newfile.close()csvfile.close()"""Close the two files."""

Python小记--在特定位置修改CSV文件相关推荐

python对数据进行分类、文件是csv文件_用Python将处理数据得到的csv文件分类（按顺序）保存...
用Python中的os和numpy库对文件夹及处理数据后得到的文件进行分类保存: import numpy as np import os for m in range(699,0,-35): cur ...
python导出数据找不到csv_【记录】使用Python读取/导出（写入）CSV文件
想要用python处理csv文件. 去查了下,python中本身就自带csv模块. 然后参考在线手册: 去试试. [用python生成csv] 1. 按照手册的例子,试了试:import csv wi ...
wps修改csv文件中的科学计数法修改为完整显示
wps修改csv文件中的科学计数法修改为完整显示问题解决方案问题最近在工作中合作方提供了一个csv文件,直接用wps打开发现里面的id变为了科学计数法(如下图),也无法通过修改单元格格式在修改 ...
Python读入制表位分割的csv文件
Python读入制表位分割的csv文件常见的csv文件都是以逗号进行分割的,但一次数据库导出的文件是以制表位间隔. 虽说另存为如下方式即可正常使用,但大批量的文件总归是不合适的平时使用pandas ...
Python之一个关于天气的csv文件中获取最高和最低气温的图表
Python之一个关于天气的csv文件中获取最高和最低气温的图表科普: csv: 简单的说:以逗号分隔的值(CSV)将数据写入文件中,这样的文件称为CSV文件说明: 博主这里主要是学习一下csv文 ...
python修改csv文件中列的数据类型_pandas读取CSV文件时查看修改各列的数据类型格式...
下面给大家介绍下pandas读取CSV文件时查看修改各列的数据类型格式,具体内容如下所述: 我们在调bug的时候会经常查看.修改pandas列数据的数据类型,今天就总结一下: 1.查看: Numpy和 ...
python修改csv文件字段顺序_python 操作csv文件写入顺序不对
我是初学者不太懂为什么在终端显示是正确的顺序到了csv 文件中就是另一回事了呢还有就是 csv 文件怎么可以运行之后继续填写而不是清空文件呢? 图片: 代碼: import urllib.req ...
python pandas 把数据保存成csv文件，以及读取csv文件获取指定行、指定列数据
文章目录: 1 数据说明 2 把数据集文件信息使用python pandas保存成csv文件 3 使用python pandas 读取csv的每行.每列数据 1 数据说明 1.在test_data目录 ...
python通过DictReader实现两个csv文件的映射查找lookup之代码详解
python里应用DictReader的实现匹配查找需求简介通过应用DictReader读取csv文件,实现通过一个CSV在另外个CSV里找到对应的解释,类似lookup. 数据内容 1 这里假定 ...

Python小记--在特定位置修改CSV文件

Python小记--在特定位置修改CSV文件相关推荐

最新文章

热门文章