Python将csv文件以某列为条件分类切割
背景
项目中有一个数据文件数量庞大,一个文件中按照年月日分成几十万条数据,想试试能不能用python把它简单切割一下,按照日期分类切成小的csv文件。
于是在网上找了很多资料,结合自己的一些修改,整理了一下,方便以后再用。
大概步骤
1、读取文件
2、找出需要分类的列
3、将此列中重复的内容删除,每类剩余一条
4、把该列所有符合某一类的内容存入一个csv文件中
上代码
import pandas as pd# 读取文件数据
df=pd.read_csv('D:\\接收的文件\\lqf.csv', sep=',',engine='python',header=[0])# 列csv文件中所有列
df.columns = ['year', 'date', 'statefips', 'countyfips', 'ctfips', 'latitude', 'longitude', 'DS_PM_pred', 'DS_PM_stdd']# 删除date列中的重复项,也就是说剩下的date都是已经分好的类别
date_cate = df.drop_duplicates(subset=['date'])
print(date_cate.date)
print(range(len(date_cate))) # date中的所有类,也就是文件数
for name in date_cate.date:print(name)# 当date为某一个类时,存入一个小的csv文件中,文件名为类名df[df.date == name].to_csv("D:\\接收的文件\\data\\"+u"%s" %name+".csv")
header=[0] #代表第一行为表头不计入其中,可根据表格修改。
!!!!!!(2)!!!!!!遍历文件夹中所有的文件然后进行切割,没啥用,自己做个存档而已 ↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓↓
import pandas as pd
import osj = 347
for info in os.listdir('D:\\接收的文件\year_02'):domain = os.path.abspath(r'D:\\接收的文件\year_02') # 获取文件夹的路径info = os.path.join(domain, info) # 将路径与文件名结合起来就是每个文件的完整路径# 读取文件数据df = pd.read_csv(info, sep=',', engine='python', header=[0])# 列csv文件中所有列df.columns = ['year', 'date', 'statefips', 'countyfips', 'ctfips', 'latitude', 'longitude', 'DS_PM_pred', 'DS_PM_stdd']grouped = df.groupby('date')# delete duplicated dataind_frame = df.drop_duplicates(subset=['date'])# print(ind_frame.date)# print(range(len(ind_frame)))for name in ind_frame.date:# print(name)j += 1print("已经扫描到第" + '{}'.format(j)+'个文件')df[df.date == name].to_csv("D:\\接收的文件\\data2\\" + u"%s" %name+".csv")
Python将csv文件以某列为条件分类切割相关推荐
- Python处理CSV文件(二)
筛选特定的行 有些时候,你并不需要文件中所有的数据.例如,你可能只需要一个包含特定词或数字的行的子集,或者是与某个具体日期关联的行的子集.在这些情况下,可以用 Python 筛选出特定的行来使用. 你 ...
- Python读写CSV文件
文章目录 简介 初试 CSV读 CSV写 优雅读取 第一个值作为键名 每行读取为字典 合并读写 封装 封装1 备注 参考文献 简介 CSV,Comma-Separated Values,逗号分隔值文件 ...
- python写入csv文件的几种方法
python写入csv文件的几种方法 最常用的一种方法,利用pandas包 import pandas as pd #任意的多组列表 a = [1,2,3] b = [4,5,6] #字典中的key值 ...
- python写入csv文件中文乱码解决方案
python写入csv文件中文乱码解决方案 参考文章: (1)python写入csv文件中文乱码解决方案 (2)https://www.cnblogs.com/vsivn/p/6115537.html ...
- python导入csv文件-Python从CSV文件导入数据和生成简单图表
原标题:Python从CSV文件导入数据和生成简单图表 我们已经完成Python的基础环境搭建工作,现在我们尝试导入CSV数据 我们准备一个csv测试数据,文件名是csv-test-data.csv数 ...
- python创建csv文件并写入-Python 读写 CSV
Python 读写 CSV 文件最简单的方法是使用自带的 csv 库,复杂点的可以使用 pandas.今天老唐简单记录一下使用自带的 csv 库怎么进行 Python 的文件读写操作,主要包括新建文件 ...
- python导入csv文件-Python读写文件(csv、txt、excel)
大家做在数据处理的时候,肯定难免会与文件交互,那么对于指定的文件类型,我们如何操作呢? 1.python读写csv文件 import csv #python2可以用file替代open with op ...
- python读取csv文件的方法-python读写csv文件的方法
1.爬取豆瓣top250书籍 import requests import json import csv from bs4 import BeautifulSoup books = [] def b ...
- python关闭csv文件_使用Python编辑csv文件时跳过标题
使用Python编辑csv文件时跳过标题 我使用下面引用的代码使用Python编辑csv.代码中调用的函数形式代码的上半部分. 问题:我希望下面引用的代码从第2行开始编辑csv,我希望它排除包含标题的 ...
最新文章
- vmare安装ghostwin7
- fedora 20 yum出错
- 鸿蒙系统没有优势了吗,“鸿蒙系统”超震撼,带你细数它的优势
- 六、利用frp穿透连接内网的linx系统和windows系统
- 详解div+css相对定位和绝对定位用法
- Codeblocks 中文乱码解决方法
- 对TRIM SCSI命令的一些分析
- 跟驰理论 matlab,[自然科学]第4章 跟驰理论.ppt
- 【OpenCV学习笔记】【编程实例】二(图像的旋转和翻转)
- 在团队中我的索引卡任务
- ug许可证服务器注册表删除,ug许可证卸载工具
- 【运筹学】分支定界法 ( 分支定界法相关概念 | 分支定界法求解整数规划步骤 | 分支定界理论分析 | 分支过程示例 )
- SVN-----CornerStone
- 好书推荐《月亮与六便士》
- Processing绘制星空-1-随机生成静态星星
- vue实现消息badge 标记_vue 新消息提示
- win10+anaconda+pycharm python画图完整过程
- 并发处理同一个订单问题
- Java线程池的知识
- elasticsearch.client.transport.TransportClientNodesService[420] - node {#transport#-1}
热门文章
- Spring Security系列(11)- Security5.0版本Oauth2开放平台环境搭建
- 【C++】 strcat()函数
- 各种国际搜索引擎广告入口
- wxpython文档_wxPython常用的文件与文件夹操作
- 【Pytorch深度学习实践】B站up刘二大人课程笔记——目录与索引(已完结)
- c语言调试时出现的三种错误,C语言课件 第十四章 常见错误和程序调试
- 大学计算机基础报告总结,windows7实验报告总结.docx
- java-php-python-ssm蔬菜水果销售系统计算机毕业设计
- 英飞凌TC275芯片开发笔记
- Python tkinter库:简易画板(笔、直线、矩形、圆形和橡皮擦工具+导入、保存、撤销、清屏功能)