python对csv文件中的数据进行分类_python 数据处理 对csv文件进行数据处理
数据如下图:
用python对数据进行处理:
#读取csv文件内容并进行数据处理
import os
import csv
import datetime
import re
from itertools import islice
csv_file_path = ‘query_hive.csv‘ #文件路径
write2_csv_file_path = ‘hive_result2.csv‘ #处理第二列数据
write6_csv_file_path = ‘hive_result6.csv‘ #处理第六列数据
#定义一个写入数据函数
def write_csv_file():
if os.path.exists(csv_file_path) is False :
print("不存在文件鸭!")
return
with open(csv_file_path,‘r‘) as r_file:
#读取csv文件内的所有内容
file_read = csv.reader(r_file)
for row in islice(file_read,1,None): #如果第一行是列名,用islice函数直接跳过第一行 islice(文件名,跳过的行数,None)
print(row)
#处理第六列数据
row6 = row[5] #第六列数据
len_str6 = len(row6) #第六列数据的长度
print("此列字符串的长度:{}".format(len_str6))
L_str6 = list(row6[1:len_str6-1].split(‘|‘)) #对第六列数据进行分割得到数字字符串列表
print("此列得到数字字符串列表:{}".format(L_str6))
L_num6 = list() #创建一个空列表存储数据
for s in L_str6: #将字符串列表变为数字型列表
if s==‘‘ :
L_num6.append(0)
else:
L_num6.append(int(s))
print("此列得到数字型数据列表{}".format(L_num6))
#处理第一列数据
row2 = row[1] #第一列数据
len_str2 = len(row2) #第一列数据的长度
print("此列数据串的长度".format(len_str2))
L_str2 = list(re.split("[/.]",row2[1:])) #用多个分隔符分割字符串
print("此列得到字符串列表{}".format(L_str2))
#写入2数据
csv_write_list = [L_str2] #用于写入文件的数据
with open(write2_csv_file_path,‘a‘,newline=‘‘) as w_file: #若没有newline=‘‘每读入一行数据后跟一个空行
writer = csv.writer(w_file,dialect=‘excel‘)
for row_item in csv_write_list:
writer.writerow(row_item)
#写入6数据
csv_write_list = [L_str6]
with open(write6_csv_file_path,‘a‘,newline=‘‘) as w_file: #若没有newline=‘‘每读入一行数据后跟一个空行
writer = csv.writer(w_file,dialect=‘excel‘)
for row_item in csv_write_list:
writer.writerow(row_item)
if __name__ == "__main__":
write_csv_file()
#注意
‘‘‘
1)写入文件数据的时候,只能以字符串的格式写入!
2)L_str 是处理之后的字符串列表,若要将其写入文件中,还需要进一步操作:将其作为新列表的一个元素进行读入
暨csv_write_list = [L_str6]
3)如果打开待写入文件时没有参数 newline=‘‘ ,那么最后的文件中每一数据行后都有一个空行
4)如果数据文件第一行是列名,用islice函数直接跳过第一行 islice(文件名,跳过的行数,None)
‘‘‘
python对csv文件中的数据进行分类_python 数据处理 对csv文件进行数据处理相关推荐
- python对csv文件中的数据进行分类_使用Python读取csv文件并进行分类存储
同学叫我帮忙用Python做csv表格分类,整理一下遇到的问题及解决方案 原生数据文件TEST.csv: 如图我需要根据G列内容,分别对A,B,C进行分类到A.csv,B.csv,C.csv 上代码, ...
- python对csv文件中的数据进行分类_利用Python对csv文件中的数据进行排序
代码如下: #导入包 import pandas as pd from pandas import DataFrame,Series #设置路径 path='C:\\Users\\jyjh\\Desk ...
- python3中的zip_Python3实现将文件归档到zip文件及从zip文件中读取数据的方法
''''' Created on Dec 24, 2012 将文件归档到zip文件,并从zip文件中读取数据 @author: liury_lab ''' # 压缩成zip文件 from zipfil ...
- 如何用c语言从txt文件中读取数据
用C语言从txt文件中读取数据,可以使用C标准库文件自带的文件接口函数进行操作. 一.打开文件: FILE *fopen(const char *filename, const char *mode) ...
- lucene: 索引建立完后无法查看索引文件中的数据
索引建立时 1.对原有索引文件进行建立,是可以访问索引文件中的数据的 2.建立新索引文件,必须等建立完毕后,才可以访问,新建立的文件如果没有建立完是不可以被访问的 如果想建立200w的数据的索引又想立 ...
- python 数据比对 函数_用python比对csv文件中的数据
做了个问卷,下载了收集数据xlsx文件,把数据弄到另一个表格文件中,需要校验数据转移的准确性. 使用python的csv库,使用csv.reader(f)函数读取表格数据,转成列表,确定数据行的主键, ...
- python怎么读取csv的一部分数据_python批量读取csv文件 如何用python将csv文件中的数据读取成数组...
如何用python把多个csv文件数据处理后汇总到新csv文件你看这月光多温柔,小编转头还能看见你,一切从未坍塌. 可以用pandas读取数据,首先把文件方同一个文件价里,然后对当前文件价的所有内容循 ...
- python读取文件中的数据为二维数组变量_Numpy 多维数据数组的实现
numpy包(模块)几乎总是用于Python中的数值计算.这个软件包为Python提供了高性能的向量.矩阵.张量数据类型.它是在C和Fortran中创建的,因此当计算被矢量化(用矩阵和矢量表示操作)时 ...
- python怎么读取txt文件数据保存数组中-python将txt等文件中的数据读为numpy数组的方法...
实际中,很多数据都是存为txt文件.csv文件等,但是在程序中处理的时候numpy数组或列表是最方便的.本文简单介绍读入txt文件以及将之转化为numpy数组或列表的方法. 1 将txt文件读为lis ...
最新文章
- 【VMC实验室】在QCloud上创建您的SQL Cluster(1)
- java get方法报空指针_面试的哪些事儿之JAVA程序员面试笔试题(一)
- 【STM32】定时器程序
- ftruncate函数的功能及使用
- SQL基础-- 数据处理(DML、RETURNING、MERGE INTO)
- Android - 布局详解之LinearLayout与RelativeLayout
- 如何进行 node.js 的 安装与卸载
- DDL 操作表 删除
- Elasticsearch】Elasticsearch 25 个必知必会的默认值
- BW报表igs服务配置解决中文显示问题
- 时序分析基本概念介绍<AOCV>
- SpringBoot 使用小技巧合集
- linux RAID10测试
- STM32学习心得三十一:485通信原理及实验
- 高数下(同济大学版本)期中冲刺式复习
- DEDE源码分析与学习---index.php文件解读。
- 用数据告诉你,哪位导演是漫威影片中的票房收割机?
- 立方体在三维坐标中的旋转(3D,Spining)
- 《清平乐词》三篇——李白
- 简述几种常用的编码器数据格式