CSV文件比较

可以比较同一行内容
可以比较不同行内容

import pandas as pddef read_lines_from_file(file_name):chunksize = 10 ** 6record_map = {}# with pd.read_csv(file_name, chunksize=chunksize) as reader:for chunk in pd.read_csv(file_name, chunksize=chunksize):batch_list = chunk.values.tolist()for item in batch_list:record_map[item[0]] = item[1]print(file_name+str(len(record_map)))return record_mapdef get_difference(record_map_small, record_map_bigger):res = []for item in record_map_small.items():item_id = item[0]value_from_small = item[1]value_from_bigger = record_map_bigger.get(item_id, None)if value_from_bigger is not None and value_from_small != value_from_bigger:print (item_id, value_from_small, value_from_bigger)res.append((item_id, value_from_small, value_from_bigger))return resdef export_list_to_file(res, filename):with open(filename, 'w') as f:for item in res:f.write(str(item[0])+","+item[1]+","+item[2]+'\n')if __name__ == '__main__':# 需要比较的文件file_name = "/Users/.../test-app-deep.csv"record_map_small = read_lines_from_file(file_name=file_name)# 原文件file_name = "/Users/.../part-00000.csv"record_map_bigger =  read_lines_from_file(file_name=file_name)res = get_difference(record_map_small, record_map_bigger)# 把record_map_small里不同的内容输出到结果文件export_list_to_file(res, "/Users/..../test-app-dp-3.csv")

python csv文件比较相关推荐

9.5 Python csv 文件的写入操作
9.5 Python csv 文件的写入操作 9.5.1 with open( ) as - with open() as ... 是对原有 open() 和 close() 的优化. 使用with ...
数据处理——-python csv文件删除行或者删除列
python csv文件简单的删除行或者删除列主要有以下五种方法. ''' 方法一.二.三用于一般的删除方法四使用切片比较方便方法五一般用于遍历删除对应某种属性值的行 ''' import pan ...
Python——CSV文件读写（CSV库）
基本概念逗号分隔值(Comma-Separated Values,CSV,有时也称为字符分隔值,因为分隔字符也可以不是逗号),其文件以纯文本形式存储表格数据(数字和文本).纯文本意味着该文件是一个字 ...
python csv文件参数化_Python 读取csv文件的某一列数据，并定义两个pattern，确定变化区间...
Python 读取csv文件的某一列数据,并定义两个pattern,[-1, 1, 1] 和 [1, -1, -1]可以确定不同的变化区间抓取股票数据,确定股票的变化区间. Date 3D10 20 ...
python csv文件读取行列_使用Numpy读取CSV文件,并进行行列删除的操作方法
Numpy是Python强大的数据计算和处理模块,其操作数据非常迅速且简单易行. 首先读取CSV文件 >>> import numpy as np#导入numpy模块 >> ...
python csv文件复制时的编码问题_使用python读取CSV文件时的编码问题
尝试使用python读取CSV文件时遇到障碍. 更新:如果只想跳过字符或错误,可以打开文件,如下所示: with open(os.path.join(directory, file), 'r', en ...
python csv文件和xlsx文件混杂时，提取指定列数据并合并
这篇文章是R语言如何合并csv文件(批量读取csv文件)的姊妹篇.提供更为强大的功能. 解决的问题是提取csv文件和xlsx文件混杂时,文件合并问题.具体来说,下面的代码是提取指定列文本,简单清洗后 ...
python csv文件转json
CSV转json格式直接上代码 import json fo=open("C:\\RenL\\entry.csv","r") #打开csv文件 ls=[] f ...
关于python csv文件操作，用wps打开乱码的问题
用python写入csv文件制定编码的时候将 utf-8 改成 utf-8-sig 就可以解决csv文件被wps打开乱码的问题 fp =open('bsbdj.csv','w',newline='', ...
python csv文件数据根据逗号分隔_Python 3读取以逗号分隔的CSV文件操作变量并写到CSV...
我是Python的新手,并希望阅读下面列出的内容的CSV文件: DN, whenCreated, name, pwdLastSet, location "CN=Jackson2,OU=Dom ...

python csv文件比较

python csv文件比较

CSV文件比较

python csv文件比较相关推荐

最新文章

热门文章