1、介绍

2. 要求

3. 使用方法

3.1 样本数据

清单 1. 示例CSV数据文件 (customers.csv)

.NET Framework

.NET Core

3.2 快速排序——零配置方法

清单 2. 在没有映射类的情况下对CSV文件进行排序

3.3 定义映射类

清单 3. 映射类

3.4 使用ChoCSVReader/ChoCSVWriter排序

清单 4. 使用映射类对CSV文件进行排序

在本技巧中，您将学习如何使用Cinchoo ETL框架对非常大的CSV文件进行排序。使用非常简单，只需几行代码，即可完成转换。您可以转换大文件，因为转换过程是基于流的、速度非常快且内存占用低。

下载 Cinchoo ETL 源码
下载 Cinchoo ETL 二进制文件 (.NET Core)
下载 Cinchoo ETL 二进制文件 (.NET Framework)
工作示例 1 (.NET Fiddle)
工作示例 2 (.NET Fiddle)

1、介绍

ChoETL是一个用于.NET的开源ETL（提取、转换和加载）框架。它是一个基于代码的库，用于在.NET环境中从多个来源提取数据、转换并加载到您自己的数据仓库中。您可以立即在数据仓库中拥有数据。

本文讨论使用ChoETL框架提供的ChoCSVReader/ChoCSVWriter组件对大CSV文件进行排序。当需要排序时，大型CSV文件会带来挑战。如果您尝试使用.NET应用程序，它将OutOfMemory异常失败。使用Microsoft Excel对大文件进行排序时，您会在第一时间立即收到错误消息。

如果string排序对您有用，那么只需使用 WindowsSORT命令。对文件进行排序并完成它。它会很高兴地对您的大型 CSV 文件进行排序，而且使用起来很简单。

如果您需要过滤和转换文件，特别是日期/自定义类型的字段，那么您需要编写一个小的转换程序来转换您喜欢的任何字段，并重写记录。这就是Cinchoo ETL框架发挥作用的地方，以您想要的方式简化大型CSV文件的转换，满足所有可能的要求，同时具有最小的内存占用和超快的性能。

在本文中，让我们学习如何使用Cinchoo ETL框架来做到这一点。

2. 要求

该框架库是使用.NET 4.5/.NET Core Framework用C#编写的。

3. 使用方法

3.1 样本数据

让我们从一个简单的示例开始，该示例读取以下具有4列的CSV文件。

清单 1. 示例CSV数据文件 (customers.csv)

CustId,Name,Balance,AddedDate
1732,Tom Perez,435.00,05/11/2002
5541,Pedro Gomez,12342.30,06/02/2000
1122,Mark Politti,0.00,01/02/2004
1924,Pablo Ramirez,3321.30,11/24/2002

首先要做的是安装ChoETL.JSON/ChoETL.JSON.NETStandard nuget包。为此，请在包管理器控制台中运行以下命令。

.NET Framework

Install-Package ChoETL.JSON

.NET Core

Install-Package ChoETL.JSON.NETStandard

现在ChoETL向程序添加命名空间。

using ChoETL;

3.2 快速排序——零配置方法

这种方法向您展示了如何在没有任何映射类的情况下对大型CSV文件进行排序。

清单 2. 在没有映射类的情况下对CSV文件进行排序

public static void QuickSort()
{using (var dr = new ChoCSVReader(@"customers.csv").WithFirstLineHeader()){using (var dw = new ChoCSVWriter(Console.Out))dw.Write(dr.ExternalSort((c1, c2) => String.Compare(c1.Name, c2.Name)));}
}

在上面，打开输入CSV文件以读取ChoCSVReader对象。然后打开ChoCSVWriter写入已排序的CSV文件。使用reader对象上的ExternalSort()方法使用String.Compare方法对项目通过Name进行排序。这将生成排序后的CSV文件。

同样，您可以以最少的内存占用对csv集合执行任何类型的投影、过滤或转换。

小示例：C# Online Compiler | .NET Fiddle

3.3 定义映射类

这种方法讨论了使用映射 (POCO)类对大型CSV文件进行排序。比上一步更安全的方法。首先，创建一个类，该类的属性与CSV文件中的列标题名称相同。确保使用SerializableAttribute将类标记为可序列化。下面，您将找到执行此操作的类的示例。

清单 3. 映射类

[Serializable]
public class Customer
{public int CustId { get; set; }public string Name { get; set; }public decimal Balance { get; set; }public DateTime AddedDate { get; set; }
}

3.4 使用ChoCSVReader/ChoCSVWriter排序

最后，创建一个ChoCSVReader类的实例来读取输入文件。创建一个用于写入排序后的CSV文件的ChoCSVWriter实例，如下所示。

清单 4. 使用映射类对CSV文件进行排序

public static void POCOSort()
{using (var dr = new ChoCSVReader<Customer>(@"customers.csv").WithFirstLineHeader()){using (var dw = new ChoCSVWriter<Customer>(Console.Out))dw.Write(dr.ExternalSort((c1, c2) => DateTime.Compare(c1.AddedDate, c2.AddedDate)));}
}

上面的代码使用reader对象上的ExternalSort()方法按AddedDate列对CSV文件进行排序并保存到CSV输出文件中。这将生成排序后的CSV文件。

小示例：C# Online Compiler | .NET Fiddle

https://www.codeproject.com/Tips/1185848/Cinchoo-ETL-Sorting-Large-CSV-File

Cinchoo ETL-对大型CSV文件进行排序相关推荐

大型csv文件排序问题
对大型csv文件进行排序背景惨痛经历 1.使用excel打开 2.使用pandas中的sort_value()方法解决方法 end 背景爬取了1个G左右的json数据,是全国2000个左右城市 ...
csv导入mysql phpmyadmin_关于mysql：使用phpMyAdmin导入大型csv文件
我有一个csv文件,一个很大的文件,有3万行. 我试图从终端使用LOAD文件等导入它.正如我在google上发现的那样,但是它没有用. 它正在进行导入,但是我的表有3万行NULL单元格. 之后,我尝试 ...
ETL KETTLE 读取csv文件写入数据库
任务: 将大量CSV文件写入数据库中:可以一张表一个csv文件输入,表输出:但是如果表文件太多,达到100多张表入库:那会写死人的:所以我们可以偷懒一下:采用配合kettle java脚本代码:完成任 ...
数据处理：1 用pandas处理大型csv文件 2 使用Pandas分块处理大文件 3 分块读取
在训练机器学习模型的过程中,源数据常常不符合我们的要求.大量繁杂的数据,需要按照我们的需求进行过滤.拿到我们想要的数据格式,并建立能够反映数据间逻辑结构的数据表达形式. 最近就拿到一个小任务,需要处 ...
python读取大文件内存不够_大型CSV文件（numpy）上的Python内存不足
正如其他人所提到的,对于一个很大的文件,最好不进行迭代. 但是,出于各种原因,您通常确实希望将整个内容存储在内存中. genfromtxt效率要低得多loadtxt(尽管它可以处理丢失的数据,而效率更 ...
Cinchoo ETL——快速入门：将CSV转换为JSON文件
目录 1.简介 2. 要求 3. 如何使用 3.1 样本数据 3.2 安装库 3.3 快速转换 3.4 选择性列转换 3.3 使用POCO对象下载 Cinchoo ETL 源码下载 Cinchoo ...
java 文件内容排序_在Java中对2个大型文本文件进行排序的最佳方法是什么？
我正在构建一个简单的 Java应用程序,涉及从csv文件中读取信息. csv文件中的信息以这种形式出现: "ID","Description" "AB ...
CSV文件编辑器——Modern CSV for mac
在编辑 CSV 文档时,大多数人都在寻找一种高度专业的工具来帮助他们做他们想做或实际需要做的任何事情.现代 CSV 正是这种类型的工具.它提供了大量的选项和功能,同时快速且易于使用.考虑到这一点,当涉 ...
python导入csv文件是如何预览后10行-使用python中的csv reader只读取前N行csv文件
我将一些csv文件的第二列中包含的文本添加到一个列表中,以便稍后对列表中的每个项目执行情绪分析.我的代码目前完全适用于大型csv文件,但是我对列表中的项目执行的情感分析花费了太长时间,这就是为什么我只 ...

Cinchoo ETL-对大型CSV文件进行排序

1、介绍

2. 要求

3. 使用方法

3.1 样本数据

清单 1. 示例CSV数据文件 (customers.csv)

.NET Framework

.NET Core

3.2 快速排序——零配置方法

清单 2. 在没有映射类的情况下对CSV文件进行排序

3.3 定义映射类

清单 3. 映射类

3.4 使用ChoCSVReader/ChoCSVWriter排序

清单 4. 使用映射类对CSV文件进行排序

Cinchoo ETL-对大型CSV文件进行排序相关推荐

最新文章

热门文章