转自：https://www.cnblogs.com/sunxi/p/4767577.html

业务需求

最近做一个把源数据库的数据批次导出到目标数据库。源数据库是采集程序采集而来的原始数据库，所以需要对其进行一些处理（过滤一些为空，长度太短或太长，非法字符，重复数据）然后在进行入库。

其中要避免目标库插入重复数据。这重复数据可能是源数据库本身就有重复数据，还有就是已经插入避免重复插入。

过滤自身重复数据解决方案

第一种：采用DataView.ToTable()方法

DataView.ToTable 方法

.NET Framework 2.0

其根据现有 DataView 中的行，创建并返回一个新的 DataTable。

如果指定了自定义列，会根据自定义列后的数据进行去重。

重载列表

名称	说明
DataView.ToTable ()	根据现有 DataView 中的行，创建并返回一个新的 DataTable。由 .NET Compact Framework 支持。
DataView.ToTable (String)	根据现有 DataView 中的行，创建并返回一个新的 DataTable。由 .NET Compact Framework 支持。
DataView.ToTable (Boolean, String[])	根据现有 DataView 中的行，创建并返回一个新的 DataTable。由 .NET Compact Framework 支持。
DataView.ToTable (String, Boolean, String[])	根据现有 DataView 中的行，创建并返回一个新的 DataTable。由 .NET Compact Framework 支持。

实例代码

 public static DataTable Distinct(DataTable dt, string[] filedNames){DataView dv = dt.DefaultView;DataTable DistTable = dv.ToTable("Dist", true, filedNames);return DistTable;}

第二种方法：循环遍历+DataTable.Select()

利用for循环遍历DataTable的数据行，利用DataTable.Select 方法判断是否重复，如果重复，则利用DataTable.Rows.RemoveAt(Index)删除重复的那一行。

具体看代码。

代码示例

 public DataTable GetDistinctSelf(DataTable SourceDt, string filedName){for (int i = SourceDt.Rows.Count - 2; i > 0; i--){DataRow[] rows = SourceDt.Select(string.Format("{0}='{1}'", filedName, SourceDt.Rows[i][filedName]));if (rows.Length > 1){SourceDt.Rows.RemoveAt(i);}}return SourceDt;}

第三种方法

利用双循环遍历（不推荐）

 public DataTable GetDistinctSelf(DataTable SourceDt, string filedName){for (int i = SourceDt.Rows.Count - 2; i > 0; i--){string title = SourceDt.Rows[0][filedName].ToString();for (int j = i + 1; j > 0; i--){if (SourceDt.Rows[j][filedName].ToString() == title){SourceDt.Rows.RemoveAt(i);}}}return SourceDt;}

去除DataTable重复数据的三种方法（转）相关推荐

遍历DataTable内存数据的三种方法性能对比
http://www.cnblogs.com/guowei1027/archive/2009/12/15/1624699.html 前几年曾经碰到一个生成递归树形菜单的功能,由于系统比较庞大,有300 ...
mysql如何防止插入重复数据_防止MySQL重复插入数据的三种方法
新建表格 CREATE TABLE `person` ( `id` int NOT NULL COMMENT '主键', `name` varchar(64) CHARACTER SET utf8 C ...
mysql 禁止插入重复数据_防止MySQL重复插入数据的三种方法
新建表格 CREATE TABLE `person` ( `id` int NOT NULL COMMENT '主键', `name` varchar(64) CHARACTER SET utf8 C ...
python csv库,Python 中导入csv数据的三种方法
Python 中导入csv数据的三种方法,具体内容如下所示: 1.通过标准的Python库导入CSV文件: Python提供了一个标准的类库CSV文件.这个类库中的reader()函数用来导入CSV文 ...
如何安全的在不同工程间安全地迁移asset数据？三种方法
如何安全的在不同工程间安全地迁移asset数据?三种方法答: 1.将Assets和Library一起迁移 2.导出包package 3.用unity自带的assets Server功能 posted ...
Android 免root 备份数据,教你安卓手机免Root恢复手机数据的三种方法
说到安卓手机,人们对它的第一印象就是开源.自由.可定制.市面上大多数系统,比如Flyme.MIUI其实都是由安卓内核再加上一层自己的包装罢了.所以你会看到手机上一堆预装软件卸载不掉,这本质上就是手机厂 ...
用旭日图展示数据的三种方法
什么是旭日图? 旭日图(Sunburst Chart)是一种现代饼图,它超越传统的饼图和环图,能表达清晰的层级和归属关系,以父子层次结构来显示数据构成情况.旭日图中,离远点越近表示级别越高,相邻两层中 ...
前端js调用后端API获取数据的三种方法（2022.7.25）
前端js调用后台API获取数据的三种方法(2022.7.25) 前言需求分析一个Get实例浏览器请求 SoapUI软件请求一个Post实例浏览器请求 SoapUI软件请求 1.Http简介( ...
关于iOS去除数组中重复数据的几种方法
在工作工程中我们不必要会遇到,在数组中有重复数据的时候,如何去除重复的数据呢? 第一种:利用NSDictionary的AllKeys(AllValues)方法代码: NSArray *dataArr ...
SQL中去除重复数据的几种方法，我一次性都告诉你
使用SQL对数据进行提取和分析时,我们经常会遇到数据重复的场景,需要我们对数据进行去重后分析. 以某电商公司的销售报表为例,常见的去重方法我们用到distinct 或者group by 语句, 今天介 ...

去除DataTable重复数据的三种方法（转）