mysql类似于excel的删除重复项_sql删除重复项并保留其中一条（含sql优化）

背景：

数据库包含重复数据，需要清理掉重复数据，并只保留其中一条。

结论

优化：百万数据查询删除重复数据，耗时从5423秒下降到2秒左右

优化过程：

根据搜索到的资料：

4、删除表中多余的重复记录(多个字段)，只留有rowid最小的记录

delete from vitae a

where (a.peopleId,a.seq) in (select peopleId,seq

from vitae group by peopleId,seq having count(*) > 1)

and rowid not in (select min(rowid) from vitae

group by peopleId,seq having count(*)>1)

根据搜索到的资料，编写第一个版本的sql语句：

delete from lcfyjttz where

(fdate, ffjdm, flcdm, ffytype, fgsbz) in(

select fdate,ffjdm,flcdm, ffytype, fgsbz

from lcfyjttz group by fdate,ffjdm,flcdm, ffytype, fgsbz having count(1) > 1)

and rowid not in(

select min(rowid) as rid from lcfyjttz

group byfdate,ffjdm,flcdm, ffytype, fgsbz having count(1) > 1 )

百万数据量的情况下，其执行结果如下：

看这个sql的执行结果就很吓人，作为一个追求3秒级的人，简直忍受不了，开始尝试优化这条sql。经历一段自残式的试错，也终于是实现了。

优化后sql:

DELETE

FROM

LCFYJTTZ c

WHERE

EXISTS (

SELECT

a.ROWID

FROM

LCFYJTTZ a,

(

SELECT

fdate,

ffjdm,

flcdm,

ffytype,

fgsbz,

MIN( ROWID ) rid

FROM

lcfyjttz

GROUP BY

fdate,

ffjdm,

flcdm,

ffytype,

fgsbz

HAVING

count( 1 ) > 1

) b

WHERE

a.FDATE = b.FDATE

AND a.FFJDM = b.FFJDM

AND a.FLCDM = b.FLCDM

AND a.ffytype = b.FFYTYPE

AND a.ROWID != b.rid

AND c.ROWID = a.ROWID

)

其执行结果如下：

在优化过程中，还是学习到很多知识，比如in和exists关键字的使用，with...as的语法使用，我尝试过用但没用上。

mysql类似于excel的删除重复项_sql删除重复项并保留其中一条（含sql优化）相关推荐

oracle删除表某一字段,oracle中删除表中某字段出现重复的信息保留其中一条
记得以前有个同事问过我这个,说是以前面试的时候碰到的问题,下面我介绍三种方法. 首先我们在这里创建一个测试表添加相应的测试数据. create table test (id number,name ...
如何使用SQL删除某个字段重复的记录，保留其中一条
应用在使用过程中发现数据表中有一些重复记录,现需要根据 taobao_nick, taobao_id 来过滤出重复记录并删除,保留其中一条记录即可. 1. 首先使用查询语句检查一下重复记录数 sele ...
mysql类似于excel的删除重复项_删除重复数据 excel去除重复数据怎么筛选重复数据 excel重复数据合并...
本篇文章主要介绍了"删除重复数据",主要涉及到重复数据方面的内容,对于MySql感兴趣的同学可以参考一下: 最近因为发现数据库中的表有脏数据,需要维护.这些脏数据就是重复数据,需要 ...
mysql 查询删除重复数据，保留其中一条数据
一.查询重复数据 --------根据多个字段查询重复数据 SELECT* FROMtable_name a WHERE(a.字段1, a.字段2) IN (SELECT字段1,字段2FROMtabl ...
SQL删除表中的重复记录只保留其中一条，最简单的方法:ROW_NUMBER()
在几千条记录里,存在着些相同的记录,如何能用SQL语句,删除掉重复的呢?. 要求:删除表中多余的重复记录,且保留 id 最小的那一条记录. CREATE TABLE #temp_data( id BI ...
oracle 快速移动数据和删除重复数据但保留其中一条数据
在项目中会遇到将一个表的部分数据移动另一个表中的事情. insert into table1 (id,其他属性) select t.a,t.c...from table2 t 注意属性类型大小要一致 ...
mysql第二条减第一条_Mysql SQL优化
SQL优化规则第一条: 尽量全值匹配,也就是说尽量使用等于第二条: 最佳左前缀原则如果是复合索引,要遵守最佳左前缀原则,指的是从最左侧列开始并且不跳过索引中的列如果是按顺序使用的索引列,且有最 ...
mysql怎么删除重复数据并且保留其中一条
现在有张加班表,一个人同一天只允许申请一次加班,就是加班日期和userid相同的数据应该只有一条,但是现在由于之前没有做限制,导致很多数据重复怎么通过sql删掉重复数据思路:先查询重复数据的最大i ...
sql删除表结构_SQL删除表
sql删除表结构 In a real-time situation, there are scenarios when we would like to remove the table from t ...

mysql类似于excel的删除重复项_sql删除重复项并保留其中一条（含sql优化）

mysql类似于excel的删除重复项_sql删除重复项并保留其中一条（含sql优化）相关推荐

最新文章

热门文章