概述

一、Oracle数据库去重（推荐放在在第6点）

二、MySQL数据库去重

三、sqlserver数据库去重

四、pg数据库删除重复数据

概述

转发这个主要是有时会有重复数据的需求，留一个查询方法，大家有空也可以测试一下..

一、Oracle数据库去重（推荐放在在第6点）

1、环境准备

可以看到“ALLEN”和“SMITH”这两个人的数据重复了，现在要求表中name重复的数据只保留一行，其他的删除。

CREATE TABLE hwb(id int,name varchar(10)
);INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
commit;
SELECT * FROM hwb;

2、实现方法一：通过分组后，拿最小的id重复删除

 delete from hwb a where a.id  in      (select min(id) FROM hwb a group by name having count(name) > 1)

3、实现方法二：通过name相同，id不同的方式来判断

DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);

4、实现方法三：用rowid代替id，替换删除

DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.rowid > b.rowid);

5、实现方法四：通过分析函数根据name分组生成序号，然后删除序号大于1的数据。

语法格式：row_number() over(partition by 分组列 order by 排序列 desc)

在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。

DELETE FROM hwb a
WHERE ROWID IN (SELECT ridFROM (SELECT ROWID as rid,ROW_NUMBER() OVER(PARTITION BY name ORDER BY id) AS seqFROM hwb)WHERE seq > 1);

6、【推荐】实现方法五：根据rowid删除

DELETE FROM hwb aWHERE a.ROWID > (SELECT MIN(b.ROWID) FROM hwb b WHERE a.name = b.name);

二、MySQL数据库去重

1、环境准备

CREATE TABLE hwb(id BIGINT (4) not null,name varchar(10),PRIMARY KEY (id)
) ENGINE = INNODB;INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
commit;
SELECT * FROM hwb;

2、实现方法一：通过分组后，拿最大/最小的id重复删除

--重复删除多次
delete from hwb
where id in (select id from (select max(b.id) as id FROM hwb b group by name having count(name) > 1)c )--或者修改为以下，只需删除一次
delete from hwb
WHERE
NAME IN (select name from ( SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 ) t)
AND id NOT IN (select tt.id from (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 ) tt)

3、实现方法二：

根据name分组，查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据（除了id最小的那行）

delete from hwb
WHEREid NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)

4、实现方法三：通过name相同，id不同的方式来判断

delete  from hwb  where  id in (
select id from (
select * from hwb a
WHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id))c );

5、实现方法四：用rowid代替id，替换删除

在 Oracle 数据库的表中的每一行数据都有一个唯一的标识符，称为 rowid ，在 Oracle 内部通常就是使用它来访问数据的。

而在 MySQL 中也有一个类似的隐藏列 _rowid 来标记唯一的标识。但是需要注意 _rowid 并不是一个真实存在的列，其本质是一个非空唯一列的别名。

在某些情况下 _rowid 是不存在的，其只存在于以下情况：

1)当表中存在一个数字类型的单列主键时， _rowid 其实就是指的是这个主键列

2)当表中不存在主键但存在一个数字类型的非空唯一列时， _rowid 其实就是指的是对应非空唯一列。

需要注意以下情况是不存在 _rowid 的

1)主键列或者非空唯一列的类型不是数字类型

2)主键是联合主键

3)唯一列不是非空的。

delete  from hwb  where  id in (
select id from (
select * from hwb a
WHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a._rowid > b._rowid))c );

ps:还可考虑表切换完成去重步骤。

三、sqlserver数据库去重

1、环境准备

CREATE TABLE [dbo].[hwb] ([id] decimal(12)   NULL,[name] nvarchar(10) COLLATE Chinese_PRC_CI_AS  NOT NULL
)
GOALTER TABLE [dbo].[hwb] SET (LOCK_ESCALATION = TABLE)
GOINSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
GO

2、实现方法一：通过分组后，拿最大/最小的id重复删除

--重复删除多次
delete from hwb where id  in(select min(id) FROM hwb a group by name having count(name) > 1)--或者修改为以下，只需删除一次
select * from hwb
-- delete from hwb
WHERE
NAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 )
AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 )

3、实现方法二：根据name分组，查找出id最小的,然后再查找id不包含刚才查出来的

这样就查询出了所有的重复数据（除了id最小的那行）

delete from hwb
WHEREid NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)

4、实现方法三：通过name相同，id不同的方式来判断

DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);

5、实现方法四：用hash值代替id，替换删除

%%lockres%%会返回聚集索引键的hash值，

非聚集索引，%%lockres%%会返回非聚集索引键的hash值

delete from hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.%%lockres%% > b.%%lockres%%);

6、实现方法五：通过分析函数根据name分组生成序号，然后删除序号大于1的数据。

语法格式：row_number() over(partition by 分组列 order by 排序列 desc)

在使用 row_number() over()函数时候，over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。

DELETE FROM hwb a
WHEREid IN (SELECT  b.id FROM   (SELECT id, ROW_NUMBER () OVER ( PARTITION BY name ORDER BY id ) AS seq FROM hwb) b WHERE   b.seq > 1 );

7、【推荐】实现方法六：根据hash值删除

DELETE FROM hwb aWHERE a.%%lockres%% > (SELECT MIN(b.%%lockres%%) FROM hwb b WHERE a.name = b.name);

四、pg数据库删除重复数据

1、环境准备

set search_path to 'public';
\dt   --list tables
CREATE TABLE hwb(id INT PRIMARY KEY  NOT NULL,name CHAR(10));INSERT INTO hwb VALUES(1, 'TOM');
INSERT INTO hwb VALUES(2, 'ALLEN');
INSERT INTO hwb VALUES(3, 'ALLEN');
INSERT INTO hwb VALUES(4, 'SMITH');
INSERT INTO hwb VALUES(5, 'SMITH');
INSERT INTO hwb VALUES(6, 'SMITH');
SELECT * FROM hwb;

2、实现方法一：通过分组后，拿最大/最小的id重复删除

--重复删除多次
delete from hwb
where id in (select max(b.id) as id FROM hwb b group by name having count(name) > 1)--或者修改为以下，只需删除一次
delete  from hwb
WHERE
NAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count(NAME) > 1)
AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1);

3、实现方法二：

根据name分组，查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据（除了id最小的那行）

delete  from hwb
WHERE id NOT IN (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME );

4、实现方法三：通过name相同，id不同的方式来判断

delete from hwb a
WHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);

5、[推荐]实现方法四：用ctid代替id，替换删除

delete from hwb a
WHERE EXISTS (SELECT 1 FROM hwb b
WHERE a.name = b.name AND a.ctid > b.ctid);--或者如下：
select * from hwb WHERE ctid NOT IN (SELECT min(ctid) as id FROM hwb GROUP BY NAME );

6、[最高效推荐]实现方法五：用ctid代替id，结合row_number替换删除

delete FROM hwb a WHERE a.ctid =
ANY (array (SELECT ctid FROM (SELECT row_number() over(PARTITION BY NAME) as seq, ctid FROM hwb ) t
WHERE t.seq > 1));

本文转载至头条用户“波波说运维”

超详细的四类数据库去重实现方案汇总（转载）相关推荐

mysql 去重根据id_超详细的四类数据库去重实现方案汇总，值得收藏
概述今天主要闲聊Oracle.MySQL.sqlserver.pg数据库在删除重复数据时是怎么实现的,仅供参考. 一.Oracle数据库去重 1.环境准备可以看到"ALLEN" ...
oracle 去重_超详细的四类数据库去重实现方案汇总，值得收藏
概述今天主要闲聊Oracle.MySQL.sqlserver.pg数据库在删除重复数据时是怎么实现的,仅供参考. 一.Oracle数据库去重 1.环境准备可以看到"ALLEN" ...
datagrid分页传递参数_四类数据库分页实现方案总结之Mysql分页实现
概述昨天介绍了Oracle分页实现方案,那么,mysql又是如何实现分页呢? 参考官网:https://dev.mysql.com/doc/refman/5.7/en/select.html mys ...
sqlserver 分页_四类数据库分页实现方案总结之PG分页实现
概述前面介绍了Oracle.mysql.sqlserver的分页实现方案了,所以今天主要介绍一下关于PG的分页实现.传统的精准分页(能获取到总页数并且任意跳转页码)在需要符合条件的记录总数目,不过p ...
【超详细】如何从数据库取出数据，动态填充html
目录 [超详细]如何从数据库取出数据,动态填充html step1:Javascript step2:php [超详细]如何从数据库取出数据,动态填充html step1:Javascript 首先你 ...
mysql数据库建模方式_SQL Server中的四类数据库建模的方法介绍
SQL Server四类数据仓库建模的方法主要分为以下四类. 第一类是关系数据库的三范式建模,通常我们将三范式建模方法用于建立各种操作型数据库系统. 第二类是Inmon提倡的三范式数据仓库建模,它和操 ...
超详细设置 Idea 类注释模板和方法注释模板
前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家.点击跳转到教程. 网上找了一下,没有很详细且正确介绍Idea配置注释模板的,于是结合多篇文章自己琢磨整理出如下. 设置 ...
超详细windows安装mongo数据库、注册为服务并添加环境变量
1.官网下载zip安装包官网地址https://www.mongodb.com/download-center/community?jmp=nav,现在windows系统一般都是64位的,选好版本. ...
mongodb 超详细的操作集锦
mongodb 超详细的操作集锦数据库相关操作集合相关操作 mongo中的操作符 CRUD相关操作运算符操作可以直接用命令行进行操作,也可以使用可视化工具,可视化工具推荐使用Robo,Robo ...
超详细的Java面试题总结（四）之JavaWeb基础知识总结
系列文章请查看: 超详细的Java面试题总结(一)之Java基础知识篇超详细的Java面试题总结(二)之Java基础知识篇超详细的Java面试题总结(三)之Java集合篇常见问题超详细的Java ...

超详细的四类数据库去重实现方案汇总（转载）

概述

一、Oracle数据库去重（推荐放在在第6点）

二、MySQL数据库去重

三、sqlserver数据库去重

四、pg数据库删除重复数据

超详细的四类数据库去重实现方案汇总（转载）相关推荐

最新文章

热门文章