oracle 去重_超详细的四类数据库去重实现方案汇总,值得收藏
概述
今天主要闲聊Oracle、MySQL、sqlserver、pg数据库在删除重复数据时是怎么实现的,仅供参考。
一、Oracle数据库去重
1、环境准备
可以看到“ALLEN”和“SMITH”这两个人的数据重复了,现在要求表中name重复的数据只保留一行,其他的删除。
CREATE TABLE hwb(id int,name varchar(10));
INSERT INTO hwb VALUES(1, 'TOM');INSERT INTO hwb VALUES(2, 'ALLEN');INSERT INTO hwb VALUES(3, 'ALLEN');INSERT INTO hwb VALUES(4, 'SMITH');INSERT INTO hwb VALUES(5, 'SMITH');INSERT INTO hwb VALUES(6, 'SMITH');commit;SELECT * FROM hwb;
2、实现方法一:通过分组后,拿最小的id重复删除
delete from hwb a where a.id in (select min(id) FROM hwb a group by name having count(name) > 1)
3、实现方法二:通过name相同,id不同的方式来判断
DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);
4、实现方法三:用rowid代替id,替换删除
DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.rowid > b.rowid);
5、实现方法四:通过分析函数根据name分组生成序号,然后删除序号大于1的数据。
语法格式:row_number() over(partition by 分组列 order by 排序列 desc)
在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。
DELETE FROM hwb aWHERE ROWID IN (SELECT ridFROM (SELECT ROWID as rid, ROW_NUMBER() OVER(PARTITION BY name ORDER BY id) AS seqFROM hwb)WHERE seq > 1);
6、【推荐】实现方法五:根据rowid删除
DELETE FROM hwb aWHERE a.ROWID > (SELECT MIN(b.ROWID) FROM hwb b WHERE a.name = b.name);
二、MySQL数据库去重
1、环境准备
CREATE TABLE hwb(id BIGINT (4) not null,name varchar(10), PRIMARY KEY (id) ) ENGINE = INNODB;
INSERT INTO hwb VALUES(1, 'TOM');INSERT INTO hwb VALUES(2, 'ALLEN');INSERT INTO hwb VALUES(3, 'ALLEN');INSERT INTO hwb VALUES(4, 'SMITH');INSERT INTO hwb VALUES(5, 'SMITH');INSERT INTO hwb VALUES(6, 'SMITH');commit;SELECT * FROM hwb;
2、实现方法一:通过分组后,拿最大/最小的id重复删除
--重复删除多次delete from hwb where id in (select id from (select max(b.id) as id FROM hwb b group by name having count(name) > 1)c )
--或者修改为以下,只需删除一次delete from hwb WHERENAME IN (select name from ( SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 ) t)AND id NOT IN (select tt.id from (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 ) tt)
3、实现方法二:
根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据(除了id最小的那行)
delete from hwb WHEREid NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)
4、实现方法三:通过name相同,id不同的方式来判断
delete from hwb where id in ( select id from (select * from hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id))c );
5、实现方法四:用rowid代替id,替换删除
在 Oracle 数据库的表中的每一行数据都有一个唯一的标识符,称为 rowid ,在 Oracle 内部通常就是使用它来访问数据的。
而在 MySQL 中也有一个类似的隐藏列 _rowid 来标记唯一的标识。但是需要注意 _rowid 并不是一个真实存在的列,其本质是一个 非空唯一列 的别名。
在某些情况下 _rowid 是不存在的,其只存在于以下情况:
1)当表中存在一个 数字类型 的单列主键时, _rowid 其实就是指的是这个主键列
2)当表中 不存在主键 但存在一个 数字类型 的 非空唯一列 时, _rowid 其实就是指的是对应 非空唯一列 。
需要注意以下情况是不存在 _rowid 的
1)主键列 或者 非空唯一列 的类型不是 数字类型
2)主键 是联合主键
3)唯一 列不是非空的。
delete from hwb where id in ( select id from (select * from hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a._rowid > b._rowid))c );
ps:还可考虑表切换完成去重步骤。
三、sqlserver数据库去重
1、环境准备
CREATE TABLE [dbo].[hwb] ( [id] decimal(12) NULL, [name] nvarchar(10) COLLATE Chinese_PRC_CI_AS NOT NULL)GO
ALTER TABLE [dbo].[hwb] SET (LOCK_ESCALATION = TABLE)GO
INSERT INTO hwb VALUES(1, 'TOM');INSERT INTO hwb VALUES(2, 'ALLEN');INSERT INTO hwb VALUES(3, 'ALLEN');INSERT INTO hwb VALUES(4, 'SMITH');INSERT INTO hwb VALUES(5, 'SMITH');INSERT INTO hwb VALUES(6, 'SMITH');GO
2、实现方法一:通过分组后,拿最大/最小的id重复删除
--重复删除多次delete from hwb where id in (select min(id) FROM hwb a group by name having count(name) > 1)
--或者修改为以下,只需删除一次select * from hwb -- delete from hwbWHERENAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count( NAME ) > 1 )AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1 )
3、实现方法二:根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的
这样就查询出了所有的重复数据(除了id最小的那行)
delete from hwb WHEREid NOT IN (select tt.id from (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME ) tt)
4、实现方法三:通过name相同,id不同的方式来判断
DELETE FROM hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);
5、实现方法四:用hash值代替id,替换删除
%%lockres%%会返回聚集索引键的hash值,
非聚集索引,%%lockres%%会返回非聚集索引键的hash值
delete from hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.%%lockres%% > b.%%lockres%%);
6、实现方法五:通过分析函数根据name分组生成序号,然后删除序号大于1的数据。
语法格式:row_number() over(partition by 分组列 order by 排序列 desc)
在使用 row_number() over()函数时候,over()里头的分组以及排序的执行晚于 where 、group by、 order by 的执行。
DELETE FROM hwb aWHEREid IN (SELECT b.id FROM (SELECT id, ROW_NUMBER () OVER ( PARTITION BY name ORDER BY id ) AS seq FROM hwb) b WHERE b.seq > 1 );
7、【推荐】实现方法六:根据hash值删除
DELETE FROM hwb aWHERE a.%%lockres%% > (SELECT MIN(b.%%lockres%%) FROM hwb b WHERE a.name = b.name);
四、pg数据库删除重复数据
1、环境准备
set search_path to 'public'; \dt --list tablesCREATE TABLE hwb(id INT PRIMARY KEY NOT NULL,name CHAR(10));
INSERT INTO hwb VALUES(1, 'TOM');INSERT INTO hwb VALUES(2, 'ALLEN');INSERT INTO hwb VALUES(3, 'ALLEN');INSERT INTO hwb VALUES(4, 'SMITH');INSERT INTO hwb VALUES(5, 'SMITH');INSERT INTO hwb VALUES(6, 'SMITH');SELECT * FROM hwb;
2、实现方法一:通过分组后,拿最大/最小的id重复删除
--重复删除多次delete from hwb where id in (select max(b.id) as id FROM hwb b group by name having count(name) > 1)
--或者修改为以下,只需删除一次delete from hwb WHERENAME IN (SELECT NAME FROM hwb b GROUP BY NAME HAVING count(NAME) > 1)AND id NOT IN (SELECT max(c.id ) as id FROM hwb c GROUP BY NAME HAVING count( NAME ) > 1);
3、实现方法二:
根据name分组,查找出id最小的,然后再查找id不包含刚才查出来的。这样就查询出了所有的重复数据(除了id最小的那行)
delete from hwb WHERE id NOT IN (SELECT min(c.id ) as id FROM hwb c GROUP BY NAME );
4、实现方法三:通过name相同,id不同的方式来判断
delete from hwb aWHERE EXISTS (SELECT 1FROM hwb bWHERE a.name = b.nameAND a.id > b.id);
5、[推荐]实现方法四:用ctid代替id,替换删除
delete from hwb aWHERE EXISTS (SELECT 1 FROM hwb bWHERE a.name = b.name AND a.ctid > b.ctid);
--或者如下:select * from hwb WHERE ctid NOT IN (SELECT min(ctid) as id FROM hwb GROUP BY NAME );
6、[最高效推荐]实现方法五:用ctid代替id,结合row_number替换删除
delete FROM hwb a WHERE a.ctid = ANY (array (SELECT ctid FROM (SELECT row_number() over(PARTITION BY NAME) as seq, ctid FROM hwb ) t WHERE t.seq > 1));
写这个主要是平时删除重复数据的需求还是挺多的,所以就顺便总结了各类数据库的删除重复数据的一些方式,大家有空也可以测试一下..
来源:
https://www.toutiao.com/i6894617840956113422/
“IT大咖说”欢迎广大技术人员投稿,投稿邮箱:aliang@itdks.com
来都来了,走啥走,留个言呗~
IT大咖说 | 关于版权
由“IT大咖说(ID:itdakashuo)”原创的文章,转载时请注明作者、出处及微信公众号。投稿、约稿、转载请加微信:ITDKS10(备注:投稿),茉莉小姐姐会及时与您联系!
感谢您对IT大咖说的热心支持!
相关推荐
推荐文章
Restful API设计规范
一文看懂企业数字化转型的五大趋势
MapStruct(entity优雅的转dto)
Java微服务可以和Go一样快吗?
面试官:String长度有限制吗?是多少?还好我看过
终于有人把云计算、大数据和人工智能讲明白了
oracle 去重_超详细的四类数据库去重实现方案汇总,值得收藏相关推荐
- mysql 去重 根据id_超详细的四类数据库去重实现方案汇总,值得收藏
概述 今天主要闲聊Oracle.MySQL.sqlserver.pg数据库在删除重复数据时是怎么实现的,仅供参考. 一.Oracle数据库去重 1.环境准备 可以看到"ALLEN" ...
- datagrid分页传递参数_四类数据库分页实现方案总结之Mysql分页实现
概述 昨天介绍了Oracle分页实现方案,那么,mysql又是如何实现分页呢? 参考官网:https://dev.mysql.com/doc/refman/5.7/en/select.html mys ...
- sqlserver 分页_四类数据库分页实现方案总结之PG分页实现
概述 前面介绍了Oracle.mysql.sqlserver的分页实现方案了,所以今天主要介绍一下关于PG的分页实现.传统的精准分页(能获取到总页数并且任意跳转页码)在需要符合条件的记录总数目,不过p ...
- java程序员发展_超详细的Java程序员职业发展路径,值得深思!
在国内IT行业招聘中,大量的招聘需求都是和Java相关,且比例还在上升.巨大的人才缺口直接导致各企业纷纷以高薪聘请Java人才.那么,Java工程师的职业发展路径是什么样的?小白入门Java后,成长路 ...
- 【超详细】如何从数据库取出数据,动态填充html
目录 [超详细]如何从数据库取出数据,动态填充html step1:Javascript step2:php [超详细]如何从数据库取出数据,动态填充html step1:Javascript 首先你 ...
- oracle错误代码大全(超详细)
本篇文章是对oracle错误代码进行了详细的总结与分析,需要的朋友参考下 ORA-00001: 违反唯一约束条件 (.) 错误说明:当在唯一索引所对应的列上键入重复值时,会触发此异常. ORA-000 ...
- 安卓古筝软件_超详细自学软件测评|小提琴/吉他/电子琴/尤克里里/电子鼓
以下真的是我App Store搜完用完之后都觉得不错的软件,能看到的付费app我都用过了,为了选软件我App Store还中国英国区挑来挑去,大家真的可以根据这篇文来试试-很多安卓机也有.除了软件还有 ...
- win10图标变白纸_超详细的纯净版win10安装教程,手把手教你学会,小白秒变大神!...
最近很多用户问怎么安装纯净版的win10系统,那么今天针对这个问题,和大家分享一下超详细的纯净版win10安装教程,手把手教学,大伙们赶紧收藏哦! 如何安装?这一完整教程分为4个部分: 准备工作→系统 ...
- springboot超详细教程_超详细便当袋教程 || 特殊时期,自己带饭最安心!
持续受疫情影响,闷在家里的广大网友们早就坐不住了.尤其是最近各地复工陆续开始,小心心是不是开始躁动了?终于可以出门放飞自我,放肆吃吃喝喝了嘛? 再忍一忍呀同志们!疫情还没结束,病毒还没被消灭,为了你和 ...
最新文章
- 《zabbix用户权限分配管理》-8
- Python-高阶函数
- go中NOSQL数据库操作
- 数学图形(2.10)一种绕在球上的线圈
- There is no public key available for the following key IDs
- 熔断器 Hystrix 的原理与使用
- js写的程序如何上线到linux,将 Node.js 应用发布到 Linux 应用服务 - Visual Studio | Microsoft Docs...
- 再见了古诺。 你好Drools工作台。
- install scikit-learn
- 20050519:把机器拿到鸡兄那里去修了
- 从入门到入土(三)RocketMQ 怎么保证的消息不丢失?
- 指针和和一般的数据传递
- 超越java jb51_.net mvc超过了最大请求长度的解决方法
- php探针存在xss漏洞
- TypeError 之 Cannot convert undefined or null to object
- Google 字体在前端开发中的使用
- 怎么批量修改html文件后缀,如何批量修改文件后缀名
- 深度神经网络——中文语音识别
- 陈伟星“VVShare打车链”,打造区块链经济共享平台
- 决策树常见的面试点整理
热门文章
- 《天天数学》连载48:二月十七日
- python第四章单元测试_Python 单元测试
- 华为手机投屏电脑_华为手机如何投屏到电脑?这很实用
- 繁体字_如何简单快速地批量认识繁体字?
- 合肥python招聘_2020年合肥京东方招聘官网招聘-合肥京东方招聘官网招聘求职信息-拉勾招聘...
- 为什么C++编译器不能支持对模板的分离式编译
- NVIDIA NVLink技术
- 关于IOS内存机制的较深入分析
- UE3 供游戏性程序员的使用的性能最优化方法
- 【译】Part 1: 介绍和安装