mysql去重的几种方案

2024-05-13 13:51:26

方案一（查询后保存）：没有唯一ID

1.创建临时表存储去重后的ID（临时表在关闭数据库连接后自动清除）
create TEMPORARY TABLE tmp_rownum
SELECT MAX(rownum) rownum FROM (SELECT @row:=@row +1 AS rownum,student.* from student ,(SELECT @row:=0) AS _t ) _a
GROUP BY name,sex

2.取出去重后的数据
select _a.* from (SELECT @row:=@row +1 AS rownum,student.* FROM student,(SELECT @row:=0) AS _t) _a
where _a.rownum in (
select rownum from tmp_rownum
)

方案二（查询后保存）：有唯一ID

select * from student where id in (
select max(id) from student t group by name,sex )

（方案一和方案二结合）
根据是否有唯一ID判断
select column_name,extra from INFORMATION_SCHEMA.Columns where table_name=‘ykt0202’ and extra=‘auto_increment’

判断如果返回有结果，把得到的列名作为id 直接走方案二，没有的情况下，走方案一

方案三：

（先保存再删除）in…not in [耗时3.7s]

添加列：ALTER TABLE ykt0202 ADD COLUMN(
_id INT primary key auto_increment
)
修改列：ALTER TABLE ykt0202 modify COLUMN _id INT primary key auto_increment
删除列：ALTER TABLE ykt0202 drop column _id;
查询建表语句：SHOW CREATE TABLE ykt0202

delete from ykt0202_b where (hsdw,shzh) in (
select t.hsdw,t.shzh from (
select hsdw,shzh from ykt0202_b group by hsdw,shzh having count()>1
) t
) and _id not in (
select t._id from (
select max(_id) as _id from ykt0202_b group by hsdw,shzh having count()>1
) t
)

方案四:

（先保存再删除）[耗时2.4s]
delete from student where id in (
select max(id) from student t group by name,sex )

方案五：

–建临时表插入去重数据
create table ab_temp (select * from ab group by aid,bid having count()>1);
–删除重复数据
delete from ab where (aid,bid) in (
select t.aid,t.bid from (
select aid,bid from ab group by aid,bid having count()>1
) t
);
–插入去重数据
insert into ab select * from ab_temp;
–删除临时表
drop table ab_temp;

mysql去重的几种方案相关推荐

URL 去重的 6 种方案！(附详细代码)
来源 | Java中文社群(ID:javacn666) URL 去重在我们日常工作中和面试中很常遇到,比如这些: 可以看出,包括阿里,网易云.优酷.作业帮等知名互联网公司都出现过类似的面试题,而且和 ...
mysql备份的三种方案（冷备、温备、热备）
一.备份的目的做灾难恢复:对损坏的数据进行恢复和还原需求改变:因需求改变而需要把数据还原到改变以前测试:测试新功能是否可用二.备份需要考虑的问题可以容忍丢失多长时间的数据: 恢复数据要在多长 ...
mysql去重的几种方式
1. distinct select distinct 列名 from 表名 2. row_number select *, row_number() over (partition by 想去重的列 ...
php mysql 去重_mysql去重的两种方法实例详解
这篇文章主要介绍了mysql去重的两种方法详解及实例代码的相关资料,这里对去重的两种方法进行了一一实例详解,需要的朋友可以参考下 mysql去重方法一: 在使用MySQL时,有时需要查询出某个字段不 ...
MySQL高可用的几种方案
首先我们看看MySQL高可用的几种方案: 对于数据实时性要求不是特别严格的应用,只需要通过廉价的pc server 来扩展Slave 的数量,将读压力分散到多台Slave 的机器上面,即可通过分散 ...
sql优化之：数据库索引创建原则，or/in/union与索引优化，聚集索引/非聚集索引/联合索引/索引覆盖，MySQL冗余数据的三种方案，MySQL双主一致性架构优化(来源：架构师之路)
一.一些常见的SQL实践 (1)负向条件查询不能使用索引 select * from order where status!=0 and stauts!=1 not in/not exists都不是好 ...
mysql去重查询的三种方法
文章目录前言一.插入测试数据二.剔除重复数据方法 1.方法一:使用distinct 2.方法二:使用group by 3.方法三:使用开窗函数总结前言数据库生成环境中经常会遇到表中有重复的 ...
mysql数据冗余_MySQL冗余数据的三种方案
一,为什么要冗余数据互联网数据量很大的业务场景,往往数据库需要进行水平切分来降低单库数据量. 水平切分会有一个patition key,通过patition key的查询能够直接定位到库,但是非pa ...
mysql命令去重_mysql去重的两种方法详解及实例代码
mysql去重方法一: 在使用MySQL时,有时需要查询出某个字段不重复的记录,虽然mysql提供有distinct这个关键字来过滤掉多余的重复记录只保留一条,但往往只用它来返回不重复记录的条数, ...

最新文章

热门文章