MySQL查询重复字段,及删除重复记录的方法
MySQL查询重复字段,及删除重复记录的方法(转)
[教学] MySQL查询重复字段,及删除重复记录的方法
MySQL, 数据库, 数据库, 字段, 服务器
数据库中有个大表,需要查找其中的名字有重复的记录id,以便比较。如果仅仅是查找数据库中name不重复的字段,很容易:
SELECT min(`id`),`name` FROM `table` GROUP BY `name`;
但是这样并不能得到说有重复字段的id值。(只得到了最小的一个id值)查询哪些字段是重复的也容易:
SELECT `name`,count(`name`) as count FROM `table` GROUP BY `name` HAVING count(`name`) >1 ORDER BY count DESC;
但是要一次查询到重复字段的id值,就必须使用子查询了,于是使用下面的语句。
SELECT `id`,`name` FROM `table` WHERE `name` in (
SELECT `name`
FROM `table`
GROUP BY `name` HAVING count(`name`) >1);
但是这条语句在mysql中效率太差,感觉mysql并没有为子查询生成零时表。于是使用先建立零时表:
create table `tmptable` as (
SELECT `name`
FROM `table`
GROUP BY `name` HAVING count(`name`) >1);
然后使用多表连接查询:
SELECT a.`id`, a.`name` FROM `table` a, `tmptable` t WHERE a.`name` = t.`name`;
结果这次结果很快就出来了。
========================
查询及删除重复记录的方法
(一)
1、查找表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断
select * from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
2、删除表中多余的重复记录,重复记录是根据单个字段(peopleId)来判断,只留有rowid最小的记录
delete from people
where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)
and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)
3、查找表中多余的重复记录(多个字段)
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
4、删除表中多余的重复记录(多个字段),只留有rowid最小的记录
delete from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
5、查找表中多余的重复记录(多个字段),不包含rowid最小的记录
select * from vitae a
where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)
and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)
(二)
比方说
在A表中存在一个字段「name」,
而且不同记录之间的「name」值有可能会相同,
现在就是需要查询出在该表中的各记录之间,「name」值存在重复的项;
Select Name,Count(*) From A Group By Name Having Count(*) > 1
如果还查性别也相同大则如下:
Select Name,sex,Count(*) From A Group By Name,sex Having Count(*) > 1
(三)
方法一
declare @max integer,@id integer
declare cur_rows cursor local for select 主字段,count(*) from 表名 group by 主字段 having count(*) >; 1
open cur_rows
fetch cur_rows into @id,@max
while @@fetch_status=0
begin
select @max = @max -1
set rowcount @max
delete from 表名 where 主字段 = @id
fetch cur_rows into @id,@max
end
close cur_rows
set rowcount 0
方法二
有两个意义上的重复记录,一是完全重复的记录,也即所有字段均重复的记录,二是部分关键词段重复的记录,比如Name字段重复,而其它字段不一定重复或都重复可以忽略。
1、对于第一种重复,比较容易解决,使用
select distinct * from tableName
就可以得到无重复记录的结果集。
如果该表需要删除重复的记录(重复记录保留1条),可以按以下方法删除
select distinct * into #Tmp from tableName
drop table tableName
select * into tableName from #Tmp
drop table #Tmp
发生这种重复的原因是表设计不周产生的,增加唯一索引列即可解决。
2、这类重复问题通常要求保留重复记录中的第一条记录,操作方法如下
假设有重复的字段为Name,Address,要求得到这两个字段唯一的结果集
select identity(int,1,1) as autoID, * into #Tmp from tableName
select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID
select * from #Tmp where autoID in(select autoID from #tmp2)
最后一个select即得到了Name,Address不重复的结果集(但多了一个autoID字段,实际写时可以写在select子句中省去此列)
(四)
查询重复
select * from tablename where id in (
select id from tablename
group by id
having count(id) > 1
)
ref: http://www.greensoftcode.net/techntxt/2013120131251921893458
原文:http://bbs.ahpal.com/thread-3585-1-1.html
MySQL查询重复字段,及删除重复记录的方法相关推荐
- 【转贴】Oracle查询重复数据与删除重复记录方法
Oracle查询重复数据与删除重复记录方法 比如现在有一人员表 (表名:peosons) 若想将姓名.身份证号.住址这三个字段完全相同的记录查询出来 select p1.* from persons ...
- MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据
MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据 目录导航: 开发背景: 实战: 表结构如下图所示: 操作: 总结: 回到顶部 开发背景: 最近在做一个批量数据导入到MySQL数据 ...
- Mysql查询某字段值重复的数据个数
说明:表:survey_consumer,字段:province ,统计字段:count 语句说明:查询出survey_consumer表中province字段两个及以上相同的数据(没有重复的数据不会 ...
- Sql: 查询重复数据和删除重复数据
1. 单列 select * from test where name in (select name from test group by name having count (name) > ...
- mysql查询某个字段数量最多_查询一个表某个字段中出现次数最多的那个数据的前30名...
MySQL查询重复出现次数最多的记录 chengxuyonghu关注0人评论3400人阅读2014-09-22 16:57:06 MySQL查询的方法很多,下面为您介绍的MySQL查询语句用于实现查询 ...
- MYSQL查询事务并强制删除
MYSQL查询事务并强制删除 SELECT * from information_schema.INNODB_TRX KILL trx_mysql_thread_id(该字段) ; 暴力全部删除 se ...
- pandas删除数据行中的重复数据行、基于dataframe所有列删除重复行、基于特定数据列或者列的作何删除重复行、删除重复行并保留重复行中的最后一行、pandas删除所有重复行(不进行数据保留)
pandas删除数据行中的重复数据行.基于dataframe所有列删除重复行.基于特定数据列或者列的作何删除重复行.删除重复行并保留重复行中的最后一行.pandas删除所有重复行(不进行数据保留) 目 ...
- WPS高亮显示重复项并删除重复项有效防止数据重复录入
在录入众多数据之后,难免会有一些重复,对于这些重复的数据可以高亮显示,如此一来就会提高工作效率,那么如何高亮重复项和删除重复项呢?下面有个不错的教程,全程为大家详细讲解一下.有不会的朋友可不要错过喽, ...
- Excel 筛选重复值和删除重复值的异同
我是月球挖掘机,这是一篇带有疑惑的文章.如果你有好的见解,欢迎与我交流,邮箱:wxy@wxy.ink 数据源: 三行数据都是日期,第一行是文本,第二行和第三行都是文本格式. 对比: 条件格式: 通过设 ...
最新文章
- 一文全览机器学习建模流程(Python代码)
- 如何用Python玩转比特币?(附源码)
- Golang闭包陷阱
- ThreadLocal实践
- python3 安装模块_python3 Crypto模块的安装与使用
- 信息学奥赛一本通(1221:分成互质组)
- cpython python 区别面试_python基础教程之千万不要错过这几道Python面试题
- 男性最脆弱的五大器官
- 鹅厂优文 | ReactJS一点通
- vs2017安装完成,但有错误。
- 详解tensorflow数据读取-tf.train.string_input_producer和tf.train.start_queue_runners
- 【洛谷OJ】传球游戏
- 基于Python的植被覆盖度时空变化规律分析
- mysql查看占用内存或者CPU高的SQL
- git 怎么把以前的账号注销_QQ号被注销了,我的游戏账号怎么办?腾讯只用一句话让玩家没话说...
- 如何根据商品条码查询商品名称和价格信息?
- ubuntu20运行A-LOAM记录
- 关于DoG角点检测matlab实现
- 原生Vue实现二维码扫一扫,兼容PC、安卓、IOS
- Mac 中英文输入法切换快捷键caps lock失效解决办法