mysql 删除重复数据 保留一个_MySQL学习笔记-删除重复数据只保留一条
有这样一张表,表数据及结果如下:
可以看出,school_name的字段值有重复数据(Abraham Lincoln High School 和Agoura High School分别出现两次),那么如何删除这两条数据,从而只让这两个数值出现一次呢?
//删除重复记录,保存Id最小的一条
delete FROM `test` WHERE `school_name`
in
(SELECT `school_name`
FROM `test`
GROUP BY `school_name`
HAVING COUNT( * ) >1) and school_id
not in
(select min(school_id) from test group by school_id having count(* )>1)
//删除重复记录,保存Id最大的一条
delete FROM `test` WHERE `school_name`
in
(SELECT `school_name`
FROM `test`
GROUP BY `school_name`
HAVING COUNT( * ) >1) and school_id
not in
(select max(school_id) from test group by school_id having count(* )>1)
一.单个字段的操作
Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1
查看是否有重复的数据:
GROUP BY
HAVING
查询出:根据dname分组,同时满足having字句中组条件表达式(重复次数大于1)的那些组
count(*)与count(1) 其实没有什么差别,用哪个都可以
count(*) 与 count(列名)的区别:
count(*)将返回表格中所有存在的行的总数包括值为null的行,然而count(列名)将返回表格中除去null以外的所有行的总数(有默认值的列也会被计入)
查询全部重复的数据:
Select * From 表 Where 重复字段
In
(Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)
二.删除全部重复数据:
将上面的查询select改为delete(这样会出错的)
DELETE
FROM
dept
WHERE
dname IN (
SELECT
dname
FROM
dept
GROUP BY
dname
HAVING
count(1) > 1
)
会出现如下错误:[Err] 1093 - You can't specify target table 'dept' for update in FROM clause
原因是:更新这个表的同时又查询了这个表,查询这个表的同时又去更新了这个表,可以理解为死锁。
mysql不支持这种更新查询同一张表的操作
解决办法:把要更新的几列数据查询出来做为一个第三方表,然后筛选更新。
DELETE
FROM
dept
WHERE
dname IN (
SELECT
t.dname
FROM
(
SELECT
dname
FROM
dept
GROUP BY
dname
HAVING
count(1) > 1
) t
)
三.查询表中多余重复数据
根据depno来判断,除了rowid最小的一个
方法一
SELECT
*
FROM
dept
WHERE
dname IN (
SELECT
dname
FROM
dept
GROUP BY
dname
HAVING
COUNT(1) > 1
)
AND deptno NOT IN (
SELECT
MIN(deptno)
FROM
dept
GROUP BY
dname
HAVING
COUNT(1) > 1
)
这种写法正确,但是查询的速度太慢,可以试一下方法二
方法二
根据dname分组,查找出deptno最小的;然后再查找deptno不包含刚才查出来的,这样就查询出了所有的重复数据(除了deptno最小的那行)
SELECT *
FROM
dept
WHERE
deptno NOT IN (
SELECT
dt.minno
FROM
(
SELECT
MIN(deptno) AS minno
FROM
dept
GROUP BY
dname
) dt
)
第三种方法
SELECT
*
FROM
table_name AS ta
WHERE
ta.唯一键 <> ( SELECT max( tb.唯一键 ) FROM table_name AS tb WHERE ta.判断重复的列 = tb.判断重复的列 );
四.删除重复数据只保留一条
第一种方法:
DELETE
FROM
dept
WHERE
dname IN (
SELECT
t.dname
FROM
(
SELECT
dname
FROM
dept
GROUP BY
dname
HAVING
count(1) > 1
) t
)
AND deptno NOT IN (
SELECT
dt.mindeptno
FROM
(
SELECT
min(deptno) AS mindeptno
FROM
dept
GROUP BY
dname
HAVING
count(1) > 1
) dt
)
第二种方法
与上面查询的第二种方法对应,只是将select改为delete
DELETE
FROM
dept
WHERE
deptno NOT IN (
SELECT
dt.minno
FROM
(
SELECT
MIN(deptno) AS minno
FROM
dept
GROUP BY
dname
) dt
)
第三种方法
DELETE
FROM
table_name AS ta
WHERE
ta.唯一键 <> (
SELECT
t.maxid
FROM
(
SELECT max( tb.唯一键 ) AS maxid FROM table_name AS tb WHERE ta.判断重复的列 = tb.判断重复的列 )
t )
五.多个字段的操作(补充)
和单个字段相比,多个字段就是将group by 的字段增加为你想要的即可
DELETE
FROM
dept
WHERE
(dname, db_source) IN (
SELECT
t.dname,
t.db_source
FROM
(
SELECT
dname,
db_source
FROM
dept
GROUP BY
dname,
db_source
HAVING
count(1) > 1
) t
)
AND deptno NOT IN (
SELECT
dt.mindeptno
FROM
(
SELECT
min(deptno) AS mindeptno
FROM
dept
GROUP BY
dname,
db_source
HAVING
count(1) > 1
) dt
)
六.小结
上面的方法还有很多需要优化的地方,数据量太大的话,执行起来很慢
简单优化:
在经常查询的字段上加上索引
将*改为你需要查询出来的字段,不要全部查询出来
小表驱动大表用IN,大表驱动小表用EXISTS。
IN适合的情况是外表数据量小的情况,而不是外表数据大的情况.
因为IN会遍历外表的全部数据,假设a表100条,b表10000条那么遍历次数就是100*10000次,而exists则是执行100次去判断a表中的数据是否在b表中存在,它只执行了a.length次数。
至于哪一个效率高是要看情况的,因为in是在内存中比较的,而exists则是进行数据库查询操作的。
mysql 删除重复数据 保留一个_MySQL学习笔记-删除重复数据只保留一条相关推荐
- mysql如何实现读提交锁_MySQL学习笔记(二)—MySQL事务及锁详解
一.事务 数组库的一组操作,要么全部成功,要么全部失败 举例:银行转账 A账户向B账户转100 A账户余额扣去100 B账户余额增加100 上述两个操作要么全部成功,要么全部失败,部分成功或失败,数据 ...
- mysql新增表字段回滚_MySql学习笔记四
MySql学习笔记四 5.3.数据类型 数值型 整型 小数 定点数 浮点数 字符型 较短的文本:char, varchar 较长的文本:text, blob(较长的二进制数据) 日期型 原则:所选择类 ...
- mysql数据库管理系统的配置文件是_MySQL学习笔记_1_MySQL数据库管理系统概述
1. MySQL架构 C/S: client / server架构 MySQL DBMS(Data Bank Management System): 数据库管理系统 客户端 服务器 ---> ...
- mysql查询当前时间和用户_MySQL学习笔记(3) - 查询服务器版本,当前时间,当前用户...
IIC驱动移植在linux3.14.78上的实现和在linux2.6.29上实现对比(deep dive) 首先说明下为什么写这篇文章,网上有许多博客也是介绍I2C驱动在linux上移植的实现,但是笔 ...
- 【学习笔记】大数据技术之Scala(下)
[学习笔记]大数据技术之Scala(上) 大数据技术之Scala 第 6 章 面向对象 6.1 Scala 包 6.1.1 包的命名 6.1.2 包说明(包语句) 6.1.3 包对象 6.1.4 导包 ...
- 在大量数据迁移期间oracle学习笔记
在数据迁移期间oracle学习笔记 0主键(自增) 1用户代码 2区域代码 3承保公司代码 4理赔编码 5投保确认码 6案件状态 7案件进展 8重开案件进展 9转换后案件状态 需求分析: 1.根据上述 ...
- 用matlab代码进行数据探索、数据清洗学习笔记
目录 1.说明 2.作文目的 3.数据质量分析3个判别方法 3-1.异常值判别 3-1-1.箱型图法 3-1-2.3σ准(原)则(拉依达准则) 3-2.缺失值判别 3-3.不一致的值判别 4.数据清洗 ...
- Vue学习笔记入门篇——数据及DOM
本文为转载,原文:Vue学习笔记入门篇--数据及DOM 数据 data 类型 Object | Function 详细 Vue 实例的数据对象.Vue 将会递归将 data 的属性转换为 getter ...
- 获取两个数据的交集_Redis学习笔记统计该如何选择数据类型
关注爱因诗贤每天进步一点点导读 在业务场景中经常需要统计,如某直播累计观看人数.独立访客人数.历史总观看人数等等,再比如要统计某学生某月的签到情况等,遇到统计的情况,就需要思考如何合理地选择 Redi ...
最新文章
- Python入门篇-匿名函数
- C# WinForm开发系列 - DataGrid/DataGridView
- word2vec 评测 sg=0 sg=1 size=100 window=3
- c# 访问修饰符的访问权限
- 将 Excel 导入到 SharePoint 列表
- 电商扣减库存_竞争激烈的电商市场,小型仓储外包服务解决了中小电商的后顾之忧...
- 水晶报表-推拉模式实例
- 【MyBean调试笔记】接口的使用和清理
- nginx-0.1.0文件分析2: ngx_socket.c
- java自动阅卷判断选择题,客观题型自动阅卷系统(管道过滤器模式)
- 宠物管理系统mysql_基于java+MySQL的宠物管理系统
- 多种方式Map集合遍历
- python 画三角函数_如何使用python的matplotlib绘制三角函数的图像
- 盲源分离与振动信号处理之间发展关系
- dz中footer.php在哪找,dz模版制作教程
- 应用于arcgis的代码,长期更新…
- 《考研-数据结构-哈弗曼树-已知某段通信报文内容,对该报文进行哈弗曼编码,并计算平均码长》
- 大脑是什么样的网络?
- 关于如何在chrome中下载网页flash视频
- 使用php的GD库拼接图片
热门文章
- Centos7桥接设置网络并使用xrdp+tigervnc实现桌面远程访问
- 软件模块license问题
- 极企办公路由安全版坚固防御破解工具
- T60上安装Gentoo笔记
- ERROR SparkContext: Error initializing SparkContext. java.lang.IllegalArgumentException: System memo
- python快速排序
- 戴尔电脑开机花屏怎么办
- R语言平均值和加权平均值
- vue-router报错的解决方法vue-router.esm.js?8c4f:2065 Uncaught (in promise) NavigationDuplicated:
- 让你的WINDOWS XP更爽