MySQL-处理重复数据[20180517]

限制数据重复的方式：表上增加主键（Primary Key）或增加唯一性索引（Unique）

主键对重复资料进行限制，这样资料在导入时就无法重复插入

create table primary_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8),
primary key(last_name,first_name)
)engine=innodb default charset=utf8;show table status like 'primary_t'\Gshow index from primary_t\G模拟插入两笔有主键约束的资料
insert into primary_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Li','Man'),('Coco','Li','Woman');ERROR 1062 (23000): Duplicate entry 'Frank-Li' for key 'PRIMARY'insert into primary_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Cai','Man'),('Coco','Li','Woman');mysql> select * from primary_t;
+-----------+------------+-------+
| last_name | first_name | sex   |
+-----------+------------+-------+
| Coco      | Li         | Woman |
| Frank     | Cai        | Man   |
| Frank     | Li         | Man   |
+-----------+------------+-------+
3 rows in set (0.00 sec)

唯一性索引对复制资料进行限制

create table unique_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8),
unique index  unique_name(last_name,first_name)
)engine=innodb default charset=utf8;show table status like 'unique_t'\Gshow index from unique_t\G模拟插入两笔有唯一性约束的资料
insert into unique_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Li','Man'),('Coco','Li','Woman');ERROR 1062 (23000): Duplicate entry 'Frank-Li' for key 'unique_name'insert into unique_t(last_name,first_name,sex) values('Frank','Li','Man'),('Frank','Cai','Man'),('Coco','Li','Woman');
mysql> select * from unique_t;
+-----------+------------+-------+
| last_name | first_name | sex   |
+-----------+------------+-------+
| Frank     | Li         | Man   |
| Frank     | Cai        | Man   |
| Coco      | Li         | Woman |
+-----------+------------+-------+
3 rows in set (0.00 sec)

对资料的统计

create table count_t(
last_name varchar(20),
first_name varchar(20),
sex varchar(8)
)engine=innodb default charset=utf8;insert into count_t values('Frank','A','Man'),
('Frank','B','Man'),
('Frank','C','Woman'),
('Frank','D','Man'),
('Frank','E','Man'),
('Frank','F','Woman'),
('Frank','G','Man'),
('Frank','H','Man'),
('Frank','I','Woman'),
('Coco','A','Woman'),
('Coco','B','Man'),
('Coco','C','Man'),
('Coco','D','Man'),
('Coco','E','Man'),
('Coco','F','Man'),
('Coco','G','Woman'),
('Coco','H','Woman'),
('Alex','B','Man'),
('ALex','C','Man'),
('ALex','D','Man'),
('Alex','E','Man'),
('ALex','F','Man'),
('ALex','G','Woman'),
('ALex','H','Woman')
;commit;按各个列进行分组统计
select last_name,count(*) from count_t group by last_name;select first_name,count(*) from count_t group by first_name;select sex,count(*) from count_t group by sex;mysql> select last_name,count(*) from count_t group by last_name;
+-----------+----------+
| last_name | count(*) |
+-----------+----------+
| Alex      |        7 |
| Coco      |        8 |
| Frank     |        9 |
+-----------+----------+
3 rows in set (0.00 sec)mysql> select first_name,count(*) from count_t group by first_name;
+------------+----------+
| first_name | count(*) |
+------------+----------+
| A          |        2 |
| B          |        3 |
| C          |        3 |
| D          |        3 |
| E          |        3 |
| F          |        3 |
| G          |        3 |
| H          |        3 |
| I          |        1 |
+------------+----------+
9 rows in set (0.00 sec)mysql> select sex,count(*) from count_t group by sex;
+-------+----------+
| sex   | count(*) |
+-------+----------+
| Man   |       16 |
| Woman |        8 |
+-------+----------+
2 rows in set (0.00 sec)对分组的统计在进行限定，having 大于等于8次的记录
select last_name ,count(*) from count_t group by last_name having count(*) >=8;mysql> select last_name ,count(*) from count_t group by last_name having count(*) >=8;
+-----------+----------+
| last_name | count(*) |
+-----------+----------+
| Coco      |        8 |
| Frank     |        9 |
+-----------+----------+
2 rows in set (0.00 sec)

对资料进行去重操作，主要使用distinct函数

select distinct last_name from count_t;select distinct first_name from count_t;select distinct sex from count_t;

对已有资料的表进行去重操作

insert into count_t values('Xi','Xi','Man'),('Xi','Xi','Man');增加主键约束，加入ignore，忽悠重复的资料alter ignore table count_t
add primary key(last_name,first_name);select * from count_t where last_name='Xi';mysql> alter ignore table count_t-> add primary key(last_name,first_name);
Query OK, 26 rows affected (0.01 sec)
Records: 26  Duplicates: 1  Warnings: 0mysql> select * from count_t where last_name='Xi';
+-----------+------------+------+
| last_name | first_name | sex  |
+-----------+------------+------+
| Xi        | Xi         | Man  |
+-----------+------------+------+
1 row in set (0.00 sec)

使用group by方式也可去除重复资料

create table count_t0 as select last_name,first_name,sex from count_t group by last_name,first_name,sex;

转载于:https://www.cnblogs.com/also-brook/p/9050609.html

MySQL-处理重复数据[20180517]相关推荐

MySQL 查询重复数据，删除重复数据保留id最小的一条作为唯一数据
MySQL 查询重复数据,删除重复数据保留id最小的一条作为唯一数据目录导航: 开发背景: 实战: 表结构如下图所示: 操作: 总结: 回到顶部开发背景: 最近在做一个批量数据导入到MySQL数据 ...
三十、MySQL 处理重复数据
MySQL 处理重复数据有些 MySQL 数据表中可能存在重复的记录,有些情况我们允许重复数据的存在,但有时候我们也需要删除这些重复的数据. 本章节我们将为大家介绍如何防止数据表出现重复数据及如何删 ...
mysql去除重复数据
mysql去除重复数据根据one列查询重复的数据(根据单列判断重复) SELECT * FROM tab_test WHERE ONE IN (SELECT ONE FROM testdelete ...
第31章 MySQL 处理重复数据教程
有些 MySQL 数据表中可能存在重复的记录,有些情况咱们允许重复数据的存在,但有时候咱们也需要删除这些重复的数据. 本章节咱们将为大家介绍如何防止数据表出现重复数据及如何删除数据表中的重复数据. 防 ...
MySql删除重复数据(只保留一条)
MySql删除重复数据 1. 问题引入前一段遇到MySql数据重复的问题.由于重复向同一张表导入同一批数据,导致前台展示的数据重复,唯一方便快捷的方法莫过于利用delete操作删除重复数据(已经封板 ...
mysql重复记录大于十的数据库_MySQL专题10之MySQL序列使用、MySQL处理重复数据、MySQL以及SQL的注入...
1.MySQL序列使用 - MySQL序列是一组整数:1,2,3...,由于一张数据表只能有一个字段自增主键,如果你想实现其他字段也实现自动增加,就可以使用MySQL序列来实现. - 使用AUTO ...
MySQL删除重复数据常用方法有哪些？
在使用数据库时,出现重复数据是常有的情况,但有些情况是允许数据重复的,而有些情况是不允许的,当出现不允许的情况,我们就需要对重复数据进行删除处理.那么如何删除MySQL的重复数据?删除重复数据的方法有 ...
MySQL删除重复数据只保留最新的一条
MySQL删除重复数据并保留最新的一条,网上有些博客写的有问题,因为他们只考虑到或者说他们的重复数据最多只有两条,当重复数据大于2时,就会出现问题. 案例描述: 按天删除表中重复数据只保留最新的一条( ...
php mysql 删除重复数据_mysql删除重复数据保留一条
1.查找重复数据:SELECT * FROM `table_a` as a WHERE NOT EXISTS (SELECT * FROM table_b as b WHERE b.a_id=a.id ...

MySQL-处理重复数据[20180517]

MySQL-处理重复数据[20180517]相关推荐

最新文章

热门文章