SQL数据库根据指定字段去重

需求：对一张用户表根据name/email/card_num字段去除重复数据；

思路：用group by方法可以查询出'去重'后的数据，将这些数据存储到一张临时表中，然后将临时表的数据存储到指定的表中；

误区及解决方案：group by方法只能获取部分字段（去重指定字段），不能一次获取到完整的数据，但是可以通过max函数获取group by结果集中的id，再根据id集合查询出全部的记录。

测试思路

查询去重后的数据

SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num;

从去重后的数据中获取id集合

SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T;

根据去重后的数据中获取id集合，从源数据中获得记录列表

SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

实际方法

根据去重后的数据中获取id集合，从源数据中获得记录列表，将这些列表数据存入一个临时表中

create TEMP TABLE tmp_data as SELECT * from users where id in (SELECT ID from (SELECT max(id) as id,name,email,card_num FROM users GROUP BY name,email,card_num) as T);

将临时表中的数据存入指定的数据表中，完毕

insert into users_copy1 select * from tmp_data;

检测

检测结果是不是和第一步查询去重后的数据总数相同

select count(*) from users_copy1;

测试结果：

1.4w条数据中有2300条数据重复，实际运行结果为0.07s，基本满足现在的需求。

SQL数据库根据指定字段去重相关推荐

mysql中以指定字段去重_数据库根据指定字段去重
需求:对一张用户表根据name/email/card_num字段去除重复数据: 思路:用group by方法可以查询出'去重'后的数据,将这些数据存储到一张临时表中,然后将临时表的数据存储到指定的表中 ...
安装sql数据库出现指定的驱动程序无效的问题
安装sql数据库出现指定的驱动程序无效的问题这个问题出现的原因是因为你的系统文件损坏,你的数据库安装环境损坏的问题. 解决方法: 1.首先用数据库修复工具修复数据库安装环境:如果有需要这个软件的,请 ...
php根据指定字段去重,php二维数组根据某个字段去重
php的二维数组根据某个字段去重,在这默认为二维数组的结构是一样的,现在根据二维数组里的id字段去重,把id相同的重复的元素去掉 /** * 二维数组根据某个字段去重 * @param array $ ...
Oracle数据库在指定字段后新增字段
记录一下数据库中为表增加字段,且在指定字段后新增: mysql数据库的话比较简单通过一下sql语句即可实现: -- 为表t在B字段后新增字段 alter table t add column fild ...
java steam 去重_java steam List指定字段去重
如:角色去重处理 baseRoleList = baseRoleList.stream().collect(Collectors.collectingAndThen(Collectors.toColl ...
sql中按照指定字段排序失效
场景描述: 按照查询指定类型的运动勋章,并按照勋章对应的天数进行升序排序,但是查询出来的结果是按照降序进行排序. 原因: 查看数据类型发现数据库中的days字段是varchar类型,对于mysql来说 ...
给SQL数据库表和字段添加描述信息
在创建数据库表时,有时怕忘记了字段的作用,要给表的字段加上一些说明文字.而以前要经常切换到表的设计方式去添加一些说明文字,这样总觉得比较麻烦. 刚好查了一下数据库的联机丛书发现还有这样的命令,现在我把 ...
Mysql去重查询（根据指定字段去重）
在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询: 1.根据全部字段的去重查询: select distinct * from table 2.根据某些字段 ...
stream流map 多个字段_stream流根据对象指定字段去重
先封装一个去重的方法 import java.util.Map; import java.util.concurrent.ConcurrentHashMap; import java.util.fun ...

SQL数据库根据指定字段去重

测试思路

实际方法

检测

测试结果：

SQL数据库根据指定字段去重相关推荐

最新文章

热门文章