背景：一般在增量导入数据后，表中会出现冗余的数据，因此对于表的去重操作主要分为两种：去重查询以及删除重复数据

去重查询

distinct 关键字

select distinct <col1, col2, ...> from <table1>;

删除重复数据

删除重复数据主要分为两种：部分去重和完全去重

部分去重

部分去重分为两个步骤：

找出重复数据

select <col1, col2, ..., count()> from <table1> group by <col1, col2, ...> having count() > 1;

删除临时数据

delete from <table1 a> where <col1, col2> in(select col1, col2, ..., count() from <table1> group by col1, col2, ... having count() > 1);

** 进阶：如果当数据量非常大的时候，上面的删除执行效率会非常低，甚至有可能导致数据库卡死，因此可以用临时表来减轻数据库io的压力

--创建临时表保存重复数据
create table tmp as(select <col1, col2, ..., count()> from <table1> group by <col1, col2, ...> having count(*) > 1);
--删除原表中的重复数据
delete from <table1 a> where (col1, col2, ...) in(select col1, col2, ...from tmp);
--删除临时表
drop table tmp;

全部去重

当数据体量小的时候，可以考虑全部去重。

--创建临时表保存去重后的数据
create table tmp as(select distinct * from <table1>);
--清空原表数据
truncate table <table1>;
--将临时表的数据插入到原表中
insert into <table1>(select * from tmp);
--删除临时表
drop table tmp;

进阶用法

背景：如果数据10分钟导入一次，一小时导入一次，甚至一天导入一次，而且每次导入的数据都得进行去重，那么上述sql语句就会重复执行，我们如何实现其自动化？

答案是触发器，下面我写得一个应用触发器的事例，数据库用的是Kingbase（人大金仓V8），当然如果熟悉触发器的朋友也可以插入前检验，不过博主不擅长写referencing old old new new的前置触发，所以不在此举例。

CREATE OR REPLACE TRIGGER "clear_replica"
--触发条件：当插入数据至LsvoFplnCmdcCoreItems表时会触发动作，也可以加其他触发条件比如 UPDATE, DELETE, 需用OR连接
AFTER INSERT ON LsvoFplnCmdcCoreItems
FOR EACH ROW
AS
BEGIN --创建临时表保存重复数据CREATE TABLE tmp AS (SELECT CompanyCode, BusinessTypeCode, SubBusinessTypeCode, SupplierCode, CurrencyCode, IsInit,ExecAmt, PayDate, versionFROM LsvoFplnCmdcCoreItemsGROUP BY CompanyCode, BusinessTypeCode, SubBusinessTypeCode, SupplierCode, CurrencyCode, IsInit,ExecAmt, PayDate, version HAVING  count(*) > 1);--删除原表中的重复数据delete from LsvoFplnCmdcCoreItems where (CompanyCode, BusinessTypeCode, SubBusinessTypeCode, SupplierCode, CurrencyCode, IsInit,ExecAmt, PayDate, version) in(select CompanyCode, BusinessTypeCode, SubBusinessTypeCode, SupplierCode, CurrencyCode, IsInit,ExecAmt, PayDate, versionfrom tmp);--删除临时表drop table tmp;
END;

数据库sql去重操作 + 人大金仓案例相关推荐

人大金仓数据库sql语句_人大金仓数据库总结（SQL和JDBC）
人大金仓作为一款国产数据库,使用的人数和相关资料都比较少. 最近使用人大金仓数据库,做了个简单的SQL和java jdbc的测试,希望能够供大家参考. 1.SQL语句创建表: CREATE TABL ...
人大金仓数据库sql语句_人大金仓KingbaseES与主流数据库的兼容性
KingbaseES针对Oracle.DB2.SQL Server等为代表的国外主流数据库产品,在服务器.接口.工具等各组件中全面改进了兼容性,屏蔽KingbaseES与这些产品之间的差异,从而减少现 ...
jpa 人大金仓数据库方言_国产数据库的春天，人大金仓完成近亿元融资
近日,人大金仓宣布完成近亿元融资.本次融资原股东太极股份等追加增资,同时引入战略投资方:电科研投.南威软件与东华软件,总融资额近亿元. 持续加码产品研发与市场拓展本次融资将助力人大金仓持续加码产品研 ...
国产化人大金仓数据库转库工具：oracle12c数据库转kingbase8.6人大金仓数据库实例演示
oracle12c数据库转人大金仓数据库实例演示第一章:数据准备 ① 人大金仓建库建用户 ② 人大金仓授权表空间 ③ 人大金仓创建 schema 表第二章:转库演示 ① 转库工具准备 ② 创建源库 ...
生态 | 数字化转型趋势下数据库发展探讨，人大金仓出席“第六届中国行业互联网大会”并发表主题讲话...
10月23-25日,"第六届中国行业互联网大会暨CIO班15周年年会"在京成功举办,人大金仓受邀出席并发表主题讲话,就相关问题同与会嘉宾进行交流与分享. 本次大会以"新基 ...
猿创征文｜【国产数据库实战】一文学会应用SqlSugar访问及操作人大金仓数据库
kingbase数据库常用sql语句1（人大金仓数据库）
常用查询语句: 说明:本sql语句适用于人大金仓数据库(kingbase) V8R6及其V8R3 --1. 统计某个模式下面每张表的数据量(行数)(这个表里的行数信息为大概值,并非和真实数据一模一样) ...
案例 | 标杆引领！人大金仓智绘数字金融
随着中央数字经济政策推进金融业数字化建设,数字金融已初见成效,但尚存在信息安全缺乏保障.转型覆盖不全面等问题. 为实现金融行业全面数字化转型升级,作为数据库领域国家队,人大金仓紧跟国家战略,自主研发的 ...
【科技百咖】人大金仓：先定一个小目标，比如做中国No.1的数据库
自身的强大内力才是制胜一切的关键自中美贸易摩擦开始,国内就悄然兴起了一股「王牌热」,大家纷纷在各个角度寻找中国制胜美国的各种「王牌」.但在人大金仓总裁杜胜的心中,真正的王牌还是「内力」,自身的强大内 ...

数据库sql去重操作 + 人大金仓案例