sql针对某字段去重查询_sql针对某一字段去重，并且保留其他字段

今天客户提了一个小需求，希望我能提供一条sql语句，帮助他对数据中 _field 这个字段的值去重，并且保留其他字段的数据。第一反应是select distinct，但这种语句在对某个字段去重时，无法保留其他字段，所以select distinct不成立。因为用户对去重没有要求，字段值重复时保留任意一行就行，所以我想到当字段值重复时，选出对应主键最大的那条数据作为保留数据，这样可以实现用户的去重需求。但是用户的表中又没有主键，没办法，我们只好先使用窗口函数创建主键了。

因为平时喜欢用hive on spark写sql，所以sql语句使用中间表的形式来写，_field为去重字段，other_fields为原表table中_field外的其他字段

1.创建主键(存在主键则无需创建，窗口函数需要遍历所有行数据，数据量大时会很慢)

TEMP table1 = select row_number() over (order by _field) as id, _field, other_fields from table

2.选出每个_field对应的最大主键

TEMP table2 = select max(id) as max_id from table1 group by _field

3.找出选中的主键对应的原表数据

TEMP table3 = select _field, other_fields from table2 left join table on table2.max_id = table1.id

OUTPUT table3

中间表写法看起来可能有些乱，对于mysql这种支持嵌套查询的数据库来说，写起来更好理解

id为主键ÿ

sql针对某字段去重查询_sql针对某一字段去重，并且保留其他字段相关推荐

sql针对某字段去重查询_sql的简单查询
在sql的增删改查中.查询用的最多.所以对查询做多一点的记录最基本格式: select 字段名1,字段名2,... from 表名如果查询的想显示所有的字段 select * from 表名查询 ...
mysql去重查询group_MySQL distinct 与 group by 去重（where/having）
MySQL中常用去重复数据的方法是使用 distinct 或者 group by ,以上2种均能实现,但2者也有不同的地方. distinct 特点: 如:select distinct name, ...
sql server和mysql分页查询_sql server和mysql中分别实现分页功能
MySQL 在MySQL中,可以用 Limit 来查询第 m 列到第 n 列的记录, 例如: select * from tablename limit m, n sql="select * ...
mysql根据字段长度查询_SQL语句如何查询某一字符串字段长度等于某个值的所有记录...
展开全部可以32313133353236313431303231363533e59b9ee7ad9431333366303066使用length()函数.比如:select * from test ...
Mysql去重查询（根据指定字段去重）
在日常数据查询中,多有需要进行数据去重的查询,或删除重复数据的情况,以下罗列集中数据去重查询: 1.根据全部字段的去重查询: select distinct * from table 2.根据某些字段 ...
Elasticsearch去重查询
1.前言最近遇到一个es数据查询去重的需求,我这边需要的是获取去重后的结果,查询官网资料和各位大神的经验后,总结一下elasticsearch去重查询功能. 2.Elasticsearch去重功能 ...
sql依据单个字段去重_sql如何去重查询
sql去重查询的方法:重复记录根据单个字段peopleId来判断,使用语句删除,代码为[where peopleId in (select peopleId from people group by ...
从底层谈webgis原理设计与实现（九）WebGIS中的矢量查询（针对AGS和GeoServer）
1.前言在第七章里我们知道了WebGIS中要素的本质是UIComponent,而矢量图层的本质是包含了n(n>=0)个UIComponent的Canvas.我们在UIComponent的gra ...
WebGIS学习（九）WebGIS中的矢量查询（针对AGS和GeoServer）
1.前言在第七章里我们知道了WebGIS中要素的本质是UIComponent,而矢量图层的本质是包含了n(n>=0)个UIComponent的Canvas.我们在UIComponent的gra ...

sql针对某字段去重查询_sql针对某一字段去重，并且保留其他字段

sql针对某字段去重查询_sql针对某一字段去重，并且保留其他字段相关推荐

最新文章

热门文章