来源:数据蒋堂

作者:蒋步星

本文长度为2520,建议阅读4分钟

本文为你讲解非等值分组及其应用。

我们在上一期研究了分组运算的实质,即将一个集合按某种规则拆分成若干子集。不过,上期的关注重点在于还原分组运算的步骤,而没有讨论拆分规则,例子中都是用某些字段(或表达式)来定义拆分规则,也就是SQL中使用的方法。

我们把这种拆分方式称为等值分组。

等值分组在数学上的描述,相当于在一个集合上定义了一个等价关系:分组字段(表达式)相等的成员(记录)就认为等价。

等价关系是指满足如下条件的关系:

1)交换性,若a=b则b=a

2)传递性,若a=b,b=c则a=c

3)排他性,对任何a,b,a=b和a!=b有且只有一个成立

可以证明,任何等价关系一定能把原集合完全划分成若干个子集,每个子集中的成员互相等价。

完全划分具有这样的性质:

1)没有空子集

2)原集合的任何成员都属于且只属于某一个子集

考查等值分组,我们会发现它能够精确地满足等价关系的定义,因而等值分组的结果一定是完全划分。

有等值分组和完全划分,那是不是还有非等值分组和不完全划分?还有没有别的方式产生完全划分?这些是否有业务意义呢?

答案是肯定的。

比如我们要统计男女员工数量。我们可以写成这样:

SELECT gender,COUNT(*) FROM employee GROUP BY gender

但如果公司员工全是男性或女性,这个运算结果就只有一行了,那可能就不是我们想要的结果了。

为解决这个问题,我们可以设计这样一种分组方案:先罗列出一个基准集合,然后将待分组集合成员的某个属性(字段或表达式)与基准集合成员比较,相同者则分到一个子集中,最后拆分出来的子集数量和基准集合成员数是相同的,这种分组我们称为对位分组

使用对位分组统计男女员工数量可以写成这样:

a=[男,女]                                       // 基准集合

g=employee.align(a,gender)    // 设计函数align实现对位分组,拆分集合

g.new(a(#),~.len())                   // 用分组子集计算汇总

可以想象,这种对位分组在日常统计中是很常见的,比如按地区、按部门统计,都可以事先把基准集合列出来,而且我们经常还要求结果集必须按基准集合的次序出现。但等值分组不能保证这个次序,还要再排序(排序时还是要提供这个基准集合,原集合成员属性中没有这个信息)。

对位分组可能出现空子集,它也不能保证任何原集合的成员都被拆到某个子集中(比如有些不重要的成员没有被列入基准集合),不过对位分组能保证每个成员最多只出现在一个子集中。

我们还能把对位分组推广成更一般的枚举分组。


枚举分组是指,事先指定一组条件,然后将待分组集合的成员作为参数计算这批条件,条件成立者都被划分到与该条件对应的一个子集中,结果集的子集和事先指定的条件一一对应。

比如,将员工按年龄段分组统计人数:

a=[?<=30,?<=40,?>40]         // 用?表示要代入的参数

g=employee.enum(a,age)    // 设计函数enum实现枚举分组,拆分集合

....

显然,枚举分组在日常业务中也是不少见的。

枚举分组和对位分组很像,都需要先列出一个基准集合,事实上,对位分组就是一种特殊的枚举分组。不过,不同的是,枚举分组可能制造出有重复成员的子集,也就是可重分组。

a=[?<=30,?>20 && ?<=40,?>50]      // 条件有重叠

g=employee.enum(a,age)

可重分组在实际业务中相对罕见一些,不过了解一下也有助于再次理解分组运算的实质。

表面上看,对位分组和枚举分组和SQL的GROUP BY差别很大,但理解了分组运算的本质后就会明白它们其实是一回事:把某个集合拆分成若干子集。只是它们拆分的方法各有不同。

还有其它不完全依赖于成员属性的分组方式,但仍然是一种“把集合拆成子集”的方法,我们在后续文章会再提及。

还有一个问题,SQL只提供了等值分组,那会不会不够用呢?用SQL又是如何解决对位分组和枚举分组问题的?

其实SQL的运算能力是完备的,上述两种非等值分组都可以转换成等值分组,但就是会麻烦一些。

对于对位分组,可以用基准集合和待分组集合做LEFT JOIN,对这个结果集再做GROUP BY就可以得到相同的效果。注意一定要用LEFT JOIN,用JOIN可能会失去空子集,用FULL JOIN又会多出基准集合之外的成员。枚举分组也是类似,但语句会更复杂些,要根据枚举条件去设计JOIN的条件,一般难以给出通用写法。

专栏作者简介

润乾软件创始人、首席科学家

清华大学计算机硕士,著有《非线性报表模型原理》等,1989年,中国首个国际奥林匹克数学竞赛团体冠军成员,个人金牌;2000年,创立润乾公司;2004年,首次在润乾报表中提出非线性报表模型,完美解决了中国式复杂报表制表难题,目前该模型已经成为报表行业的标准;2014年,经过7年开发,润乾软件发布不依赖关系代数模型的计算引擎——集算器,有效地提高了复杂结构化大数据计算的开发和运算效率;2015年,润乾软件被福布斯中文网站评为“2015福布斯中国非上市潜力企业100强”;2016年,荣获中国电子信息产业发展研究院评选的“2016年中国软件和信息服务业十大领军人物”;2017年, 自主创新研发新一代的数据仓库、云数据库等产品即将面世。

数据蒋堂

《数据蒋堂》的作者蒋步星,从事信息系统建设和数据处理长达20多年的时间。他丰富的工程经验与深厚的理论功底相互融合、创新思想与传统观念的相互碰撞,虚拟与现实的相互交织,产生出了一篇篇的沥血之作。此连载的内容涉及从数据呈现、采集到加工计算再到存储以及挖掘等各个方面。大可观数据世界之远景、小可看技术疑难之细节。针对数据领域一些技术难点,站在研发人员的角度从浅入深,进行全方位、360度无死角深度剖析;对于一些业内观点,站在技术人员角度阐述自己的思考和理解。蒋步星还会对大数据的发展,站在业内专家角度给予预测和推断。静下心来认真研读你会发现,《数据蒋堂》的文章,有的会让用户避免重复前人走过的弯路,有的会让攻城狮面对扎心的难题茅塞顿开,有的会为初入行业的读者提供一把开启数据世界的钥匙,有的甚至会让业内专家大跌眼镜,产生思想交锋。

往期回顾:

数据蒋堂 | 还原分组运算的本意

数据蒋堂 | 有序遍历语法

数据蒋堂 | 常规遍历语法

数据蒋堂 | 从SQL语法看离散性

数据蒋堂 | 从SQL语法看集合化

数据蒋堂 | SQL用作大数据计算语法好吗?

数据蒋堂 | SQL的困难源于关系代数

数据蒋堂 | SQL像英语是个善意的错误

数据蒋堂 | 开放的计算能力为数据库瘦身

数据蒋堂 | 计算封闭性导致臃肿的数据库

数据蒋堂 | 怎样看待存储过程的移植困难

数据蒋堂 | 存储过程的利之弊

数据蒋堂 | 不要对自助BI期望过高

数据蒋堂 | 报表的数据计算层

数据蒋堂 | 报表应用的三层结构

数据蒋堂 | 列式存储的另一面

数据蒋堂 | 硬盘的性能特征

数据蒋堂 | 我们需要怎样的OLAP?

数据蒋堂 | 1T数据到底有多大?

数据蒋堂 | 索引的本质是排序

数据蒋堂 | 功夫都在报表外--漫谈报表性能优化

数据蒋堂 | 非结构化数据分析是忽悠?

数据蒋堂 | 多维分析的后台性能优化手段

编辑:文婧

校对:朱江华峰

为保证发文质量、树立口碑,数据派现设立“错别字基金”,鼓励读者积极纠错

若您在阅读文章过程中发现任何错误,请在文末留言,或到后台反馈,经小编确认后,数据派将向检举读者发8.8元红包

同一位读者指出同一篇文章多处错误,奖金不变。不同读者指出同一处错误,奖励第一位读者。

感谢一直以来您的关注和支持,希望您能够监督数据派产出更加高质的内容。

数据蒋堂 | 非等值分组相关推荐

  1. 集算器协助SQL实现非等值分组

    SQL通常只能按源表字段进行分组,如果分组依据来自另一张表.外部参数.条件列表,用SQL就很繁琐.有时分组依据需要动态生成,这些往往要借助高级语言实现.有时分组依据和源表不完全对应(或区间没有交集), ...

  2. 数据蒋堂 | 再谈有序分组

    来源:数据蒋堂 作者:蒋步星 本文长度为1200字,建议阅读2分钟 本文为你分析考虑集合的有序性,结果集的成员次序是否具有业务意义. 细心的读者可能会发现,我们在讨论有序分组时只研究了待分组集合的成员 ...

  3. 数据蒋堂 | 有序分组

    来源:数据蒋堂 作者:蒋步星 本文长度为1500字,建议阅读3分钟 本文为你讲解以有序集合为考虑对象时,如何考虑成员次序对分组的影响. 我们知道,SQL延用了数学上的无序集合概念,所以SQL的分组并不 ...

  4. 数据蒋堂 | 数据库的封闭性

    作者:蒋步星 来源:数据蒋堂 本文共1200字,建议阅读6分钟. 本文与你探讨数据库的封闭性对数据处理效率的影响. 我们知道,数据库的数据处理能力是封闭的.所谓封闭性,这里是指要被数据库计算和处理的数 ...

  5. 数据蒋堂 | 多维分析预汇总的存储容量

    作者:蒋步星 来源:数据蒋堂 本文共1700字,建议阅读7分钟. 本文带你感性认识多维分析方案中的预汇总额外占用的存储空间. 多维分析一般是交互式操作的,也就要求有极高的响应速度,而多维分析涉及的数据 ...

  6. 数据蒋堂 | 多维分析预汇总的功能盲区

    作者:蒋步星 来源:数据蒋堂 本文共1900字,建议阅读9分钟. 本文归纳了预汇总方案的功能不足. 在进一步讨论如何在有限空间内实现多维分析的预汇总之前,我们有必要再了解一下预汇总方案还有什么功能上的 ...

  7. 数据蒋堂 | 人工智能中的“人工”

    作者:蒋步星 来源:数据蒋堂 本文共1085字,建议阅读4分钟. 本文为你介绍人工智能的背后的"人工",主要包括数据准备和数据科学家. 自从AlphaGo赢了之后,人工智能就变得非 ...

  8. 数据蒋堂 | 存储和计算技术的选择

    作者:蒋步星 来源:数据蒋堂 本文共1093字,建议阅读4分钟. 本文为你介绍NoSQL.RDB.集算器三种数据库的储存与计算. 前一阵子公司有个售前来沟通某个用户的情况:数据量比较大,又涉及很多复杂 ...

  9. 数据蒋堂 | Hadoop中理论与工程的错位

    作者:蒋步星 来源:数据蒋堂 校对:林亦霖 本文共1400字,建议阅读6分钟. 本文分析了在Hadoop的设计和实现中的理论问题和工程问题. Hadoop是当前重要的大数据计算平台,它试图摒弃传统数据 ...

最新文章

  1. Linux0.11 中对地址的管理
  2. 关于 SAP 电商云 Spartacus UI 路由 routes 配置的数据源问题
  3. 分别对时分秒加减的java_Java中关于获取时间(日期)的总结大全
  4. wordpress mysql 密码重置_WordPress忘记密码找回登录密码的四种行之有效的方法
  5. Java项目——博客系统(毕业设计)
  6. 突然想 写个 接口定义 【来源于华为和海康 设备接口同步】
  7. spring初始化在ServletContextListener实现类中获取spring注入对象
  8. 第四季 word vba
  9. Python日期类的实现
  10. javascript常见的数组方法
  11. 1,python基础入门
  12. DOM之节点操作总结(附实例、图解)
  13. 《产品经理面试攻略》PART 4:笔试与面试
  14. 怎样计算期货交易盈亏(期货交易盈利怎么算)
  15. 郑树生与李一男的对望
  16. linux c 获取进程p id,详解Linux获取线程的PID(TID、LWP)的几种方式
  17. 解读全球免费化:是众望所归还是坑死不赔
  18. Glyphs 3 for mac(字体设计软件)
  19. 程序、任务、进程和线程的联系与区别
  20. Excel VBA自动化办公:选择Excel文件合并订单数据生成订单汇总表、生成发货单并导出pdf文件、自动统计业绩生成业绩表

热门文章

  1. XtraBackup
  2. 使用Jenkins持续集成Vue项目配置Sonar任务
  3. Netbeans配置Java SE嵌入式平台(树莓派)
  4. RxJavaMVPRetrofit
  5. iOS SQLite解密之SQLCipher
  6. 用Python解“爬动的蠕虫”题
  7. 同时更改一条数据_数据库中的引擎、事务、锁、MVCC(二)
  8. stm32驱动lcd段码io配置_I.MX6U处理器GPIO的命名复用与IO配置
  9. bert+crf可以做NER,那么为什么还有bert+bi-lstm+crf ?
  10. 院士 人工智能专业理解