Spark：group by和聚合函数使用

groupBy分组和使用agg聚合函数demo：

df.show
+----+-----+---+
|YEAR|MONTH|NUM|
+----+-----+---+
|2017|    1| 10|
|2017|    1|  5|
|2017|    2| 20|
|2018|    1|  5|
|2018|    1|  5|
+----+-----+---+import org.apache.spark.sql.functions._
df.groupBy("YEAR", "MONTH").agg(sum("NUM").as("sum_num")).show
+----+-----+-------+
|YEAR|MONTH|sum_num|
+----+-----+-------+
|2018|    1|   10.0|
|2017|    1|   15.0|
|2017|    2|   20.0|
+----+-----+-------+//也可以这样写：
df.groupBy("YEAR", "MONTH").agg("NUM"->"avg", ("MONTH", "count") ).show
+----+-----+--------+------------+
|YEAR|MONTH|avg(NUM)|count(MONTH)|
+----+-----+--------+------------+
|2018|    1|     5.0|           2|
|2017|    1|     7.5|           2|
|2017|    2|    20.0|           1|
+----+-----+--------+------------+

转载于:https://www.cnblogs.com/xuejianbest/p/10285006.html

Spark：group by和聚合函数使用相关推荐

MySQL笔记-group by和聚合函数的使用
group by:其实就是分组,把同类的组,数据放到一起,然后用聚合函数去统计.下面是详细的说明. 对应的SQL如下: SELECT * FROM fund_earning_2022 ORDER BY ...
group by配合“聚合函数”才有意义
group by 从英文里理解就是分组.有"聚合函数"来配合才有意义例如上表:如果 select name from score GROUP BY name 只能得到一组姓名,其 ...
php数据group去重,MongoDB_Mongodb聚合函数count、distinct、group如何实现数据聚合操作，上篇文章给大家介绍了Mong - phpStudy...
Mongodb聚合函数count.distinct.group如何实现数据聚合操作上篇文章给大家介绍了Mongodb中MapReduce实现数据聚合方法详解,我们提到过Mongodb中进行数据聚合操 ...
group by和聚合函数
作者:pyai.top 来源:CSDN 原文:https://blog.csdn.net/intmainhhh/article/details/80777582 版权声明:本文为博主原创文章,转 ...
SQL 的 group by和聚合函数(很好理解版)
为什么不能够 select * from Table group by id,为什么一定不能是 *,而只能是某一个列或者某个列的聚合函数,group by 多个字段可以怎么去很好的理解呢? ===正文 ...
聚合函数+group by
目录聚合函数 group by子句聚合函数常用的聚合函数有COUNT().AVG().SUM().MAX().MIN(). COUNT()函数:统计数据表中包含的记录行的总数,或者根据查询结果返 ...
【4 - 分组】Sql Server - 郝斌（分组group by、过滤having、聚合函数max() / count()、排序order by、select语句的执行顺序）
课程地址:数据库 SQLServer 视频教程全集(99P)| 22 小时从入门到精通_哔哩哔哩_bilibili 目录 group by(分组) group by a,b 的用法 having( ...
mysql聚合函数count用法_MySQL中聚合函数count的使用和性能优化技巧
本文的环境是Windows 10,MySQL版本是5.7.12-log 一. 基本使用 count的基本作用是有两个: 统计某个列的数据的数量: 统计结果集的行数: 用来获取满足条件的数据的数量.但是 ...
mysql_group by与聚合函数、order by联合使用
最近测试项目数据统计模块,发现自己对group by函数以及联合使用聚合函数的使用其实根本没理解透彻. 前半部分算自己对项目遇到情况的总结,大家可忽略,直接看后半部分关于group by的使用即可!! ...

Spark：group by和聚合函数使用

Spark：group by和聚合函数使用相关推荐

最新文章

热门文章